HTTP
-
舍弃外部网关，改用 Triton BLS 编排模型，延迟能降多少？
在多模型级联（如 ASR + NLP + TTS，或者目标检测 + 裁剪 + 属性分类）的业务场景中，如何编排模型一直是个经典架构问题。 常见的做法有两种： 外部网关分桶/编排 ：在 Triton 外部写一个 Go/Pyth...
-
突破 IPC 瓶颈：如何在 Triton Python Backend 中优雅地使用 CUDA Shared Memory？
在高性能深度学习推理场景中， Triton Inference Server 凭其优秀的并发处理能力被广泛采用。然而，许多团队在使用 Python Backend 编写自定义预处理或模型后处理逻辑时，常常会遇到性能瓶颈。 这个瓶...
-
多云多活架构下，基于 Istio EnvoyFilter 的专线延迟感知智能路由方案
在多云多活（Multi-Cloud Active-Active）架构中，跨云专线（Leased Line）是连接不同云地域（Region）内微服务的核心纽带。然而，专线并非坚不可摧，它经常面临以下痛点： 隐性衰退： 专线并未彻...
-
单元化架构机房级切流：如何优雅搞定防脑裂与数据对齐？
在分布式单元化（Set化）架构中，机房级容灾切换（俗称“切流”）是检验架构韧性的最高标准。切流过程中，最核心的两个硬骨头就是 防脑裂（Split-Brain） 和 数据对齐（Data Alignment） 。 一旦发生脑裂，双机房同时...
-
多云跨VPC网络下，Cilium BGP与Istio联动的NodePort流量容灾路径设计
在多云、跨 VPC 的混合云架构中，企业往往受限于云厂商的负载均衡器（LoadBalancer）跨界限制或昂贵的专线/网关成本，选择通过 Cilium BGP + 物理/虚拟路由器 直接宣告 Kubernetes 节点路由，并结合 ...
-
物理专线抖动拖垮服务网格？Istio 东西向网关 Envoy 核心参数调优实践
在企业级混合云或跨地域多 VPC 部署中， Istio Primary-Remote（主从控制面）架构 是实现跨集群服务发现与互通的标准方案。在这种架构中，跨集群的东西向流量依赖**东西向网关（East-West Gateway）**进行...
