vLLM

• 突破通信瓶颈：vLLM 混合并行与 K8s 拓扑感知调度深度实践

  在大规模 LLM（如 Llama-3-70B、Mixtral-8x22B 等）推理场景下，基于 vLLM 的分布式推理服务面临着极其严苛的时延挑战。 Tensor Parallelism（张量并行，简称 TP）由于在每个 Transf...

  2 2026/6/14 vLLMKubernetes拓扑感知调度GPU优化

• Triton 推理服务性能调优：如何通过 Dynamic Batching 与队列配置掐准延迟与吞吐的平衡点

  在生产环境中部署深度学习模型时，我们经常面临一个看似不可调和的矛盾： 为了压榨 GPU 的极限吞吐量（Throughput），我们需要尽可能把 Batch Size 攒得更大；而为了满足业务端极限制延（Latency SLA）的要求，请求...

  4 2026/6/14 TritonMLOps性能调优