极客推理

• 用好 Ragged Batching，解决 Triton 动态批处理中的 NLP 显存爆炸

  在生产环境中部署 BERT、GPT 等 NLP 模型时，我们几乎都会开启 Triton Inference Server 的 Dynamic Batching（动态批处理） 。这个功能很香，能把多个客户端的单条请求攒成一个 Batch ...

  206 2026/6/15 TritonNLP推理显存优化

• 突破 IPC 瓶颈：如何在 Triton Python Backend 中优雅地使用 CUDA Shared Memory？

  在高性能深度学习推理场景中， Triton Inference Server 凭其优秀的并发处理能力被广泛采用。然而，许多团队在使用 Python Backend 编写自定义预处理或模型后处理逻辑时，常常会遇到性能瓶颈。 这个瓶...

  217 2026/6/15 TritonCUDA性能优化