GPU虚拟化
-
深度解析:NVIDIA MIG 与 MPS 在算力切分上的底层隔离机制有何本质不同?
在 GPU 算力虚拟化和多租户共享的场景中,NVIDIA 提供了两种主流的切分技术: MPS(Multi-Process Service,多进程服务) 和 MIG(Multi-Instance GPU,多实例 GPU) 。 虽然这...
-
K8s 混合调度 MIG 与 MPS 的终极实践:把 GPU 榨出最后一滴油水
在 AI 推理服务的生产环境中,最让基础设施团队头疼的,莫过于 “显存闲置” 与 “算力浪费” 。 普通的 AI 推理任务(尤其是中小模型、NLP 分类、OCR、语音识别等)往往呈现“高频、低延迟、低 GPU 利用率”的特点。如...