在利用 Slurm 调度器运行 MPI 多机多卡作业时,若多个 MPI 进程(Ranks)需要共享同一张 GPU 卡,默认情况下会因为 CUDA Context 切换开销巨大而导致显卡利用率低下。NVIDIA MPS(Multi-Proc...