NUMA
-
Java多线程性能优化：硬件配置对CPU架构与内存带宽的影响
在Java开发中，多线程技术是提升程序性能的重要手段。然而，多线程的性能并不完全取决于代码本身的优化，硬件配置尤其是CPU架构和内存带宽，也起着至关重要的作用。本文将深入分析不同硬件配置对Java多线程性能的影响，帮助你更好地理解如何通过...
-
多卡多NUMA服务器性能调优：MPI进程、GPU与MPS守护进程的最优绑定实践
在多卡多NUMA（Non-Uniform Memory Access）架构的服务器上运行MPI（Message Passing Interface）大规模并行程序时，默认的调度策略往往会导致灾难性的性能抖动。 如果一个MPI进程运行在...
-
Slurm 调度下 MPI 作业的 NVIDIA MPS 动态启停与自动配置方案
在利用 Slurm 调度器运行 MPI 多机多卡作业时，若多个 MPI 进程（Ranks）需要共享同一张 GPU 卡，默认情况下会因为 CUDA Context 切换开销巨大而导致显卡利用率低下。NVIDIA MPS（Multi-Proc...
-
突破通信瓶颈：vLLM 混合并行与 K8s 拓扑感知调度深度实践
在大规模 LLM（如 Llama-3-70B、Mixtral-8x22B 等）推理场景下，基于 vLLM 的分布式推理服务面临着极其严苛的时延挑战。 Tensor Parallelism（张量并行，简称 TP）由于在每个 Transf...
-
高并发下的多卡 Triton 推理优化：如何利用 CUDA IPC 与 NCCL 实现跨卡零拷贝级联？
在多卡（Multi-GPU）环境下部署复杂的大模型流水线或级联模型（Ensemble/Pipeline）时，GPU 之间的数据传输延迟往往会成为整个吞吐链路的致命瓶颈。 典型的级联场景（例如： Visual Grounding 任务中...
-
io_uring 缓冲池优化实践：如何用无锁 Buffer Ring 彻底解决网络库的内存抖动
在编写高性能网络服务器时，最让人头疼的往往不是 I/O 拷贝本身，而是 内存分配的确定性 。 在传统的 epoll 异步非阻塞模型中，我们通常面临两难境地： 预分配模式 ：为每个连接（Connection）在初始化时就绑...
-
跑满 NVMe 极限：基于 SPDK 的无锁分布式元数据引擎架构设计
在单盘 NVMe SSD 轻松突破百万级 IOPS、百微秒级延迟的今天，分布式存储系统的性能瓶颈早已不再是底层物理硬件的读写速度，而是软件栈在 CPU 上的开销。 在传统架构中，元数据引擎（如基于内核态文件系统的 RocksDB）在面...
-
双路服务器 PVE 虚拟机游戏惨烈掉帧？手把手教你配置 NUMA 绑定与 CPU 亲和性
很多用双路至强（Xeon）或双路 EPYC 组装家用服务器的玩家，在 PVE（Proxmox VE）下直通显卡给 Windows 虚拟机玩游戏时，都会遇到一个玄学问题： 显卡配置明明很高，但游戏内频繁出现周期性的卡顿、严重掉帧（甚至...
-
高并发下 Linux 服务器 softirq 飙高？从底层原理到实战调优指南
在高并发（尤其是海量小包网络吞吐）的场景下，Linux 服务器的 CPU 使用率中经常会出现 si (softirq，软中断) 占比极高、甚至单核被压死的现象。伴随而来的往往是丢包、延迟飙升以及吞吐量严重下滑。 要彻底解决这个问题...
-
生产环境网卡丢包、CPU单核软中断100%？不重启服务器动态调整网卡队列与中断绑定的硬核指南
在承载高并发、高吞吐量业务的 Linux 服务器上，网络性能瓶颈经常表现为： 某个 CPU 核心的软中断（softirq， si 指标）飙升至 100%，而其他核心却在“围观” 。伴随而来的，是网卡频繁丢包（packet drops）和...
-
KVM显卡直通后Windows虚拟机爆音、画面卡顿？一文搞定MSI中断与QEMU延迟优化
在玩 KVM/VFIO 显卡直通（Passthrough）时，很多人好不容易解决了显卡驱动的“Code 43”报错，却卡在了最后一步： Windows 虚拟机里声音噼里啪啦像放鞭炮，打游戏、看视频时偶尔还会出现掉帧和微卡顿（Micro-s...
