cpu
-
C++20 协程与无锁工作窃取：自研轻量级 Actor 模型的底层架构与实现
在现代多核架构中，传统的基于锁和多线程的并发模型常常面临着上下文切换开销大、死锁风险、以及线程阻碍等性能瓶颈。Actor 模型通过引入“无共享内存、通过消息传递进行通信”的隔离机制，提供了一种天然安全的并发范式。 借助 C++20 ...
-
彻底搞懂 I/O 多路复用：从 select 到 epoll 的演进与核心底层设计
在现代互联网高并发场景（如 C10K、C10M 问题）中， I/O 多路复用 是支撑高吞吐量服务的基石。无论是 Redis、Nginx 还是 Netty，其底层都离不开这一技术的支持。 从早期的 select 、 poll 到如今...
-
深度剖析：epoll ET 模式下如果不设非阻塞，内核里会发生什么？
在 Linux 高性能网络编程中，**“epoll 的 ET（边缘触发）模式必须配合非阻塞（Non-blocking）Socket 使用”**几乎是一条铁律。 但你是否深入思考过： 如果不这么做，到底会发生什么？底层的内核运转逻辑又是...
-
大白话彻底搞懂 epoll 为什么比 select/poll 强：从内核数据结构到高并发本质
在写高并发网络程序时，大家都知道要用 epoll ，也知道 select 和 poll 在连接数多了之后性能会急剧下降。 但如果面试官深挖一步： “到底是什么底层结构和运行机制的差异，导致了这种性能上的天壤之别？” 如...
-
彻底搞懂 Nginx 的 accept_mutex：它是如何解决早期 Linux 惊群效应的？
在探讨 Nginx 的 accept_mutex 机制之前，我们需要先明确一个背景： “惊群效应”（Thundering Herd）在现代 Linux 内核中，对于单纯的 accept() 系统调用其实早已在内核层解决。 ...
-
为什么 Redis 坚持选择 epoll 的水平触发（LT）而非边缘触发（ET）？
在程序员的面试“八股文”中，关于 Linux epoll 的讨论几乎是一个必考点。很多人在背诵答案时，会形成一个思维定势： 边缘触发（ET）比水平触发（LT）更高效，因为 ET 减少了 epoll_wait 的调用次数。 然...
-
Redis 单线程与 Reactor 模型的精密协同机制
在高性能网络编程领域，Redis 常被作为“单线程高性能”的典范。要理解为什么 Redis 的单线程设计在处理高并发网络 IO 时，不仅没有成为瓶颈，反而避免了多线程的延迟副作用，我们需要从 CPU 架构、操作系统内核以及 Redis 自...
-
为什么高并发 Redis 实例启用透明大页（THP）后，写操作延迟会瞬间飙升？
在 Linux 环境下运行高并发 Redis 实例时，如果你阅读过 Redis 的启动日志，经常会看到这样一行显眼的警告： WARNING you have Transparent Huge Pages (THP) enabled ...
-
Linux 性能调优：如何精准查看特定进程的共享内存被 Swap 占用的比例？
在 Linux 运维和数据库调优（如 PostgreSQL、Oracle 或使用大量共享内存的 IPC 应用）中，我们经常会遇到系统响应突然变慢的情况。这时候，排查 Swap（交换分区） 占用是常规操作。 但很快你会发现一个令人头...
-
当进程因 OOM 被杀，共享内存中的 Robust Mutex 真的能 100% 释放吗？剖析内核层面的极致边界
在多进程共享内存的并发设计中， Robust Mutex（健壮互斥锁） 被广泛用于解决“持有锁的进程意外崩溃，导致其他进程永久死锁”的问题。 当一个进程因为内存耗尽（OOM）被内核发送 SIGKILL 强行杀掉时，大家通常认为内...
-
Linux共享内存与Mutex避坑指南 防止死锁与内存损坏的底层技术
在 Linux 进程间通信（IPC）的高性能场景中， shm_open （POSIX 共享内存）配合共享互斥锁（Process-shared Mutex）是极常见的方案。这种方案虽然延迟极低，但由于多个进程拥有独立的虚拟地址空间，且其生命...
-
跨进程的极致性能：用 C++ 共享内存实现无锁队列的硬核细节
在开发高并发、低延迟的系统（如极速交易系统、音视频实时处理、高性能网关）时，多进程通信（IPC）是绕不开的瓶颈。很多人第一反应是使用 POSIX 共享内存（Shared Memory），毕竟直接读写物理内存的延迟是微秒级的。 为了榨干...
-
Linux C++ 高性能服务器如何用 HugePages 优化共享内存
在低延迟、高吞吐的 C++ 高性能计算服务（如交易系统、低延迟缓存、实时推流服务）中，进程间通过共享内存（Shared Memory）传递数据是极其常见的方案。 但是，当共享内存的规模达到数 GB 甚至数十 GB 时，默认的 4KB ...
-
Triton共享内存在C++与Python客户端下的性能差异与调优实践
在利用 Triton Inference Server 部署高吞吐、低延迟的深度学习模型时，传统的 gRPC 或 HTTP 协议往往会因为 数据序列化/反序列化 以及 网络栈拷贝 成为系统瓶颈。特别是在处理超大图像、视频流或高维张量时，这...
-
Triton 架构下 Python 与 PyTorch Backend 的并发显存开销差异及泄露精准定位实践
在生产环境中部署深度学习模型时，NVIDIA Triton Inference Server 是最常用的高性能推理引擎之一。然而，许多开发者在从 PyTorch (LibTorch) Backend 迁移到 Python Backend，...
-
突破 IPC 瓶颈：如何在 Triton Python Backend 中优雅地使用 CUDA Shared Memory？
在高性能深度学习推理场景中， Triton Inference Server 凭其优秀的并发处理能力被广泛采用。然而，许多团队在使用 Python Backend 编写自定义预处理或模型后处理逻辑时，常常会遇到性能瓶颈。 这个瓶...
-
Triton BLS 性能优化：如何优雅地实现 PyTorch 与 Triton Tensor 的「零拷贝」转换
在 Triton Inference Server 中编写 Python BLS（业务逻辑脚本）时，一个最容易忽视但也最致命的性能瓶颈就是 GPU 与 CPU 之间不必要的内存拷贝 。 很多刚接触 Triton 的同学，在编写 Py...
-
舍弃外部网关，改用 Triton BLS 编排模型，延迟能降多少？
在多模型级联（如 ASR + NLP + TTS，或者目标检测 + 裁剪 + 属性分类）的业务场景中，如何编排模型一直是个经典架构问题。 常见的做法有两种： 外部网关分桶/编排 ：在 Triton 外部写一个 Go/Pyth...
-
高并发下的多卡 Triton 推理优化：如何利用 CUDA IPC 与 NCCL 实现跨卡零拷贝级联？
在多卡（Multi-GPU）环境下部署复杂的大模型流水线或级联模型（Ensemble/Pipeline）时，GPU 之间的数据传输延迟往往会成为整个吞吐链路的致命瓶颈。 典型的级联场景（例如： Visual Grounding 任务中...
-
拒绝万恶的H2D拷贝：在Triton中用CUDA共享内存实现大图推理极速优化
在智能视觉、工业缺陷检测、超分辨率等场景中，我们经常需要处理 4K 甚至 8K 的超大尺寸图像。在传统的推理流程中，即使你把 GPU 上的模型优化到了极致，端到端的时延依然可能高达几十甚至上百毫秒。 用 Profiler 仔细分析就会...
