Linux内核
-
TiKV Titan 存储引擎应对 SSD 硬件空洞与文件系统碎片的深层优化实践
在 TiDB/TiKV 的大规模生产实践中,为了应对大 Value 带来的写放大问题,我们通常会开启 Titan 存储引擎。Titan 通过 KV 分离 (Key-Value Separation)将大 Value 从 LSM-tree...
-
彻底抛弃 kube-proxy 后 Cilium 如何依靠 eBPF 驾驭 NodePort 与 ExternalIP 流量
在传统的 Kubernetes 集群中,服务发现和负载均衡主要依赖 kube-proxy 。它通过维护大规模的 iptables 规则或 IPVS 虚拟服务器来实现流量转发。然而,随着集群规模的扩大, iptables 的 $...
-
告别 iptables 泥潭:在大规模 K8s 集群中用 eBPF 彻底解放 Service 转发性能
在 Kubernetes 集群规模迈向数千节点、数万 Pod 的过程中,网络性能往往会最先撞墙。 许多平台工程师或 SRE 都会遇到类似的诡异现象:集群节点数变多后,新建连接的延迟偶尔出现抖动,CPU 莫名其妙地在内核态出现尖峰,甚至...
-
打破 K8s 传统网络瓶颈:基于 eBPF 的多租户容器隔离与 EDT 极速限速设计
在多租户 Kubernetes 集群中,网络隔离与带宽限制是保障租户安全与服务质量(QoS)的刚需。然而,传统的实现方案往往存在严重的性能瓶颈: 网络隔离 :传统方案依赖 iptables 或 IPVS 。当集群 Serv...
-
用 eBPF TC 打造高吞吐低延迟的无特权 Kubernetes 容器网络架构设计与实现
在传统的 Kubernetes 网络架构中,容器间通信通常依赖于 veth pair、Linux Bridge 以及 iptables/IPVS 等技术。当数据包从一个 Pod 发往另一个 Pod 时,它需要跨越多次网络栈,经历繁琐的路由...
-
彻底解决 SPDK 启用 AF_XDP 时的 memlock 报错:从原理到生产级配置
在 Linux 5.15+ 内核环境下,使用 SPDK(Storage Performance Development Kit)搭配 AF_XDP 驱动(特别是配合 bdev_aio 或自定义网络前端)时,很多开发者在初始化 UMEM...
-
SPDK NVMe-oF 性能实测:RDMA 与 AF_XDP TCP 延迟与 CPU 损耗的深度量化剖析
在超大规模数据中心和高性能存储架构中,如何压榨网络协议栈的每一分性能是永恒的主题。SPDK(Storage Performance Development Kit)作为用户态存储领域的标杆,其 NVMe-oF(NVMe over Fabr...
-
突破网络瓶颈:SPDK NVMe-oF TCP 架构下的 io_uring 与 eBPF 套接字优化实践
在 NVMe-over-Fabrics (NVMe-oF) TCP 部署中,尽管 SPDK(Storage Performance Development Kit)利用用户态、轮询模式(Poll-mode)驱动极大地释放了 SSD 的吞吐...
-
深度解析:SPDK 在 NVMe-oF(TCP/RDMA)下相较于内核驱动有哪些核心技术优化?
在现代超大规模数据中心和高性能存储架构中,NVMe-oF(NVMe over Fabrics)已经成为连接计算节点与存储节点的标准协议。 然而,当底层存储介质(如 Optane、QLC/TLC 闪存)的物理延迟降低到微秒级,网络带宽飙...
-
为什么在极限性能场景下,SPDK 依然比 io_uring 快?
在当今的存储性能压测中,如果你把一块企业级 PCIe Gen4/Gen5 NVMe SSD 的性能推向极限,通常会发现一个现象:尽管 Linux 的 io_uring 已经将内核异步 I/O 的性能提升到了前所未有的高度,但在单核 I...
-
如何防止 io_uring 异步文件 IO 退化为同步阻塞
在高性能系统编程中, io_uring 被寄予厚望。大家都期待它能带来极致的无锁、非阻塞异步 IO 体验。然而,许多人在将传统的 File IO 迁移到 io_uring 后,压测时却发现 CPU 消耗极高,甚至出现了意料之外的延迟...
-
io_uring 缓冲池优化实践:如何用无锁 Buffer Ring 彻底解决网络库的内存抖动
在编写高性能网络服务器时,最让人头疼的往往不是 I/O 拷贝本身,而是 内存分配的确定性 。 在传统的 epoll 异步非阻塞模型中,我们通常面临两难境地: 预分配模式 :为每个连接(Connection)在初始化时就绑...
-
突破异步C++极限:如何基于 P2300 (std::execution) 构建高性能 io_uring 调度器?
在 C++23 中,随着 std::execution (即 P2300 提案)的逐步落地,C++ 异步编程正在迎来底层的统一变革。借助 Sender/Receiver(发送器/接收器) 模型,我们可以用高度结构化的方式组织异步任务...
-
彻底搞懂 I/O 多路复用:从 select 到 epoll 的演进与核心底层设计
在现代互联网高并发场景(如 C10K、C10M 问题)中, I/O 多路复用 是支撑高吞吐量服务的基石。无论是 Redis、Nginx 还是 Netty,其底层都离不开这一技术的支持。 从早期的 select 、 poll 到如今...
-
深度剖析:epoll ET 模式下如果不设非阻塞,内核里会发生什么?
在 Linux 高性能网络编程中,**“epoll 的 ET(边缘触发)模式必须配合非阻塞(Non-blocking)Socket 使用”**几乎是一条铁律。 但你是否深入思考过: 如果不这么做,到底会发生什么?底层的内核运转逻辑又是...
-
大白话彻底搞懂 epoll 为什么比 select/poll 强:从内核数据结构到高并发本质
在写高并发网络程序时,大家都知道要用 epoll ,也知道 select 和 poll 在连接数多了之后性能会急剧下降。 但如果面试官深挖一步: “到底是什么底层结构和运行机制的差异,导致了这种性能上的天壤之别?” 如...
-
彻底搞懂 Nginx 的 accept_mutex:它是如何解决早期 Linux 惊群效应的?
在探讨 Nginx 的 accept_mutex 机制之前,我们需要先明确一个背景: “惊群效应”(Thundering Herd)在现代 Linux 内核中,对于单纯的 accept() 系统调用其实早已在内核层解决。 ...
-
为什么 Redis 坚持选择 epoll 的水平触发(LT)而非边缘触发(ET)?
在程序员的面试“八股文”中,关于 Linux epoll 的讨论几乎是一个必考点。很多人在背诵答案时,会形成一个思维定势: 边缘触发(ET)比水平触发(LT)更高效,因为 ET 减少了 epoll_wait 的调用次数。 然...
-
Redis 单线程与 Reactor 模型的精密协同机制
在高性能网络编程领域,Redis 常被作为“单线程高性能”的典范。要理解为什么 Redis 的单线程设计在处理高并发网络 IO 时,不仅没有成为瓶颈,反而避免了多线程的延迟副作用,我们需要从 CPU 架构、操作系统内核以及 Redis 自...
-
为什么高并发 Redis 实例启用透明大页(THP)后,写操作延迟会瞬间飙升?
在 Linux 环境下运行高并发 Redis 实例时,如果你阅读过 Redis 的启动日志,经常会看到这样一行显眼的警告: WARNING you have Transparent Huge Pages (THP) enabled ...