SSD
-
彻底解决 RocksDB Write Stall:当 pending compaction bytes 激增,如何平滑限流避免延迟抖动?
在基于 LSM-Tree(Log-Structured Merge-Tree)架构的存储引擎(如 RocksDB)中, Write Stall(写入停顿) 是最令架构师和 DB 运维人员头疼的性能杀手。当写入速度远超后台 Compact...
-
如何设计 LSM-Tree 存储引擎的 Compaction 限速机制,彻底解决 P99 延迟抖动?
在基于 LSM-Tree(Log-Structured Merge-tree)架构的存储引擎(如 RocksDB、TiKV 等)中, Compaction(压实) 是维持系统健康运转的核心机制。它通过在后台合并 SStables,清理过...
-
SSD FTL 碎片化是如何击穿数据库 P99 延迟的?
在评估数据库性能时,平均响应时间(Average Latency)往往是一片风平浪静,但 P99 甚至 P99.9 延迟的突然飙升(比如从数百微秒暴涨至数十毫秒),却常常成为线上系统的“无形杀手”。 这种偶发性的延迟毛刺,很多时候并非...
-
TiKV Titan 存储引擎应对 SSD 硬件空洞与文件系统碎片的深层优化实践
在 TiDB/TiKV 的大规模生产实践中,为了应对大 Value 带来的写放大问题,我们通常会开启 Titan 存储引擎。Titan 通过 KV 分离 (Key-Value Separation)将大 Value 从 LSM-tree...
-
RocksDB 面对大 KV 高频写入直接拉胯?聊聊 Titan KV 分离架构的深水区避坑指南
在传统的 LSM-Tree 架构中,RocksDB 是应对高并发写入的利器。然而,一旦业务场景中出现了 1MB 以上的大 Key-Value(LKV) ,且伴随着 高频写入 ,RocksDB 的写放大(Write Amplificati...
-
如何在非特权(Non-privileged)容器中,安全部署基于 SPDK 与 AF_XDP 的 K8s 高性能网络?
在 Kubernetes 节点上部署基于 SPDK (Storage Performance Development Kit) 和 AF_XDP (Address Family XDP) 的高性能网络或存储组件时,传统的做法通常是...
-
SPDK NVMe-oF 性能实测:RDMA 与 AF_XDP TCP 延迟与 CPU 损耗的深度量化剖析
在超大规模数据中心和高性能存储架构中,如何压榨网络协议栈的每一分性能是永恒的主题。SPDK(Storage Performance Development Kit)作为用户态存储领域的标杆,其 NVMe-oF(NVMe over Fabr...
-
突破网络瓶颈:SPDK NVMe-oF TCP 架构下的 io_uring 与 eBPF 套接字优化实践
在 NVMe-over-Fabrics (NVMe-oF) TCP 部署中,尽管 SPDK(Storage Performance Development Kit)利用用户态、轮询模式(Poll-mode)驱动极大地释放了 SSD 的吞吐...
-
深度解析:SPDK 在 NVMe-oF(TCP/RDMA)下相较于内核驱动有哪些核心技术优化?
在现代超大规模数据中心和高性能存储架构中,NVMe-oF(NVMe over Fabrics)已经成为连接计算节点与存储节点的标准协议。 然而,当底层存储介质(如 Optane、QLC/TLC 闪存)的物理延迟降低到微秒级,网络带宽飙...
-
为什么在极限性能场景下,SPDK 依然比 io_uring 快?
在当今的存储性能压测中,如果你把一块企业级 PCIe Gen4/Gen5 NVMe SSD 的性能推向极限,通常会发现一个现象:尽管 Linux 的 io_uring 已经将内核异步 I/O 的性能提升到了前所未有的高度,但在单核 I...
-
利用 io_uring 固化缓冲区与 C++23 内存池攻克大文件零拷贝吞吐极限
在大文件网络传输或高性能存储系统中,传统的 read / write 系统调用往往伴随着高昂的 CPU 拷贝开销与内核态/用户态切换成本。即便使用标准 io_uring 异步接口,如果在每次 I/O 提交时都动态建立用户空间页...
-
Linux 共享内存的深水区:shm_open 与 shmget 会被 Swap 交换吗?
在 Linux 系统底层开发和高性能服务优化中,共享内存(Shared Memory)是实现进程间零拷贝通信的王牌。但许多开发者在设计高并发、低延迟系统时,常常会忽略一个致命的隐患: 当宿主机物理内存不足时,通过 shm_open 或...
-
AlphaFold 3 开源了却动不了?无 GPU 预算的生信避坑与替代工作流指南
不少做结构生物学和药物研发的同学最近都在关注 AlphaFold 3 (AF3) 的开源进展。 好消息是,DeepMind 在 2024 年 11 月终于迫于学术界压力,正式开源了 AlphaFold 3 的源代码和模型权重(仅限...
-
单卡 RTX 4090 本地部署 AlphaFold 3 实操与显存优化指南
Google DeepMind 正式开源 AlphaFold 3 (AF3) 的源代码和模型权重后,生命科学与 AI 交叉领域的开发者迎来了一波本地部署热潮。 虽然官方推荐使用 A100/H100 等企业级显卡,但对于预算有限的个人开...
-
如何本地免商业授权费部署 AlphaFold 3?(附抗体-抗原复合物预测实操指南)
Google DeepMind 在 2024 年 11 月正式开源了 AlphaFold 3 (AF3) 的源代码及模型权重(针对学术与非商业用途)。这意味着研究人员终于可以摆脱 Web 服务器每天的提交限制,在本地环境中运行这一顶尖...
-
别急着换固态!手把手教你用几招物理方法,“摁住”吵人的机械硬盘
你的电脑是不是总在深夜发出规律的“咔哒”声或低沉的嗡嗡声?游戏加载时更像一台小型拖拉机?很多人第一反应是:“该换SSD了。” 但且慢!对于还有大量数据存储在机械硬盘(HDD)的朋友来说,通过一些物理手段压制其振动和噪音,成本更低,效果也可...
-
Steam下载加速的深层技巧:网络与系统级优化指南
许多玩家在Steam下载游戏时,除了看到下载区域和带宽设置外,往往忽略了底层网络和系统层面的优化空间。实际上,通过一系列合法的技术调整,可以显著提升下载效率,尤其是针对大型游戏更新或新游戏安装。 1. 网络层优化:超越默认设置 S...
-
Steam进阶优化:除了限速,这些设置也能大幅提升游戏体验!
哈喽各位玩家!玩Steam这么久,大家最常说的优化就是改下载区域或者限制下载速度。但其实Steam客户端里藏着不少“小机关”,稍微调一下,你的游戏下载速度和游玩流畅度都能有明显提升!我来给大家扒一扒这些不为人知的设置。 1. 影...
-
玩游戏时如何避免Steam、Epic抢资源?平台优化小技巧
嘿,各位老铁们,有没有遇到过玩游戏正HIGH的时候,突然发现电脑卡顿,或者网络延迟飙升?很多时候,这不一定是电脑配置不够强,而是游戏平台在后台偷偷“抢”走了你的系统资源!尤其是Steam和Epic Games这两大平台,后台下载、更新、云...
-
告别盲目升级:手把手教你用软件摸清电脑性能瓶颈!
嘿,大家好!是不是每次电脑卡顿、玩游戏掉帧,第一个念头就是“我是不是该升级了?”然后打开购物网站一顿看,最后却纠结半天不知道该换CPU、内存还是显卡,生怕钱花出去了效果不明显?别急,今天我就来教大家一套“侦察兵”战术,用免费小工具帮你把电...