SSD
-
N100 四网口小主机:如何安全地将 NVMe 固态硬盘物理直通给 TrueNAS,同时保障 PVE 系统盘安全?
在用 Intel N100 四网口小主机折腾 All-in-One(PVE + 软路由 + TrueNAS/群晖)时,很多玩家都会遇到一个核心痛点: 如何把 NVMe 固态硬盘直通给 TrueNAS,同时绝对不能影响到 PVE 本身的系统...
-
利用 io_uring 固化缓冲区与 C++23 内存池攻克大文件零拷贝吞吐极限
在大文件网络传输或高性能存储系统中,传统的 read / write 系统调用往往伴随着高昂的 CPU 拷贝开销与内核态/用户态切换成本。即便使用标准 io_uring 异步接口,如果在每次 I/O 提交时都动态建立用户空间页...
-
物理黑群晖 vs PVE虚拟化:家用低功耗NAS,谁在硬盘休眠和省电上更胜一筹?
在折腾家用 NAS 的圈子里,“功耗”和“硬盘休眠”永远是绕不开的两个核心话题。 很多新手在规划自己的 low-power NAS 时,往往会被 PVE(Proxmox VE) 强大的虚拟化能力所吸引,幻想着“一台主机搞定群晖、软...
-
SSD FTL 碎片化是如何击穿数据库 P99 延迟的?
在评估数据库性能时,平均响应时间(Average Latency)往往是一片风平浪静,但 P99 甚至 P99.9 延迟的突然飙升(比如从数百微秒暴涨至数十毫秒),却常常成为线上系统的“无形杀手”。 这种偶发性的延迟毛刺,很多时候并非...
-
TiKV Titan 存储引擎应对 SSD 硬件空洞与文件系统碎片的深层优化实践
在 TiDB/TiKV 的大规模生产实践中,为了应对大 Value 带来的写放大问题,我们通常会开启 Titan 存储引擎。Titan 通过 KV 分离 (Key-Value Separation)将大 Value 从 LSM-tree...
-
怎样设计自适应限速算法平抑LSM树时序数据库的Compaction引起的IO抖动
在时序数据库(TSDB)的生产环境中,最让架构师和运维痛、也最难解决的问题之一,莫过于 毫无征兆的写入延迟毛刺 。 这类毛刺通常呈现出高度的周期性或突发性:系统在平稳运行数小时后,写入吞吐突然断崖式下跌,P99 延迟瞬间飙升到数秒,几...
-
RocksDB 面对大 KV 高频写入直接拉胯?聊聊 Titan KV 分离架构的深水区避坑指南
在传统的 LSM-Tree 架构中,RocksDB 是应对高并发写入的利器。然而,一旦业务场景中出现了 1MB 以上的大 Key-Value(LKV) ,且伴随着 高频写入 ,RocksDB 的写放大(Write Amplificati...
-
Linux 共享内存的深水区:shm_open 与 shmget 会被 Swap 交换吗?
在 Linux 系统底层开发和高性能服务优化中,共享内存(Shared Memory)是实现进程间零拷贝通信的王牌。但许多开发者在设计高并发、低延迟系统时,常常会忽略一个致命的隐患: 当宿主机物理内存不足时,通过 shm_open 或...
-
LSM-Tree 存储引擎如何在 SSD 上实现「写放大」自救?
在现代高并发写入场景中,LSM-Tree(Log-Structured Merge-Tree)凭借其将随机写转化为顺序写的特性,成为了 RocksDB、Cassandra 等主流存储引擎的基石。然而,这种设计天然带来了一个致命的副作用: ...
-
穷玩 HomeLab:双盘位 N100 小主机跑 PVE,怎么用 ZFS 做最低成本的容灾?
在 HomeLab 圈子里,N100 双盘位小主机(比如各类双网口/多网口轻量 NAS、小主机)几乎是性价比的代名词。 但双盘位跑 Proxmox VE (PVE) 会面临一个尴尬的痛点: 如果直接做 ZFS Mirror(镜像),可...
-
LSM 存储引擎高频写入时 Leveled 与 Universal 的动态写放大波动曲线有什么本质区别
在基于 LSM-Tree(Log-Structured Merge-tree)架构的存储引擎(如 RocksDB、TiKV 等)中,**写放大(WAF - Write Amplification Factor)**是决定系统写入吞吐量和 ...
-
搞定 RocksDB FIFO Compaction 的暗坑:如何在高吞吐下兼顾空间放大与写入抖动?
在分布式存储系统的设计中,针对时序数据、大容量缓存或纯追加(Append-only)写入场景,开发者通常会首选 RocksDB 的 FIFO Compaction 策略。其核心逻辑非常简单:像一个环形缓冲区(Ring Buffer)一...
-
SPDK Blobstore在高频元数据写入场景下的碎片整理与GC架构设计
在高性能存储系统设计中,SPDK Blobstore 凭借其用户态、异步、无锁以及轮询(Polled-mode)的特性,成为了构建新型分布式存储和数据库底层引擎的热门选择。然而,当面临高频、小包的元数据(如目录树修改、KV索引更新、对象属...
-
RocksDB 部署在 SSD 上,如何通过参数调优与冷热分离将写放大(WAF)降低 50% 以上?
在企业级存储与数据库架构中,RocksDB 作为经典的 LSM-Tree(Log-Structured Merge-Tree)存储引擎,因其极高的写入吞吐量被广泛应用。然而,LSM-Tree 天生的“空间换时间”机制,会导致频繁的后台 C...