GPU
-
Triton 推理服务性能调优：如何通过 Dynamic Batching 与队列配置掐准延迟与吞吐的平衡点
在生产环境中部署深度学习模型时，我们经常面临一个看似不可调和的矛盾： 为了压榨 GPU 的极限吞吐量（Throughput），我们需要尽可能把 Batch Size 攒得更大；而为了满足业务端极限制延（Latency SLA）的要求，请求...
-
无三维结构时，如何仅凭氨基酸序列用 ESM-Fold 预测抗原结合表位？
在抗体药物研发或免疫学研究中，获得抗原-抗体复合物的晶体结构通常耗时且成本高昂。随着单序列蛋白质结构预测工具（如 Meta 的 ESM-Fold）的出现，仅凭一级氨基酸序列预测抗原结合表位（Epitope）和抗体靶点（Paratope）已...
-
拒绝万恶的H2D拷贝：在Triton中用CUDA共享内存实现大图推理极速优化
在智能视觉、工业缺陷检测、超分辨率等场景中，我们经常需要处理 4K 甚至 8K 的超大尺寸图像。在传统的推理流程中，即使你把 GPU 上的模型优化到了极致，端到端的时延依然可能高达几十甚至上百毫秒。 用 Profiler 仔细分析就会...
-
AI如何识别半导体晶圆纳米级缺陷？优势与挑战解析
在半导体晶圆检测中，AI（人工智能）正发挥着越来越关键的作用，尤其是在从海量图像数据中快速、准确地识别纳米级缺陷方面，它展现出了传统图像处理技术难以比拟的优势。 传统检测方法的局限性 在了解AI之前，我们先快速回顾一下传统方法。传...
-
白嫖 Meta 算力：无显卡如何在 Colab 快速部署 ESMFold 并搞定单点突变分析
做结构生物学和计算生物学的同学，或多或少都经历过被显卡支配的恐惧。想跑个 AlphaFold2，光是配环境和下载那几个 TB 的数据库就能让人崩溃，更别提本地那块瑟瑟发抖的 RTX 3060 显卡了。 其实，如果你只是想针对某个靶点蛋...
-
彻底解决 GROMACS 模拟中的 CUDA Out of Memory：从域分解与显存分配机制谈起
在进行大体系分子动力学（MD）模拟或使用多卡/多路 CPU 强卡并行的生产环境中，GROMACS 报错 "Out of memory" 导致 CUDA 驱动崩溃是一个非常经典且让人头疼的问题。 这类显存溢出（O...
-
保姆级教程：单显卡（Single GPU）如何通过 Libvirt Hook 完美直通 KVM 虚拟机
在多显卡或双显卡（如核显+独显）的场景下，显卡直通（GPU Passthrough）相对简单。但在**单显卡（Single GPU）**的宿主机上，直通意味着在 VM 启动时，宿主机必须动态地释放唯一的显卡，将其绑定给 VFIO 驱动；在...
-
J4125 对决 N5105：物理黑群晖极致省电配置指南与避坑指南
在折腾 DIY NAS 的圈子里，J4125 和 N5105 是两代神 U。很多垃圾佬在组建 24 小时开机的物理黑群晖时，最关心的指标除了性能，就是 待机功耗 。 很多人单纯地认为“10nm 的 N5105 肯定比 14nm 的 J...
-
PVE直通核显给OpenWrt或iKuai导致黑屏死机？一文教你彻底排查与避坑
在折腾 PVE（Proxmox VE）做 AIO（All-in-One）主机的过程中，很多玩家在尝试将 Intel CPU 的核显直通给 iKuai 或 OpenWrt 等虚拟机以实现所谓的“硬件加速”时，经常会遇到 PVE 宿主机直接死...
-
Slurm 调度下 MPI 作业的 NVIDIA MPS 动态启停与自动配置方案
在利用 Slurm 调度器运行 MPI 多机多卡作业时，若多个 MPI 进程（Ranks）需要共享同一张 GPU 卡，默认情况下会因为 CUDA Context 切换开销巨大而导致显卡利用率低下。NVIDIA MPS（Multi-Proc...
-
N100核显SR-IOV虚拟化：PVE 8.x下Jellyfin与Plex开启QSV硬解保姆级教程
在 PVE 8.x 下，Intel N100 凭借其极低的功耗和出色的 QSV 解码能力，成为了家用 NAS/All-in-One 路由器的明星 CPU。传统的核显直通（Passthrough）只能将核显分给单一虚拟机，而通过 SR-I...
-
单点突变后在无显卡云服务器运行GROMACS动力学平衡的实操指南
在做完单点突变后（无论你是用 PyMOL、FoldX 还是 Rosetta 得到的突变体 PDB 文件），如果手头没有 GPU 显卡，利用廉价的纯 CPU 云服务器（如 8 核或 16 核的按量付费实例）跑完前期的 能量最小化（EM） 、...
-
科研平替：ColabFold 蛋白质复合物预测进阶微调指南
在结构生物学领域，AlphaFold-Multimer 的出现极大地方便了蛋白质复合物的研究。然而，本地部署 AlphaFold-Multimer 对显存和硬盘（尤其是几 TB 的数据库）的要求让许多课题组望而却步。 作为高性价比的“...
-
用好 Ragged Batching，解决 Triton 动态批处理中的 NLP 显存爆炸
在生产环境中部署 BERT、GPT 等 NLP 模型时，我们几乎都会开启 Triton Inference Server 的 Dynamic Batching（动态批处理） 。这个功能很香，能把多个客户端的单条请求攒成一个 Batch ...
-
多节点 Slurm 集群中，如何用 Ansible 优雅地批量维护与巡检 GPU MPS 状态？
在大型 GPU 算力集群中，为了提升中小显存占用任务的吞吐量， NVIDIA MPS（Multi-Process Service，多进程服务） 是一个几乎必选的方案。配合 Slurm 的 gres/mps 机制，多任务可以物理共享单...
-
PVE 虚拟机 vs LXC 容器：Jellyfin 硬件解码直通深度评测与避坑指南
在 Proxmox VE（PVE）环境下部署 Jellyfin 媒体服务器时，如何让其高效地调用显卡（核显或独显）进行硬件转码，是每个 HomeLab 玩家必须要面对的课题。 最常见的两条路线是：**LXC（Linux 容器）**与 ...
-
多卡多NUMA服务器性能调优：MPI进程、GPU与MPS守护进程的最优绑定实践
在多卡多NUMA（Non-Uniform Memory Access）架构的服务器上运行MPI（Message Passing Interface）大规模并行程序时，默认的调度策略往往会导致灾难性的性能抖动。 如果一个MPI进程运行在...
-
为什么开启 NVIDIA MPS 后 MPI 进程会突发 CUDA_ERROR_OUT_OF_MEMORY？原理剖析与排查指南
在利用 MPI（Message Passing Interface）进行多进程并行计算或分布式深度学习训练时，为了提高 GPU 利用率，我们常常会开启 NVIDIA MPS（Multi-Process Service）。MPS 的初衷是允...
-
异步事件驱动与冯·诺依曼架构：数据流调度的本质差异
类脑芯片常被贴上“低功耗”“高并行”的标签，但这些表象背后，真正决定其运行逻辑的是 数据流调度范式 的根本转变。传统冯·诺依曼架构与类脑异步事件驱动架构在数据如何流动、何时流动、由谁决定流动路径上，存在三条不可调和的本质差异。 一、 ...
-
Linux 虚拟机开启 3D 加速的底层逻辑与性能瓶颈是什么？
在虚拟机（VM）里玩 3D 游戏或者运行复杂的 WebGL 应用，历来是一件让人头疼的事。很多人会发现，即使主机的显卡性能爆炸，虚拟机里拉动一个 3D 窗口依然卡顿。 要理解这个现象，我们需要扒开虚拟机图形栈的底层，看看 3D 渲染指...
