显存优化
-
不用A100也能跑！如何利用免费 Google Colab 运行 AlphaFold 3 社区修改版？
随着 Google DeepMind 正式开源 AlphaFold 3 (AF3) 的代码和模型权重，结构生物学界迎来了一波狂欢。但狂欢之余，残酷的硬件现实摆在面前：官方版的 AF3 运行需要下载近 2TB 的基因数据库，且本地运行极度依...
292 蛋白质结构预测 -
单卡 RTX 4090 本地部署 AlphaFold 3 实操与显存优化指南
Google DeepMind 正式开源 AlphaFold 3 (AF3) 的源代码和模型权重后，生命科学与 AI 交叉领域的开发者迎来了一波本地部署热潮。 虽然官方推荐使用 A100/H100 等企业级显卡，但对于预算有限的个人开...
-
显存不够怎么跑 RoseTTAFold2？超大蛋白质复合物轻量化预测实战
生命科学领域的研究者，大概都经历过被 CUDA out of memory （显存溢出）支配的恐惧。 随着结构生物学进入“大复合物时代”，预测 2000aa（氨基酸残基）以上的超大蛋白质复合物已成常态。然而，RoseTTAFold2...
-
用好 Ragged Batching，解决 Triton 动态批处理中的 NLP 显存爆炸
在生产环境中部署 BERT、GPT 等 NLP 模型时，我们几乎都会开启 Triton Inference Server 的 Dynamic Batching（动态批处理） 。这个功能很香，能把多个客户端的单条请求攒成一个 Batch ...
