GGUF 与量化：省显存的那条路

量化就是把模型的权重用更少的位数存起来。文件更小、加载进显存占得更少、算得更快，代价是数值精度下降。这是不换显卡最有效的一条省显存路径。

什么是量化

• 原本每个权重可能用十几个位甚至更多位表示，量化后可能只用 8 位、5 位、4 位
• 位数越低，文件越小、占用越低，但与原始模型的差距可能越大
• 量化可以只针对模型的一部分做（例如只量化主干，保留某些层为高精度）
• 同一个名字下会有多个量化档位，选哪一档是「占用」与「保真」之间的取舍

GGUF 是什么

GGUF 是一种文件格式，用来装这类量化过的权重，它把权重与描述信息打包在一个文件里。它不是某种模型，也不是某种量化算法，而是一种容器格式。看到 .gguf 后缀，意思是「这个模型是量化过的，用专门的加载节点读」。

什么时候该用它

• 显存刚好不够，降分辨率又会明显影响成品时
• 想在一台中端显卡上跑更大的模型
• 要快速试很多方向，希望加载与推理更快
• 反过来，如果显存充足、又在意细节保真，优先用未量化的版本

在 ComfyUI 里怎么用

1. 下载量化版本的文件：放到对应的模型目录下，文件名记清楚。
2. 换成能读这种格式的加载节点：普通的加载节点读不了 .gguf，要用专门的加载节点。工作流里的模型依赖清单会写明这一点。
3. 确认量化档位与显存匹配：档位越低占用越小。先从能跑起来的档位开始，再往高试。
4. 对比输出再定档位：同一种子、同一组参数，用不同档位各跑一张，自己看差别能不能接受。

常见误解

相关条目