【AI大模型】合并后的模型导出与量化（GPTQ）写在前面：合并之后，还能再“瘦身”上一课我们把 LoRA 合并回基座，得到完整模型。但 7B 模型 bf16 就占 14GB，部署成本高。本课讲进一步 量化，用 GPTQ 把权重压到 4bit/8bit，让模型体积和显存大幅下降，仍能跑在消费级显卡上。本文讲透 GPTQ 导出：量化原理 → 准备数据 → 用 AutoGPTQ 量化 → 加载验证 → 部署到 vLLM。全文代码可直接运行。一、为什么合并后还要量化量化是把模型的浮点权重映射到更少的比特，从而减小体积、降低显存、可能提速。GPTQ 是当前最主流的一类后训练量化方法，特点：后训练量化——不需要重训，直接压缩已有模型。精度损失小——用少量校准数据保持能力。生态成熟——AutoGPTQ、vLLM 等原生支持。一句话：量化是合并后的“下一步瘦身”，让大模型能装进小显存。二、量化位数怎么选常见位数是 8bit 和 4bit，省多少、损失多少各不相同：位数体积/显存精度表现