70B 不是 32G 的禁区
“32GB 内存跑不动 70B 模型”——这句话只对了一半。2026 年的量化与运行时优化，让一台 M2 Ultra 或一台双槽 RTX 4090 工作站真的能跑 70B 模型做日常推理。本篇把方案、实测数据、注意事项一次性讲清楚。
先把概念对齐
模型”运行内存”通常指模型权重 + KV cache + 中间激活三块的总占用。70B 模型在 FP16 下大约 140GB——当然不可能塞进 32GB。所以我们要做两件事：
- 把权重压缩到能装得下的体积；
- 把 KV cache 与激活尽量压缩，腾出批处理空间。
权重量化方案对照
AWQ (Activation-aware Weight Quantization)
- 把权重压到 4-bit（约 35GB @ 70B），激活保持 FP16；
- 质量损失几乎察觉不到（<1% benchmark 差）；
- 推理快、显存占用预测稳，社区工具成熟。
推荐在显存 ≥40GB的显卡上跑 70B：70B-AWQ @ 4090 24GB 会触发分层卸载，速度掉到 3-5 token/s，体验不好。
GPTQ
- 纯权重 4-bit，与 AWQ 体积接近；
- 对老显卡（Pascal 时代）兼容更好；
- 2026 年起逐渐被 AWQ 反超，新模型 AWQ 版本先出。
GGUF + llama.cpp (CPU/GPU 混合)
- 能在纯 CPU 上跑 70B（速度 1-3 token/s 也能用）；
- q4_K_M 量化约 40GB，CPU 内存需求高；
- 混合推理：少部分层 GPU + 大部分 CPU，是 32GB 内存 + 8-12GB 显卡的可行路径。
实测场景对照
硬件：M2 Ultra 64GB 统一内存（最常见”32GB 系统级”实际上内存大）+ RTX 4090 24GB 旁路，模型 Qwen2.5-72B-Instruct-AWQ：
| 方案 | 速度 | 显存/内存 | 体验 |
|---|---|---|---|
| AWQ 单卡 4090 | ~22 token/s（需卸载一半） | 显存满 + 8GB 内存 | 勉强可用 |
| GGUF llama.cpp CPU 8 层 GPU | ~9 token/s | 显存 8GB + 内存 38GB | 稳定 |
| GGUF llama.cpp 纯 CPU | ~3 token/s | 内存 48GB | 慢但能用 |
实际结论：如果显存只有 24GB，优先 GGUF llama.cpp 混合方案；如果是 Apple Silicon 64GB 统一内存，GGUF 纯 CPU 反而最稳。
如何选量化版本
- 做严肃工作（代码、合同、写作）：q5_K_M 或 q6_K，避免太激进的量化。
- 做轻量场景（问答、总结）：q4_K_M，资源友好。
- 做预研 / 模型对比：q3_K_M 也行，质量损失开始明显但够用。
- 永远不要用 2-bit 量化做生产：除了能”看到输出”，质量基本不可用。
常见踩坑
- 混合推理要分清楚 GPU 层数：70B 模型有 80 层，把前面 8 层放 GPU、后面 72 层 CPU，速度远好于反过来。
- 统一内存要预留系统开销：macOS 64GB 不要把 48GB 都给模型，留 8-12GB 给系统。
- 首 token 延迟 ≠ 后续 token 速度：长 prompt 时首 token 可能 5-10 秒，要给前端做”思考中”动画。
- 记得看基准而非看 benchmark：很多 70B-AWQ 在多轮对话里质量掉得很明显，不要迷信 leaderboard。
32GB 内存跑 70B 模型不是能不能的问题，是愿意牺牲多少速度换什么样的体验的问题。挑对量化方案，比买新显卡更划算。
