大模型量化（Quantization）是当前大语言模型（LLM）从“云端实验室”走向“终端应用”的核心技术。简单来说，它是在尽量不损失模型智能的前提下，给模型“减肥”和“加速”。

结合你之前的硬件环境（双卡 4090D）以及最新的技术趋势（截至 2026 年），我为你详细拆解这项技术：

1. 什么是量化？

如果把大模型比作一个精密的仪器，原本的参数（权重）是用非常高精度的“刻度”来记录的（比如 FP16 或 BF16，16位浮点数）。

量化前 (FP16)：就像用一把精确到 0.001 毫米的尺子去测量，精度极高，但数据量大，计算慢。

量化后 (INT8/INT4)：就像换用一把刻度较粗的尺子（比如只保留整数），虽然精度稍微降低，但数据体积瞬间缩小了好几倍，搬运和计算都快得飞起。

2. 为什么要量化？

对于你这样的开发者和用户，量化主要解决三个痛点：

显存占用大幅降低：

这是最直接的收益。量化可以让大模型塞进更小的显存里。例如，一个 32B 的模型，FP16 精度需要约 64GB 显存（双 4090 跑不动），但量化到 INT4 后，仅需约 18-20GB，单张 4090 就能跑，双卡更是游刃有余。

推理速度提升：

低精度的计算（如 INT8/INT4）在 GPU 上比高精度浮点计算快得多。特别是利用 Tensor Core 或专门的 NPU 指令集时，吞吐量可以提升数倍。

能耗降低：

数据搬运和计算量的减少，直接带来了能耗的下降，这对于边缘设备（如手机、机器人）尤为重要。

3. 主流量化技术与格式

根据 2025-2026 年的技术演进，目前主流的量化方案如下表所示：

量化格式/方案	精度/位宽	特点	适用场景
FP16 / BF16	16-bit	基准。精度无损，但显存占用大，速度慢。	模型训练、极高精度要求的科研。
FP8	8-bit	新标准。NVIDIA H100/4090 等显卡原生支持，平衡了精度与速度。	训练与推理的平衡点，vLLM 等新引擎支持良好。
INT8	8-bit	成熟稳定。精度损失极小，推理速度提升明显（2-3倍）。	早期量化方案，兼容性好。
AWQ / GPTQ	4-bit	当前主流。通过保留重要权重的精度（AWQ）或逐层量化（GPTQ），在 4bit 下几乎无损。	消费级显卡（如 4090）的首选，兼顾性能与速度。
GGUF (llama.cpp)	2-8 bit	端侧之王。高度压缩，支持 CPU 推理，文件极小。	个人电脑、MacBook、嵌入式设备。
复数量化 (iFairy)	2-bit	前沿黑科技。利用复数域（{±1, ±i}）进行 2-bit 量化，实现“无乘法”推理。	极度受限的边缘端，未来技术方向。

4. 关键技术原理

量化不仅仅是简单的“四舍五入”，它包含了很多精妙的算法来对抗精度损失：

离群值抑制 (Outlier Suppression)：

大模型中总有一些权重的数值特别大（离群值），直接量化会抹平这些小数值。像 SmoothQuant 这样的技术，会通过数学变换，把激活值的量化难度“迁移”到权重上，从而让量化更平滑。

混合精度 (Mixed Precision)：

不是所有层都需要高精度。ZeroQuant 等技术会分析每一层对量化的敏感度，对敏感层保留 FP16，对不敏感层使用 INT4，从而在整体上达到最优的“性价比”。

校准 (Calibration)：

在量化过程中，通常会用一小部分数据（校准集）来“观察”模型的激活值分布，从而找到最佳的量化截断范围，避免信息丢失。

5. 2026 年的新趋势：超低比特与端侧落地

根据最新的技术动态，量化正在向更极致的方向发展：

从“可用”到“极致好用”：

以前大家担心 4-bit 模型会变“傻”，但现在的 AWQ 和 GPTQ 算法已经非常成熟，在大多数日常任务中，人类几乎感觉不到它与 FP16 的区别。

2-bit 复数量化登场：

北京大学等团队提出的 iFairy 方案，利用复数域进行 2-bit 量化，不仅将模型压缩到原来的 1/8，还实现了“无乘法”推理，极大地降低了计算延迟。这标志着大模型即将在移动端（手机、IoT）全面普及。

国产算力适配：

华为昇腾等国产硬件也在深度适配量化技术，推出了如 MindStudio-ModelSlim 等工具，支持一键量化和敏感层分析，让开发者能更方便地在国产芯片上部署大模型。

6. 建议

结合vLLM + 4090D，量化对你意味着：

首选 INT4/AWQ：对于 30B-35B 级别的模型，INT4 (AWQ/GPTQ) 是你在 4090 上的最佳甜点。它能让你用单卡跑大模型，或者用双卡跑出极快的速度并支持超长上下文。

关注 FP8：随着 vLLM 等推理引擎的更新，FP8 正在成为新的性能标杆。如果你的显卡驱动和模型支持，FP8 通常比 INT4 精度更好，比 FP16 速度快。

不要盲目追求低比特：虽然 2-bit 很诱人，但目前 INT4 依然是生态最完善、效果最稳定的选择。

量化技术让大模型不再是巨头的专利，它让你手中的消费级显卡也能拥有“超级大脑”。