Quantization
大语言模型量化技术：AWQ、GPTQ、QLoRA 等方法的原理与对比
Overview
量化是将大语言模型从高精度（FP16/FP32）转换为低精度（INT8/INT4）表示的技术，用于减少显存占用和提升推理速度。辉少的面试笔记详细解释了 AWQ（Activation-aware Weight Quantization）的核心原理。
Key Facts / Claims
AWQ (Activation-aware Weight Quantization)
核心发现：权重的重要性不取决于权重本身的数值大小，而是取决于它所处理的输入信号（激活值）的大小。
数学机制： - 引入缩放系数 s（针对每个输入通道）： $\(Y = (X \cdot \text{diag}(s)^{-1}) \cdot (\text{diag}(s) \cdot W)\)$ - 激活侧缩小：X' = X / s - 权重侧放大：W' = W · s - 对放大后的权重进行量化：\(Q(W') = \text{Int4}(W \cdot s)\)
技术优势： - 无梯度优化（不需要反向传播或 Hessian 矩阵） - 硬件友好（缩放系数可融合到 LayerNorm 或线性操作中） - 量化速度快（几分钟完成 7B 模型）
数值示例（FP16 → INT2）
| 方法 | 输入 | 权重 | 输出 | 误差 |
|---|---|---|---|---|
| 真实值 | [100, 1] | [0.3, 0.3] | 30.3 | - |
| 普通量化 | [100, 1] | [0, 0] | 0 | 30.3 |
| AWQ | [25, 1] | [1, 0] | 25 | 5.3 |
量化方法对比
| 方法 | 核心思想 | 是否需要梯度 | 速度 | 精度 |
|---|---|---|---|---|
| RTN | 四舍五入到最近值 | 否 | 最快 | 最低 |
| GPTQ | 利用 Hessian 矩阵逐层量化 | 否 | 中等 | 高 |
| AWQ | 激活感知，保护重要权重 | 否 | 快 | 高 |
| QLoRA | 量化 + LoRA 微调 | 是 | 慢 | 最高 |
Related
- [[flash-attention]] — 另一项推理优化技术
- [[pagedattention]] — vLLM 的显存管理优化
- [[transformer]] — 需要量化的基础架构
- [[deepspeed]] — 训练时的显存优化
- [[qwen-series]] — Qwen3 的 MoE 量化部署
Counter-arguments & Data Gaps
- AWQ vs GPTQ 在超大模型（70B+）上的对比
- INT4 量化对长上下文（>32k）的影响
- 量化与 MoE 架构的结合
Sources
- AWQ 量化详解 — 面试笔记 Day5