INT4

AWQ 不用 Hessian 补偿已量化权重，而是根据激活幅度识别重要输入通道，在量化前搜索逐通道缩放因子，让全部权重仍可规整地存为 INT4 或 INT3。

量化粒度决定多少个权重共享一套量化参数。本文通过一个 4×8 权重矩阵，逐步推导逐层、逐通道与逐组量化的公式、误差、优缺点和适用场景。

量化不是简单地把浮点数改成整数，而是在有限离散值中近似权重和激活。本文系统梳理 scale、zero point、对称量化、INT8 矩阵乘法与量化评估。