AWQ 详解:激活感知权重量化如何保护重要通道
AWQ 不用 Hessian 补偿已量化权重,而是根据激活幅度识别重要输入通道,在量化前搜索逐通道缩放因子,让全部权重仍可规整地存为 INT4 或 INT3。
AWQ 不用 Hessian 补偿已量化权重,而是根据激活幅度识别重要输入通道,在量化前搜索逐通道缩放因子,让全部权重仍可规整地存为 INT4 或 INT3。
量化不是简单地把浮点数改成整数,而是在有限离散值中近似权重和激活。本文系统梳理 scale、zero point、对称量化、INT8 矩阵乘法与量化评估。