AWQ 详解:激活感知权重量化如何保护重要通道
AWQ 不用 Hessian 补偿已量化权重,而是根据激活幅度识别重要输入通道,在量化前搜索逐通道缩放因子,让全部权重仍可规整地存为 INT4 或 INT3。
AWQ 不用 Hessian 补偿已量化权重,而是根据激活幅度识别重要输入通道,在量化前搜索逐通道缩放因子,让全部权重仍可规整地存为 INT4 或 INT3。
OBS 相比 OBD 的关键区别在于补偿:删除某个权重以后,它允许其他权重沿着 Hessian 给出的二阶曲率方向共同调整,从而尽量降低剪枝带来的损失增量。
权重绝对值小不等于权重不重要。OBD 使用 Hessian 对角元素衡量损失对各权重方向的曲率,以二阶显著性分数选择删除后损失增加最小的权重。
量化粒度决定多少个权重共享一套量化参数。本文通过一个 4×8 权重矩阵,逐步推导逐层、逐通道与逐组量化的公式、误差、优缺点和适用场景。
量化不是简单地把浮点数改成整数,而是在有限离散值中近似权重和激活。本文系统梳理 scale、zero point、对称量化、INT8 矩阵乘法与量化评估。
config.json 不只是模型加载配置:从层数、隐藏维度、注意力头、上下文长度和精度字段,可以还原 Llama 2 7B 的网络结构并估算推理资源。
DFlash 的关键并不只是增加模型层数,而是把跨 token 的串行草稿改造成一次前向中的块级并行预测。