Optimal Brain Surgeon(OBS):带补偿的二阶剪枝方法

OBS 相比 OBD 的关键区别在于补偿:删除某个权重以后,它允许其他权重沿着 Hessian 给出的二阶曲率方向共同调整,从而尽量降低剪枝带来的损失增量。

2026 年 08 月 10 日 · 6 分钟 · 2557 字 · Ge Zhang

Optimal Brain Damage(OBD):用 Hessian 判断权重重要性

权重绝对值小不等于权重不重要。OBD 使用 Hessian 对角元素衡量损失对各权重方向的曲率,以二阶显著性分数选择删除后损失增加最小的权重。

2026 年 07 月 29 日 · 11 分钟 · 5253 字 · Ge Zhang

大模型量化粒度详解:逐层、逐通道与逐组量化

量化粒度决定多少个权重共享一套量化参数。本文通过一个 4×8 权重矩阵,逐步推导逐层、逐通道与逐组量化的公式、误差、优缺点和适用场景。

2026 年 07 月 28 日 · 6 分钟 · 2572 字 · Ge Zhang

量化基本概念

量化不是简单地把浮点数改成整数,而是在有限离散值中近似权重和激活。本文系统梳理 scale、zero point、对称量化、INT8 矩阵乘法与量化评估。

2026 年 07 月 28 日 · 19 分钟 · 9200 字 · Ge Zhang

从 config.json 读懂 Llama 2 7B

config.json 不只是模型加载配置:从层数、隐藏维度、注意力头、上下文长度和精度字段,可以还原 Llama 2 7B 的网络结构并估算推理资源。

2026 年 07 月 24 日 · 9 分钟 · 4152 字 · Ge Zhang

为什么 DFlash 比 EAGLE-3 推理更快?

DFlash 的关键并不只是增加模型层数,而是把跨 token 的串行草稿改造成一次前向中的块级并行预测。

2026 年 07 月 15 日 · 6 分钟 · 2869 字 · Ge Zhang