Optimal Brain Surgeon(OBS):带补偿的二阶剪枝方法

OBS 相比 OBD 的关键区别在于补偿:删除某个权重以后,它允许其他权重沿着 Hessian 给出的二阶曲率方向共同调整,从而尽量降低剪枝带来的损失增量。

2026 年 08 月 10 日 · 6 分钟 · 2557 字 · Ge Zhang

Optimal Brain Damage(OBD):用 Hessian 判断权重重要性

权重绝对值小不等于权重不重要。OBD 使用 Hessian 对角元素衡量损失对各权重方向的曲率,以二阶显著性分数选择删除后损失增加最小的权重。

2026 年 07 月 29 日 · 11 分钟 · 5253 字 · Ge Zhang