Optimal Brain Surgeon(OBS):带补偿的二阶剪枝方法
OBS 相比 OBD 的关键区别在于补偿:删除某个权重以后,它允许其他权重沿着 Hessian 给出的二阶曲率方向共同调整,从而尽量降低剪枝带来的损失增量。
OBS 相比 OBD 的关键区别在于补偿:删除某个权重以后,它允许其他权重沿着 Hessian 给出的二阶曲率方向共同调整,从而尽量降低剪枝带来的损失增量。
权重绝对值小不等于权重不重要。OBD 使用 Hessian 对角元素衡量损失对各权重方向的曲率,以二阶显著性分数选择删除后损失增加最小的权重。