这里记录投机解码、并行验证、KV Cache、量化、批处理、服务调度，以及计算和访存瓶颈等模型推理主题。
Optimal Brain Surgeon（OBS）：带补偿的二阶剪枝方法
OBS 相比 OBD 的关键区别在于补偿：删除某个权重以后，它允许其他权重沿着 Hessian 给出的二阶曲率方向共同调整，从而尽量降低剪枝带来的损失增量。
模型推理
关注大模型推理算法、系统优化与端到端性能。
Optimal Brain Damage（OBD）：用 Hessian 判断权重重要性
权重绝对值小不等于权重不重要。OBD 使用 Hessian 对角元素衡量损失对各权重方向的曲率，以二阶显著性分数选择删除后损失增加最小的权重。
大模型量化粒度详解：逐层、逐通道与逐组量化
量化粒度决定多少个权重共享一套量化参数。本文通过一个 4×8 权重矩阵，逐步推导逐层、逐通道与逐组量化的公式、误差、优缺点和适用场景。
量化基本概念
量化不是简单地把浮点数改成整数，而是在有限离散值中近似权重和激活。本文系统梳理 scale、zero point、对称量化、INT8 矩阵乘法与量化评估。
从 config.json 读懂 Llama 2 7B
config.json 不只是模型加载配置：从层数、隐藏维度、注意力头、上下文长度和精度字段，可以还原 Llama 2 7B 的网络结构并估算推理资源。
为什么 DFlash 比 EAGLE-3 推理更快？
DFlash 的关键并不只是增加模型层数，而是把跨 token 的串行草稿改造成一次前向中的块级并行预测。