LLM Inference on Ge Zhang

LLM Inference on Ge Zhang · 技术笔记 https://zhangge.dev/tags/llm-inference/ Recent content in LLM Inference on Ge Zhang · 技术笔记 Ge Zhang · 技术笔记 https://zhangge.dev/images/site-card.png https://zhangge.dev/images/site-card.png Hugo zh-CN 2026 Ge Zhang Tue, 11 Aug 2026 00:00:00 +0000 AWQ 详解：激活感知权重量化如何保护重要通道 https://zhangge.dev/model-inference/awq-activation-aware-weight-quantization/ Tue, 11 Aug 2026 00:00:00 +0000 https://zhangge.dev/model-inference/awq-activation-aware-weight-quantization/ 从输出误差而非权重误差出发，推导 AWQ 如何利用激活幅度识别重要通道，并通过等价缩放、尺度搜索与权重裁剪实现硬件友好的低比特权重量化。 Optimal Brain Surgeon（OBS）：带补偿的二阶剪枝方法 https://zhangge.dev/model-inference/optimal-brain-surgeon/ Mon, 10 Aug 2026 00:00:00 +0000 https://zhangge.dev/model-inference/optimal-brain-surgeon/ 从删除单个权重后的补偿直觉出发，推导 Optimal Brain Surgeon 如何利用完整 Hessian 和约束优化同时回答删哪个权重、其他权重应该如何调整。 Optimal Brain Damage（OBD）：用 Hessian 判断权重重要性 https://zhangge.dev/model-inference/optimal-brain-damage/ Wed, 29 Jul 2026 00:00:00 +0000 https://zhangge.dev/model-inference/optimal-brain-damage/ 从 Hessian 矩阵和二阶泰勒展开出发，推导 Optimal Brain Damage 如何估计删除单个权重造成的损失增量，并解释它为何优于单纯的幅值剪枝。大模型量化粒度详解：逐层、逐通道与逐组量化 https://zhangge.dev/model-inference/quantization-granularity/ Tue, 28 Jul 2026 00:00:00 +0000 https://zhangge.dev/model-inference/quantization-granularity/ 从同一权重矩阵的数值分布出发，理解逐层、逐通道与逐组量化如何划分 scale 和 zero point，以及量化粒度对误差、元数据和计算内核的影响。量化基本概念 https://zhangge.dev/model-inference/model-quantization-fundamentals/ Tue, 28 Jul 2026 00:00:00 +0000 https://zhangge.dev/model-inference/model-quantization-fundamentals/ 从数值表示、线性量化公式和矩阵乘法出发，理解模型量化的误差来源、静态与动态量化、PTQ 与 QAT，以及精度和性能评估方法。从 config.json 读懂 Llama 2 7B https://zhangge.dev/model-inference/llama2-config/ Fri, 24 Jul 2026 00:00:00 +0000 https://zhangge.dev/model-inference/llama2-config/ 以 Llama 2 7B 的 config.json 为入口，还原模型架构、注意力类型、RoPE、RMSNorm、SwiGLU、KV Cache、显存占用与参数量。为什么 DFlash 比 EAGLE-3 推理更快？ https://zhangge.dev/model-inference/dflash-vs-eagle3/ Wed, 15 Jul 2026 00:00:00 +0000 https://zhangge.dev/model-inference/dflash-vs-eagle3/ 从 EAGLE 系列的自回归草稿模型出发，拆解 DFlash 如何利用块扩散并行生成草稿，并解释更深的草稿网络为何仍能获得更低延迟。