https://zhangge.dev/ Recent content on Ge Zhang · 技术笔记 https://zhangge.dev/images/site-card.png https://zhangge.dev/images/site-card.png Hugo zh-CN 2026 Ge Zhang Mon, 10 Aug 2026 00:00:00 +0000 https://zhangge.dev/model-inference/optimal-brain-surgeon/ Mon, 10 Aug 2026 00:00:00 +0000 https://zhangge.dev/model-inference/optimal-brain-surgeon/ 从删除单个权重后的补偿直觉出发，推导 Optimal Brain Surgeon 如何利用完整 Hessian 和约束优化同时回答删哪个权重、其他权重应该如何调整。 https://zhangge.dev/leetcode/two-sum/ Sat, 08 Aug 2026 00:00:00 +0000 https://zhangge.dev/leetcode/two-sum/ 记录两数之和的哈希表一次遍历写法：遍历当前数字时，在哈希表中查找 target - 当前值是否已经出现。 https://zhangge.dev/model-inference/optimal-brain-damage/ Wed, 29 Jul 2026 00:00:00 +0000 https://zhangge.dev/model-inference/optimal-brain-damage/ 从 Hessian 矩阵和二阶泰勒展开出发，推导 Optimal Brain Damage 如何估计删除单个权重造成的损失增量，并解释它为何优于单纯的幅值剪枝。 https://zhangge.dev/model-inference/quantization-granularity/ Tue, 28 Jul 2026 00:00:00 +0000 https://zhangge.dev/model-inference/quantization-granularity/ 从同一权重矩阵的数值分布出发，理解逐层、逐通道与逐组量化如何划分 scale 和 zero point，以及量化粒度对误差、元数据和计算内核的影响。 https://zhangge.dev/model-inference/model-quantization-fundamentals/ Tue, 28 Jul 2026 00:00:00 +0000 https://zhangge.dev/model-inference/model-quantization-fundamentals/ 从数值表示、线性量化公式和矩阵乘法出发，理解模型量化的误差来源、静态与动态量化、PTQ 与 QAT，以及精度和性能评估方法。 https://zhangge.dev/model-inference/llama2-config/ Fri, 24 Jul 2026 00:00:00 +0000 https://zhangge.dev/model-inference/llama2-config/ 以 Llama 2 7B 的 config.json 为入口，还原模型架构、注意力类型、RoPE、RMSNorm、SwiGLU、KV Cache、显存占用与参数量。 https://zhangge.dev/ai-fundamentals/self-attention/ Thu, 23 Jul 2026 00:00:00 +0000 https://zhangge.dev/ai-fundamentals/self-attention/ 从 Q、K、V 和缩放点积出发理解 Self-Attention，进一步分析因果掩码、增量解码、KV Cache，以及为什么没有 Q Cache。 https://zhangge.dev/ai-fundamentals/transformer-architecture/ Thu, 23 Jul 2026 00:00:00 +0000 https://zhangge.dev/ai-fundamentals/transformer-architecture/ 从原始 Transformer 的 Encoder–Decoder 结构出发，解释自注意力、交叉注意力以及现代 decoder-only 大模型的演变。 https://zhangge.dev/math/jacobian-matrix/ Thu, 23 Jul 2026 00:00:00 +0000 https://zhangge.dev/math/jacobian-matrix/ 从单变量导数和梯度出发理解雅可比矩阵，结合局部线性化、神经网络与反向传播说明它的计算方法和核心作用。 https://zhangge.dev/ai-fundamentals/feedforward/ Tue, 21 Jul 2026 00:00:00 +0000 https://zhangge.dev/ai-fundamentals/feedforward/ 从激活函数和前馈网络出发，理解 Transformer FFN 的升维、非线性变换、逐 token 计算，以及现代大模型中的 SwiGLU 门控结构。 https://zhangge.dev/ai-fundamentals/add-layernorm/ Mon, 20 Jul 2026 00:00:00 +0000 https://zhangge.dev/ai-fundamentals/add-layernorm/ 分析 Transformer 中 Add & Norm 的两个核心组成：残差连接如何改善深层网络训练，LayerNorm 如何稳定隐藏状态的数值尺度。 https://zhangge.dev/ai-fundamentals/softmax-optimization/ Mon, 20 Jul 2026 00:00:00 +0000 https://zhangge.dev/ai-fundamentals/softmax-optimization/ 从 Softmax 的概率含义出发，梳理减最大值、混合精度、log_softmax、全 Mask 行、算子融合与 Online Softmax 等优化方法。 https://zhangge.dev/ai-fundamentals/rotary-position-embedding/ Fri, 17 Jul 2026 00:00:00 +0000 https://zhangge.dev/ai-fundamentals/rotary-position-embedding/ 从绝对位置编码与相对位置编码出发，按二维旋转、高维分组和旋转矩阵的设计过程推导 RoPE。 https://zhangge.dev/todo/ Thu, 16 Jul 2026 00:00:00 +0000 https://zhangge.dev/todo/ 记录当前真正需要推进的算法题、数学知识、推理加速问题和算子实现任务。 https://zhangge.dev/about/ Thu, 16 Jul 2026 00:00:00 +0000 https://zhangge.dev/about/ 张革的技术经历与研究方向，聚焦大模型推理加速、AI Agent、程序分析和自动算子优化。 https://zhangge.dev/math/taylor-series/ Thu, 16 Jul 2026 00:00:00 +0000 https://zhangge.dev/math/taylor-series/ 从各阶导数匹配出发推导泰勒系数，区分泰勒多项式、余项和无穷级数，并用近似计算、极限与无穷小阶数说明它的实际用途。 https://zhangge.dev/ai-fundamentals/tokenizer-algorithms/ Wed, 15 Jul 2026 00:00:00 +0000 https://zhangge.dev/ai-fundamentals/tokenizer-algorithms/ 系统梳理 Tokenizer 的处理流水线，以及词级、字符级、BPE、WordPiece、Unigram 和字节级 BPE 的原理、取舍与常见误区。 https://zhangge.dev/model-inference/dflash-vs-eagle3/ Wed, 15 Jul 2026 00:00:00 +0000 https://zhangge.dev/model-inference/dflash-vs-eagle3/ 从 EAGLE 系列的自回归草稿模型出发，拆解 DFlash 如何利用块扩散并行生成草稿，并解释更深的草稿网络为何仍能获得更低延迟。 https://zhangge.dev/leetcode/lru-cache/ Tue, 14 Jul 2026 00:00:00 +0000 https://zhangge.dev/leetcode/lru-cache/ 记录 LRU 缓存的经典实现：哈希表负责 O(1) 查找，双向链表负责维护最近使用顺序。 https://zhangge.dev/leetcode/n-queens/ Tue, 14 Jul 2026 00:00:00 +0000 https://zhangge.dev/leetcode/n-queens/ 记录 N 皇后问题的经典回溯写法：按行放置皇后，检查列和两条对角线是否合法，并在回溯时恢复棋盘状态。 https://zhangge.dev/leetcode/inorder-successor-in-bst/ Tue, 14 Jul 2026 00:00:00 +0000 https://zhangge.dev/leetcode/inorder-successor-in-bst/ 记录二叉搜索树中序后继问题的三种写法：中序遍历记录节点、遍历全树维护候选答案，以及利用 BST 性质迭代查找。 https://zhangge.dev/papers/token-recycling/ Tue, 14 Jul 2026 00:00:00 +0000 https://zhangge.dev/papers/token-recycling/ 无需训练草稿模型，Token Recycling 用一个不到 2 MiB 的邻接矩阵回收目标模型已经算出的 top-k 候选，并通过草稿树与 Tree Attention 加速解码。