https://zhangge.dev/ai-fundamentals/ Recent content in AI 基础原理 on Ge Zhang · 技术笔记 https://zhangge.dev/images/site-card.png https://zhangge.dev/images/site-card.png Hugo zh-CN 2026 Ge Zhang Fri, 24 Jul 2026 00:00:00 +0000 https://zhangge.dev/ai-fundamentals/self-attention/ Thu, 23 Jul 2026 00:00:00 +0000 https://zhangge.dev/ai-fundamentals/self-attention/ 从 Q、K、V 和缩放点积出发理解 Self-Attention，进一步分析因果掩码、增量解码、KV Cache，以及为什么没有 Q Cache。 https://zhangge.dev/ai-fundamentals/transformer-architecture/ Thu, 23 Jul 2026 00:00:00 +0000 https://zhangge.dev/ai-fundamentals/transformer-architecture/ 从原始 Transformer 的 Encoder–Decoder 结构出发，解释自注意力、交叉注意力以及现代 decoder-only 大模型的演变。 https://zhangge.dev/ai-fundamentals/feedforward/ Tue, 21 Jul 2026 00:00:00 +0000 https://zhangge.dev/ai-fundamentals/feedforward/ 从激活函数和前馈网络出发，理解 Transformer FFN 的升维、非线性变换、逐 token 计算，以及现代大模型中的 SwiGLU 门控结构。 https://zhangge.dev/ai-fundamentals/add-layernorm/ Mon, 20 Jul 2026 00:00:00 +0000 https://zhangge.dev/ai-fundamentals/add-layernorm/ 分析 Transformer 中 Add & Norm 的两个核心组成：残差连接如何改善深层网络训练，LayerNorm 如何稳定隐藏状态的数值尺度。 https://zhangge.dev/ai-fundamentals/softmax-optimization/ Mon, 20 Jul 2026 00:00:00 +0000 https://zhangge.dev/ai-fundamentals/softmax-optimization/ 从 Softmax 的概率含义出发，梳理减最大值、混合精度、log_softmax、全 Mask 行、算子融合与 Online Softmax 等优化方法。 https://zhangge.dev/ai-fundamentals/rotary-position-embedding/ Fri, 17 Jul 2026 00:00:00 +0000 https://zhangge.dev/ai-fundamentals/rotary-position-embedding/ 从绝对位置编码与相对位置编码出发，按二维旋转、高维分组和旋转矩阵的设计过程推导 RoPE。 https://zhangge.dev/ai-fundamentals/tokenizer-algorithms/ Wed, 15 Jul 2026 00:00:00 +0000 https://zhangge.dev/ai-fundamentals/tokenizer-algorithms/ 系统梳理 Tokenizer 的处理流水线，以及词级、字符级、BPE、WordPiece、Unigram 和字节级 BPE 的原理、取舍与常见误区。