self-attention
系统梳理 Self-Attention 的输入、QKV 投影、注意力权重与因果掩码，并从矩阵变化解释增量解码为何只计算最后一行、为何缓存 K 和 V。
Transformer
transformer结构
为什么原始 Transformer 的 Decoder 有两层注意力，而 GPT、Qwen 等 decoder-only 模型通常只有一类注意力？本文从信息流和矩阵形状出发梳理 Transformer 结构。
FeedForward
梳理 Feed Forward 的基本含义、Transformer 中 FFN 与 Attention 的分工，并从 ReLU、SiLU、GLU 逐步推导到 SwiGLU。
Add&LayerNorm
从残差连接、梯度传播、信息保留到 LayerNorm 的计算、可学习参数及其与 BatchNorm 的区别，系统理解 Transformer 中的 Add & Norm。
RoPE 旋转位置编码：从绝对位置到相对位置
RoPE 分别为 Query 和 Key 编入绝对位置，并利用旋转矩阵的内积性质，让注意力分数自然只依赖相对位置。