文章归档

Softmax 的优化既要解决指数运算的数值稳定性，也要减少显存读写，并为 Attention 与 FlashAttention 的融合计算打下基础。

从残差连接、梯度传播、信息保留到 LayerNorm 的计算、可学习参数及其与 BatchNorm 的区别，系统理解 Transformer 中的 Add & Norm。

RoPE 分别为 Query 和 Key 编入绝对位置，并利用旋转矩阵的内积性质，让注意力分数自然只依赖相对位置。

泰勒公式把函数在某一点附近的局部行为编码进一个多项式。本文推导系数来源，解释余项与收敛条件，并整理常见展开式和应用方法。

DFlash 的关键并不只是增加模型层数，而是把跨 token 的串行草稿改造成一次前向中的块级并行预测。

Tokenizer 不只是切词：它要在词表大小、序列长度、开放词汇与多语言覆盖之间权衡。本文用例子和一份可运行的 BPE 实现讲清主流算法。

Token Recycling 不额外训练 draft model，而是保存目标模型验证时产生的 top-k 候选，用轻量邻接矩阵构造草稿树，再通过 Tree Attention 一次验证多条路径。

从完整中序遍历到利用 BST 有序性质的迭代查找，比较三种中序后继解法及其复杂度。

按行回溯放置皇后，用列和两条对角线集合完成常数时间冲突检测。

用哈希表和双向链表实现 O(1) 的查询、更新与淘汰，并梳理哨兵节点和边界处理。