从 config.json 读懂 Llama 2 7B

config.json 不只是模型加载配置:从层数、隐藏维度、注意力头、上下文长度和精度字段,可以还原 Llama 2 7B 的网络结构并估算推理资源。

2026 年 07 月 24 日 · 9 分钟 · 4152 字 · Ge Zhang

self-attention

系统梳理 Self-Attention 的输入、QKV 投影、注意力权重与因果掩码,并从矩阵变化解释增量解码为何只计算最后一行、为何缓存 K 和 V。

2026 年 07 月 23 日 · 7 分钟 · 3416 字 · Ge Zhang