已读
推理加速ACL 2025
Token Recycling:把被丢弃的候选 Token 变成下一轮草稿
Token Recycling 不额外训练 draft model,而是保存目标模型验证时产生的 top-k 候选,用轻量邻接矩阵构造草稿树,再通过 Tree Attention 一次验证多条路径。
拆解值得反复阅读的论文:从核心问题、方法机制到工程取舍。
Token Recycling 不额外训练 draft model,而是保存目标模型验证时产生的 top-k 候选,用轻量邻接矩阵构造草稿树,再通过 Tree Attention 一次验证多条路径。