Over-Encoding

Over-Encoding（简称 OE）是一种增强大模型输入表示的方法：除了给“单个 token”查一张向量表，还给“连续多个 token 的组合”查额外的向量表，再把这些信息融合起来，送入 Transformer。