Pruned BPE: Post-training Visibility Pruning and Token Reallocation for Byte Pair Encoding
Pruned BPE 是一种后训练可见性剪枝与令牌重新分配方法，用于字节对编码（BPE）。标准 BPE 将每个学习到的合并令牌暴露给下游模型，包括主要作为中间构建单元且很少出现在最终编码语料库中的令牌。Pruned BPE 将合并构建与模型可见词汇选择分离。在标准 BPE 训练后，根据最终暴露度评估令牌。低暴露令牌保留为仅内部合并节点，而其可见词汇槽位重新分配给通过恢复训练学到的更好暴露候选。编码时，仅内部令牌递归扩展为可见后代，同时保持原始 BPE 合并顺序。在两个不重叠的英语和中文主导语料库及其组合上的实验表明，在相同训练语料库、评估语料库和模型可见词汇大小下，Pruned BPE 相对于标准 BPE 一致地减少了编码长度。在 40% 暴露阈值下，同语料库评估的减少约为 0.27%–0.36%。
Development
- First ReportPruned BPE: Post-training Visibility Pruning and Token Reallocation for Byte Pair EncodingarXiv cs.CL
- Current AssessmentPruned BPE 表明，通过优化分词器可以在不改变模型架构或训练数据的情况下提升编码效率，这可能影响 LLM 的推理成本和上下文窗口利用。可验证的下一信号：观察是否有主流 LLM 采用类似的分词优化技术，或相关论文被引用情况。Agent Pulse · analysis
Pruned BPE 提出了一种后训练方法，通过分离合并构建与模型可见词汇选择来优化 BPE 分词。标准 BPE 将所有合并令牌暴露给模型，包括那些主要作为中间构建单元且很少出现在最终编码语料库中的令牌。Pruned BPE 在标准 BPE 训练后，根据最终暴露度评估令牌，将低暴露令牌保留为仅内部合并节点，并将其可见词汇槽位重新分配给通过恢复训练学到的更好暴露候选。编码时，仅内部令牌递归扩展为可见后代，同时保持原始合并顺序。在英语和中文主导语料库及其组合上的实验表明，在相同训练语料库、评估语料库和模型可见词汇大小下，Pruned BPE 相对于标准 BPE 一致地减少了编码长度。在 40% 暴露阈值下，同语料库评估的减少约为 0.27%–0.36%。
Pruned BPE 的核心创新在于将 BPE 的合并构建与模型可见词汇选择解耦，通过后训练可见性剪枝和令牌重新分配，在保持原始合并顺序的同时，将低暴露令牌降级为内部节点，并将可见槽位重新分配给更好暴露的候选。这种方法在相同词汇大小下减少了编码长度，表明标准 BPE 中存在冗余的可见令牌。可验证的下一信号：在更大词汇规模或不同语言上复现该结果，或检查对下游模型困惑度的影响。
Pruned BPE 表明，通过优化分词器可以在不改变模型架构或训练数据的情况下提升编码效率，这可能影响 LLM 的推理成本和上下文窗口利用。可验证的下一信号：观察是否有主流 LLM 采用类似的分词优化技术，或相关论文被引用情况。
对于 LLM 提供商，Pruned BPE 可以在不改变模型质量的情况下减少编码长度，从而降低推理成本并提高吞吐量。对于开发者，更短的分词序列可能减少 API 调用成本。可验证的下一信号：是否有商业模型采用类似技术并报告成本节省。
Pruned BPE 可能推动分词器设计的新方向，将可见性剪枝纳入训练流程。未来可能看到更高效的分词器，减少模型暴露的冗余令牌，从而降低计算成本。可验证的下一信号：后续工作是否将可见性剪枝扩展到其他分词方法，或在实际 LLM 训练中应用。