TokTier: Exact Stateful Tokenization for Agentic LLM Serving
arXiv 论文（2607.29678v1）提出 TokTier，一种有状态 tokenization 服务，保证输出 token ID 与完整参考 tokenization 一致。在 153,951 次调用中，中位数追加约 1.4K 字符，仅 1.0-3.6% 调用重建百万字符上下文。94.1% 缓存命中率下，tokenization 占首 token 时间最多 64%。
Development
- First ReportTokTier: Exact Stateful Tokenization for Agentic LLM ServingarXiv cs.CL
- Current Assessment该论文揭示 tokenization 在 agentic 工作负载中成为显著延迟瓶颈，尤其在缓存命中率高时。这推动 tokenization 服务化，可能成为 LLM 基础设施的新组件，影响 serving 系统设计。Agent Pulse · analysis
TokTier 论文指出，LLM 服务虽缓存 prompt KV 状态，但多数前端仍对每次调用重新 tokenize 完整请求文本。这对 coding agents 成本高昂，因其在每次小工具结果后重新提交长记录。复用困难，因为短追加可能改变前序序列末尾的 token 边界。在 153,951 次调用中，中位数追加约 1.4K 字符，仅 1.0-3.6% 调用以百万字符上下文启动或重建会话。在 94.1% 缓存命中率下，tokenization 占首 token 时间最多 64%。TokTier 提供有状态 tokenization 服务，保证输出 token ID 与完整参考 tokenization 一致。对于会话延续，它重新 tokenize 追加周围的小窗口，并在每次请求的稳定边界检查后拼接，失败时扩大窗口或回退到完整 tokenization。对于无可复用前缀的调用，它将 GPT 家族正则预 tokenization 分解为运行局部规则，并在 GPU 上执行精确预 tokenization 和 BPE。采样影子验证器检查实时流量。
TokTier 的核心创新是状态化 tokenization，通过稳定边界检查实现增量拼接，避免每次调用全量重新 tokenize。它利用 GPU 加速预 tokenization 和 BPE，并采用影子验证器确保正确性。这表明 tokenization 可以成为可缓存、可验证的服务，而非每次请求的固定开销。
该论文揭示 tokenization 在 agentic 工作负载中成为显著延迟瓶颈，尤其在缓存命中率高时。这推动 tokenization 服务化，可能成为 LLM 基础设施的新组件，影响 serving 系统设计。
TokTier 可降低 coding agents 等长上下文应用的 TTFT，提升用户体验。对 LLM 服务提供商，减少 tokenization 计算可降低成本，提高吞吐量。
未来可能看到 tokenization 服务与 KV 缓存更紧密集成，以及针对 agent 工作负载的优化。可验证的下一信号是 TokTier 是否被主流 serving 框架采用，或出现类似开源实现。