ThunderAgent: 2x Faster Agentic Inference for Synthetic Data Generation at Scale
Together AI 于 2026 年 7 月 29 日发布 ThunderAgent，一种面向 agentic inference 的程序感知调度器，通过将 agent 工作流视为可调度程序，消除 KV 缓存抖动，实现单节点吞吐量提升 2 倍以上，并支持近线性多节点扩展。
发展脉络
- 首次出现ThunderAgent: 2x Faster Agentic Inference for Synthetic Data Generation at ScaleTogether AI
- 当前判断ThunderAgent 的出现表明 agentic inference 的调度优化正成为提升 agent 系统效率的关键方向。随着 agent 工作流日益复杂，专门的调度器可能成为基础设施标配。可验证信号：其他云厂商或推理平台是否推出类似调度器。Agent Pulse · 分析
Together AI 发布 ThunderAgent，一种程序感知调度器，用于加速 agentic inference。它将每个 agent 工作流视为可调度程序，通过消除 KV 缓存抖动，实现单节点吞吐量提升 2 倍以上，并支持近线性多节点扩展。该技术旨在提升合成数据生成的效率。
ThunderAgent 的核心创新在于将 agent 工作流抽象为可调度程序，从而优化 KV 缓存管理，避免传统推理中的缓存抖动问题。这带来了单节点 2 倍以上的吞吐量提升，并支持近线性多节点扩展。未来可关注其是否开源、与其他调度器（如 vLLM）的性能对比，以及是否支持更复杂的 agent 工作流。
ThunderAgent 的出现表明 agentic inference 的调度优化正成为提升 agent 系统效率的关键方向。随着 agent 工作流日益复杂，专门的调度器可能成为基础设施标配。可验证信号：其他云厂商或推理平台是否推出类似调度器。
对于 Together AI，ThunderAgent 可降低 agent 推理成本，提升其云服务的竞争力。对于用户，更快的合成数据生成可加速模型训练和迭代。可验证信号：Together AI 是否基于此推出新的定价或服务层级。
ThunderAgent 有望推动合成数据生成和 agent 应用的规模化部署。未来可关注其是否被集成到主流推理框架，以及是否催生新的 agent 工作流调度标准。