CoBa: Cost-Effective Test-Time Scaling via Compute-Balanced Routing
CoBa 论文提出一种计算平衡路由策略,将测试时推理视为计算分配问题,决定下一单位计算用于生成、验证或停止。在 3,129 个示例生成器评估中,CoBa-Routed-Strong 达到 85.13% 宏准确率,与自评估加权投票代理的 85.20% 统计匹配,同时使用少 49.1% 的参数加权 token;与 best-of-16 多数投票相比,在少 58.9% 参数加权 token 的情况下,宏准确率差距在 0.01 以内。配对测试显示 best-of-16 仍有小幅优势但成本更高。
Development
- First ReportCoBa: Cost-Effective Test-Time Scaling via Compute-Balanced RoutingarXiv cs.AI
- Current Assessment该研究可能推动推理成本优化,使高精度模型在固定预算下更可行,对依赖大规模推理的应用具有潜在价值。Agent Pulse · analysis
CoBa 论文提出计算平衡路由策略,将测试时推理视为计算分配问题,在固定推理预算下决定计算用于生成、验证或停止。该方法先获取少量候选,应用廉价验证,并将不确定或高价值候选路由到更强验证。在 3,129 个示例生成器评估中,CoBa-Routed-Strong 达到 85.13% 宏准确率,与自评估加权投票代理的 85.20% 统计匹配,同时使用少 49.1% 的参数加权 token;与 best-of-16 多数投票相比,在少 58.9% 参数加权 token 的情况下,宏准确率差距在 0.01 以内。配对测试显示 best-of-16 仍有小幅优势但成本更高。
CoBa 的核心贡献是将测试时计算分配形式化为路由问题,而非单纯增加采样或推理长度。通过分层验证策略,在保持准确率的同时显著降低计算成本,表明计算效率与性能可以兼得。
该研究可能推动推理成本优化,使高精度模型在固定预算下更可行,对依赖大规模推理的应用具有潜在价值。
CoBa 可能降低推理成本,提升 AI 服务的性价比,对提供推理服务的公司具有商业价值。
未来可关注 CoBa 在更大规模模型和更多任务上的验证,以及其与现有推理框架的集成。