TTPO: Test-Time Policy Optimization
TTPO（Test-Time Policy Optimization）是一种无需标签的测试时训练方法，通过非对称目标结合 OPSD 蒸馏一致 rollout 和 Grouped RL 惩罚不一致 rollout，在五个竞赛级基准上匹配了标签监督的 OPSD。
Development
- First ReportTTPO: Test-Time Policy OptimizationHugging Face Daily Papers
- Industry ResponseTTPO: Test-Time Policy OptimizationarXiv cs.CL
- Current AssessmentTTPO 展示了无需标签的测试时训练的可能性，可能降低对人工标注的依赖，加速模型在特定领域的适应。这暗示未来后训练方法可能更注重自监督和测试时计算，而非依赖大规模标注数据。Agent Pulse · analysis
TTPO 提出了一种无需标签的测试时训练方法，解决了 RL 和 OPSD 依赖真实标签而无法进行测试时训练的问题。该方法利用多数投票伪标签，但观察到错误投票会破坏教师模型，且与伪标签不一致的 rollout 通常是错误的。TTPO 采用非对称目标：对一致 rollout 进行 OPSD 蒸馏，对不一致 rollout 进行 Grouped RL 惩罚，并通过 token 级选择进一步优化。实验表明，TTPO 在五个竞赛级基准上匹配了标签监督的 OPSD，展示了无需标签的测试时训练的潜力。
TTPO 的核心创新在于非对称目标设计，它区分了与伪标签一致和不一致的 rollout，分别采用蒸馏和强化学习惩罚，避免了错误伪标签的负面影响。token 级选择进一步细化了更新，蒸馏降权已收敛位置，RL 仅惩罚高置信错误，使得更新在伪标签错误频繁时仍保持稳健。多数投票路由随着模型改进提供更紧密的自监督信号。
TTPO 展示了无需标签的测试时训练的可能性，可能降低对人工标注的依赖，加速模型在特定领域的适应。这暗示未来后训练方法可能更注重自监督和测试时计算，而非依赖大规模标注数据。
TTPO 可能降低模型后训练的成本，减少对标注数据的依赖，使小团队或资源受限的机构也能进行有效的模型适应。这可能在模型定制和垂直领域应用中创造商业价值。
TTPO 的后续发展可能包括在更多任务和模型上的验证，以及与其他测试时训练方法的结合。可验证的下一信号是 TTPO 在更多基准或实际应用中的性能报告，以及其代码和模型的公开。