Trajectory-Relative Hindsight Distillation for Agentic Reinforcement Learning
TRIAL 是一种轨迹相对事后蒸馏框架，用于智能体强化学习。它在 WebShop 和 ALFWorld 上，使用不同骨干模型，在全部八种组合中优于 GRPO，并在六种方法中取得最佳或并列最佳。在 WebShop 上使用 Qwen3-1.7B 时，成功率从 56.4% 提升到 75.2%。
发展脉络
- 首次出现Trajectory-Relative Hindsight Distillation for Agentic Reinforcement LearningarXiv cs.CL
- 当前判断TRIAL 的提出表明，智能体强化学习领域正在从简单的奖励设计转向更精细的监督分配机制。通过事后蒸馏和轨迹相对归一化，TRIAL 提供了一种更有效的训练信号分配方式，可能推动智能体在复杂任务上的性能提升。Agent Pulse · 分析
TRIAL 是一种轨迹相对事后蒸馏框架，用于智能体强化学习。它通过统一的回合对齐评分协议，为每个决策回合提取结果视图，并在普通和事后条件下评估相同响应。符号对数概率差距决定 token 级监督的方向和局部强度，而回合级幅度在实现轨迹上联合归一化。所得分配乘数的合格 token 加权均值为 1，重新分配密集监督同时固定其平均乘数。在 WebShop 和 ALFWorld 上使用不同骨干模型的实验表明，TRIAL 在所有八种骨干、环境和评估指标组合中均优于 GRPO，并在六种方法中取得最佳或并列最佳。在 WebShop 上使用 Qwen3-1.7B 时，成功率从 56.4% 提升到 75.2%。
TRIAL 的核心创新在于轨迹相对事后蒸馏，它通过比较普通和事后条件下的响应，计算符号对数概率差距，从而确定 token 级监督的方向和强度。回合级归一化确保分配乘数的均值为 1，这有助于稳定训练。该方法在多个环境和骨干上一致优于 GRPO，表明其通用性。
TRIAL 的提出表明，智能体强化学习领域正在从简单的奖励设计转向更精细的监督分配机制。通过事后蒸馏和轨迹相对归一化，TRIAL 提供了一种更有效的训练信号分配方式，可能推动智能体在复杂任务上的性能提升。
TRIAL 提升了智能体在 WebShop 和 ALFWorld 等任务上的成功率，这可能转化为更可靠的自动化代理，减少人工干预，降低运营成本。对于依赖智能体完成复杂任务的行业，如电商、客服和机器人，TRIAL 提供了性能提升的潜在途径。
TRIAL 的成功可能激励更多研究探索轨迹级监督分配方法。未来可验证的信号包括：TRIAL 在更多环境和骨干上的应用，以及其与更大规模模型的结合。此外，TRIAL 的框架可能被扩展到多智能体或在线学习场景。