EnvACE: Internalizing Environment Dynamics via World Rehearsal for Agentic Reinforcement Learning

EnvACE 是一种用于智能体强化学习的新方法，通过世界排练将环境动态内化到策略参数中。传统方法依赖真实或合成的可执行环境，其构建和验证成本高昂，或依赖难以接地（ground）的外部模拟器。EnvACE 让策略在训练时交替进行行动和排练：首先生成工具调用，然后扮演环境角色产生该行动引发的响应，并基于排练的响应进行后续决策。两个角色通过任务成功奖励进行端到端联合优化。通过世界排练，策略将行动与环境响应之间的关系内化到参数中，形成一个直接支持决策的智能体世界模型。在 BFCL-v4、tau^2-Bench、VitaBench 和 FinMCP-Bench 上，EnvACE 在整体评估中优于环境扩展基线，并展现出强且可迁移的性能。受控研究表明，世界排练在不同模型规模上持续改善策略学习。

EnvACE 的核心创新在于用世界排练替代外部环境交互，让策略同时扮演行动者和环境角色，并通过端到端优化将环境动态内化到参数中。这种方法避免了构建和验证可执行环境的成本，也解决了外部模拟器难以接地的问题。受控研究表明，世界排练在不同模型规模上持续改善策略学习，表明该方法具有通用性。下一步可验证的信号是：EnvACE 是否能在更复杂的长期任务（如多步骤工具使用）中保持性能，以及其世界模型的可解释性和泛化能力。