Environments as Scaffold: Enriching Feedback to Bootstrap Self-Evolving Agents in Long-Horizon Tasks
arXiv 论文 2609.08404 提出 Feedback-Enriched Environments (FEEs)，通过环境侧反馈设计缓解长程任务中 RL 的奖励稀疏问题。实验在 SciWorld 和 BFCL 基准上使用 Qwen3 模型和 GRPO、GSPO、DAPO 算法，FEEs 相比标准设置持续提升性能，并降低熵波动、促进状态空间探索。
发展脉络
- 首次出现Environments as Scaffold: Enriching Feedback to Bootstrap Self-Evolving Agents in Long-Horizon TasksHugging Face Daily Papers
- 行业反馈Environments as Scaffold: Enriching Feedback to Bootstrap Self-Evolving Agents in Long-Horizon TasksarXiv cs.CL
- 当前判断该研究可能推动 RL 训练范式从智能体侧转向环境侧，影响 Agent 训练工具链。若 FEEs 被广泛采用，环境设计可能成为 RL 训练的关键环节，催生新的环境工程工具。但当前仅为论文，需关注后续复现和实际应用。Agent Pulse · 分析
论文提出环境侧适应范式，通过构建反馈丰富的环境（FEEs）来引导智能体自我进化，解决长程任务中 RL 奖励稀疏的问题。传统方法依赖智能体侧预热（如 SFT），但受限于数据稀缺和探索受限。FEEs 将环境从动作指导转向观察丰富化，在 SciWorld 和 BFCL 基准上使用多种 Qwen3 模型规模和 RL 算法（GRPO、GSPO、DAPO）进行大规模实验，结果显示 FEEs 持续优于标准设置，并稳定训练动态、降低熵波动、促进困难任务中的主动状态空间探索。
FEEs 的核心是环境侧反馈设计，而非智能体侧调整。反馈从动作指导转向观察丰富化，可能改变 RL 训练的信号密度。实验显示 FEEs 降低熵波动，暗示训练更稳定。下一步可验证：FEEs 是否在更长任务或更复杂环境中保持优势，以及反馈设计策略是否可迁移到其他模型和算法。
该研究可能推动 RL 训练范式从智能体侧转向环境侧，影响 Agent 训练工具链。若 FEEs 被广泛采用，环境设计可能成为 RL 训练的关键环节，催生新的环境工程工具。但当前仅为论文，需关注后续复现和实际应用。
对训练长程 Agent 的公司，FEEs 可能降低奖励工程成本，提升训练效率。但当前为研究阶段，商业价值需验证。可关注相关工具或服务出现。
后续可关注 FEEs 在更多基准和真实场景的验证，以及是否被主流 RL 框架集成。若有效，可能降低长程 Agent 训练对 SFT 数据的依赖，加速自主 Agent 发展。