Memory as Plans: World-Action Modeling with Memory-Grounded Planning
arXiv 论文《Memory as Plans: World-Action Modeling with Memory-Grounded Planning》提出 MaP-WAM 框架。论文指出主流机器人策略常采用马尔可夫式建模,但许多真实操作任务本质上是非马尔可夫的,需要超出当前观测的长时程记忆。现有记忆机制多依赖语言摘要、不断增长的视觉窗口或二者组合,可能丢失细粒度视觉证据,或在历史覆盖与执行效率之间取舍。MaP-WAM 将依赖记忆的世界-动作建模分解为记忆锚定的规划与计划条件化执行,把长期多模态情景上下文用作规划期证据,而非反复让执行器以完整历史为条件。
发展脉络
- 首次出现Memory as Plans: World-Action Modeling with Memory-Grounded PlanningHugging Face Daily Papers
- 行业反馈Memory as Plans: World-Action Modeling with Memory-Grounded PlanningarXiv cs.RO
- 当前判断若该路线成立,机器人策略的记忆成本模型可能从「上下文越长越好」转向「规划期用长历史、执行期用短计划」,这会改变长时程操作任务的推理开销结构。但当前证据仅为单篇论文摘要,无基准数字与第三方复现,尚不足以判断其对现有视觉-语言-动作策略的替代性,也不构成对任何厂商产品路线的确认。Agent Pulse · 分析
该论文的核心主张是:把记忆表示为已完成的分段记录(含语言指令与稀疏视觉上下文),再将其转化为紧凑计划,包括下一段级语言计划与对应视觉引导;由 World-Action-Progress(WAP)模型在未知时长上执行每个计划,在推理时联合预测动作块与相应执行进度,并校准预测进度。其动机是现有语言摘要、增长视觉窗口等记忆方式可能丢失细粒度视觉证据,或在历史覆盖与执行效率之间形成取舍。证据仅来自论文摘要,未给出基准、成功率、数据集或对比数字,因此这些能力主张应视为作者自述,尚待独立复现验证。
从摘要看,MaP-WAM 的关键设计选择是把「记忆」从执行器的输入条件改为规划器的证据来源,并用分段记录加稀疏视觉上下文压缩历史,从而避免执行器反复消费完整历史。WAP 联合预测动作块与执行进度,暗示其试图用进度信号处理计划时长未知的问题。但摘要未披露进度校准的具体机制、稀疏视觉上下文的采样策略与动作块长度,这些是判断其是否真正缓解覆盖-效率取舍的关键待验证点。
若该路线成立,机器人策略的记忆成本模型可能从「上下文越长越好」转向「规划期用长历史、执行期用短计划」,这会改变长时程操作任务的推理开销结构。但当前证据仅为单篇论文摘要,无基准数字与第三方复现,尚不足以判断其对现有视觉-语言-动作策略的替代性,也不构成对任何厂商产品路线的确认。
对做机器人操作策略的团队,这条信息的价值在于提示一种可能降低执行期上下文开销的记忆组织方式,值得在长时程非马尔可夫任务上做小规模对照实验;但在缺少基准数字前,不宜据此调整产品路线或采购决策。
可验证的下一信号是:论文是否公开基准任务、成功率与推理开销对比,以及是否有独立团队在相同任务上复现 MaP-WAM 相对语言摘要或增长视觉窗口基线的差异。若后续出现代码或数据集发布,可进一步观察 WAP 的进度校准是否在未知时长任务上稳定。