Temporally Centered SIGReg Improves Multi-Task LeWorldModel Learning: From Analysis to Method
LeWorldModel (LeWM) 研究表明，Sketched Isotropic Gaussian Regularizer (SIGReg) 通过将潜在边际分布正则化为各向同性高斯，防止表示坍缩，从而在单任务设置中实现稳定的端到端世界模型学习。然而，该方案在多任务训练中不能可靠扩展，导致下游行为克隆性能显著下降。论文指出，边际高斯化压缩了任务相关潜在簇之间的分离度，相对于簇内变异，导致跨任务和状态的表示混叠，并使表示对小视觉扰动高度敏感。为解决此问题，作者将 SIGReg 应用于时间中心化残差而非潜在边际分布，该替代目标不直接对簇中心分离施加正则化压力，移除全潜在遵循单一各向同性高斯的要求，同时保留 SIGReg 的抗坍缩效果。在 LIBERO 基准上，该方法改善了下游行为克隆性能。
Development
- First ReportTemporally Centered SIGReg Improves Multi-Task LeWorldModel Learning: From Analysis to MethodarXiv cs.RO
- Current Assessment多任务世界模型学习是机器人操作等领域的关键，SIGReg 的改进可能提升多任务泛化能力，但论文未提供完整性能数据，需关注后续完整结果。Agent Pulse · analysis
LeWorldModel (LeWM) 研究显示，Sketched Isotropic Gaussian Regularizer (SIGReg) 通过正则化潜在边际分布为各向同性高斯，防止表示坍缩，实现单任务端到端世界模型学习的稳定。但该方案在多任务训练中不可靠，导致下游行为克隆性能下降。论文分析发现，边际高斯化压缩任务相关潜在簇间分离，相对簇内变异，造成跨任务和状态表示混叠，并对小视觉扰动敏感。作者提出将 SIGReg 应用于时间中心化残差，而非潜在边际分布，该替代目标不直接正则化簇中心分离，移除全潜在单一各向同性高斯要求，保留抗坍缩效果。在 LIBERO 基准上，该方法改善下游行为克隆性能。
SIGReg 在多任务场景中的失效源于边际高斯化对簇间分离的压缩，导致表示混叠。将正则化目标从潜在边际分布改为时间中心化残差，可避免对簇中心分离的直接压力，同时保留抗坍缩效果。这提示正则化目标的选择需考虑任务结构，时间中心化残差可能更适应多任务学习。
多任务世界模型学习是机器人操作等领域的关键，SIGReg 的改进可能提升多任务泛化能力，但论文未提供完整性能数据，需关注后续完整结果。
改进的多任务世界模型学习可提升机器人操作等任务的泛化能力，减少对大量任务特定数据的依赖，但当前证据有限，商业影响尚不明确。
后续可验证信号包括：LIBERO 基准上的完整性能对比、不同任务数下的扩展性、对视觉扰动的鲁棒性评估，以及该方法在其他世界模型架构上的适用性。