Mitigating Compounding Error via Video Representation Regularization

该论文研究视频扩散世界模型在长程自回归生成中的误差累积问题。作者发现，滑动窗口推理中的误差累积与隐藏表征的维度坍缩密切相关：当生成开始漂移时，表征的有效秩急剧下降。此外，单纯扩大训练数据规模并不能增强模型对误差漂移的抵抗力，这与主流扩展范式相悖。为此，他们提出视频表征正则化，一种轻量训练约束，能够稳定潜在表征并抑制迭代误差累积。

该研究揭示了视频世界模型中误差累积与表征维度坍缩的关联，表明有效秩可作为生成稳定性的早期指标。视频表征正则化可能成为提升长程生成稳定性的通用方法，值得在类似模型上验证。