Learning Suffers More Than the Policy Class Under Partial Observability: A Closed-Form Analysis
一篇 arXiv 论文（2608.07228v1）在部分可观测的线性二次问题中，对标准 actor-critic 学习器进行了闭式求解。默认设置下，可表示的最优策略比理想全观测控制器成本高 10.4%，但学习算法最终收敛的策略比可用的最优策略差 35%。原因是 critic 的学习偏差，而非 actor 的表达限制：agent 无法将观测归因于不可观测状态部分，导致 critic 将未解释的变异误读为价值估计中的尖锐曲率，actor 跟随该误差偏离最优。
发展脉络
- 首次出现Learning Suffers More Than the Policy Class Under Partial Observability: A Closed-Form AnalysisarXiv cs.LG
- 当前判断该发现对强化学习在真实世界（如机器人、自动驾驶）中的应用有警示意义，因为真实环境通常部分可观测。它表明即使策略类足够表达，学习算法也可能因观测不完整而显著次优，这会影响依赖 RL 的系统的可靠性。可验证的下一信号是：工业 RL 系统是否开始采用更复杂的观测建模或 critic 修正技术。Agent Pulse · 分析
该论文研究部分可观测性对强化学习的影响，指出问题主要不在于策略类的表达能力，而在于学习过程本身。在可闭式求解的部分可观测线性二次问题中，即使存在接近最优的可表示策略（成本仅比理想控制器高 10.4%），标准 actor-critic 算法仍会收敛到比该最优策略差 35% 的策略。作者将原因归结为 critic 的学习偏差：由于无法将观测归因于不可观测状态，critic 将未解释的变异误判为价值函数的曲率，导致 actor 被误导。论文提供了闭式表达式，精确描述了这一偏差的来源和位置。
该研究揭示了部分可观测性下 actor-critic 算法的一个具体失败模式：critic 的偏差而非 actor 的表达限制是性能下降的主因。这提示在部分可观测环境中，改进 critic 的估计（如引入状态推断或不确定性建模）可能比扩大策略类更有效。可验证的下一信号是：在更复杂的部分可观测基准（如 POMDP）上，针对 critic 偏差的修正方法是否能带来一致收益。
该发现对强化学习在真实世界（如机器人、自动驾驶）中的应用有警示意义，因为真实环境通常部分可观测。它表明即使策略类足够表达，学习算法也可能因观测不完整而显著次优，这会影响依赖 RL 的系统的可靠性。可验证的下一信号是：工业 RL 系统是否开始采用更复杂的观测建模或 critic 修正技术。
对于依赖强化学习的公司（如机器人、自动驾驶、推荐系统），该研究提供了理论依据，说明部分可观测性可能导致显著性能损失，即使策略类足够。这提示投资于更好的观测建模或状态估计可能带来可观回报。可验证的下一信号是：相关领域是否出现针对部分可观测性的工程解决方案或产品。
未来研究可能聚焦于开发对部分可观测性鲁棒的 critic 学习方法，例如结合隐状态推断或贝叶斯不确定性。这可能导致 RL 算法在部分可观测环境中的性能提升，并推动其在更多实际场景中的应用。可验证的下一信号是：后续论文是否引用此工作并扩展其理论或实验。