Don't Mix Rewards, Mix Policies: Policy Decomposition and Optimization for Multi-Reward RL
PRISM 是一种新的多奖励强化学习框架，通过策略空间分解与组合，优化一组独立的正面策略和一个全局负面策略，以缓解多奖励优化中的冲突，并在推理时实现可控性。实验覆盖科学推理、工具使用推理和有用性-安全性对齐，PRISM 持续优于现有基线。
发展脉络
- 首次出现Don't Mix Rewards, Mix Policies: Policy Decomposition and Optimization for Multi-Reward RLarXiv cs.AI
- 当前判断多奖励 RL 是 LLM 后训练的关键，PRISM 的出现可能推动对齐技术从单一奖励模型向多策略组合演进。这暗示行业对可控、可组合的对齐方法需求增长。可验证的下一信号是：是否有主流实验室或产品采用类似策略分解方法，或出现基于策略组合的推理时控制工具。Agent Pulse · 分析
PRISM 框架提出了一种新的多奖励强化学习方法，通过策略分解与组合来应对多奖励优化中的对齐税问题。传统方法直接组合多个奖励，容易导致目标冲突和训练不稳定。PRISM 转而优化一组独立的正面策略和一个全局负面策略，从而避免冲突，并在推理时通过灵活组合策略实现可控性。实验在科学推理、工具使用推理和有用性-安全性对齐任务上验证了 PRISM 优于现有基线，并提供了推理时的偏好控制能力。
PRISM 的核心创新在于将多奖励优化从奖励空间转移到策略空间，通过分解和组合策略来避免奖励冲突。这暗示了多奖励 RL 的一种新范式：与其在奖励层面加权，不如在策略层面进行模块化组合。可验证的下一信号是：PRISM 是否能在更大规模模型和更多奖励维度上保持优势，以及其策略组合的可解释性。
多奖励 RL 是 LLM 后训练的关键，PRISM 的出现可能推动对齐技术从单一奖励模型向多策略组合演进。这暗示行业对可控、可组合的对齐方法需求增长。可验证的下一信号是：是否有主流实验室或产品采用类似策略分解方法，或出现基于策略组合的推理时控制工具。
PRISM 的推理时可控性对产品化有直接价值，允许服务提供商在不重新训练的情况下调整模型行为，降低定制化成本。可验证的下一信号是：是否有 API 提供商提供基于策略组合的推理时偏好控制功能。
PRISM 可能开启多奖励 RL 的新研究方向，未来可能出现更高效的策略组合算法，以及将策略分解应用于更复杂任务（如多模态、长程规划）的尝试。可验证的下一信号是：后续工作是否在 PRISM 基础上扩展，或出现类似框架的对比研究。