ProDVI: Programmatic Dynamics Priors for Value Network Initialization
ProDVI（Programmatic Dynamics Priors for Value Network Initialization）是一个框架，利用大型语言模型编码的常识和领域知识来初始化强化学习智能体，无需预收集数据集、高保真模拟器或元学习。它提示代码生成语言模型生成可执行的 Python 函数，编码关于环境动态的粗略假设，并用这些函数生成合成转移。基于这些转移，构建辅助动态预测目标来预训练 actor-critic 框架中价值网络的状态-动作编码器。学习到的表示在在线 RL 开始前提供动态感知的归纳偏置。
Development
- First ReportProDVI: Programmatic Dynamics Priors for Value Network InitializationarXiv cs.AI
- Current Assessment该研究展示了 LLM 在强化学习初始化中的新应用，可能降低 RL 应用的门槛，尤其是在模拟器或数据稀缺的领域。然而，其实际效果仍需在更多任务上验证，且与现有 RL 框架的集成需要工程投入。Agent Pulse · analysis
ProDVI 提出了一种新的强化学习初始化方法，通过大型语言模型生成程序化动态先验来初始化价值网络，从而减少样本效率低下的问题。该方法不依赖预收集数据集、高保真模拟器或元学习，而是利用代码生成语言模型产生可执行的 Python 函数，这些函数编码环境动态的粗略假设，并生成合成转移数据。随后，通过辅助动态预测目标预训练价值网络的状态-动作编码器，为在线 RL 提供动态感知的归纳偏置。
ProDVI 的核心创新在于将 LLM 的常识知识转化为可执行的程序化动态模型，用于生成合成数据以预训练价值网络编码器。这避免了传统方法对高质量模拟器或数据集的依赖，但合成数据的质量取决于 LLM 生成函数的准确性，可能引入偏差。
该研究展示了 LLM 在强化学习初始化中的新应用，可能降低 RL 应用的门槛，尤其是在模拟器或数据稀缺的领域。然而，其实际效果仍需在更多任务上验证，且与现有 RL 框架的集成需要工程投入。
ProDVI 可能降低 RL 项目的启动成本，使缺乏高质量模拟器的团队也能进行 RL 训练，从而加速 RL 在工业界的落地。但商业化需进一步验证其稳定性和可扩展性。
未来可观察 ProDVI 在更多 RL 基准上的表现，以及其与不同 LLM 和 RL 算法的兼容性。若效果显著，可能推动 RL 在机器人、游戏等领域的应用。