LEEPS: Latent-Guided Explore-Exploit Prompt Sampling for Efficient RLVR in Large Language Models
LEEPS 是一种潜在引导的探索-利用提示采样器，用于在可验证奖励的强化学习（RLVR）中平衡提示的利用与探索，通过分配探索和利用组合的预算，并利用表示空间邻居和历史结果优先选择可能产生非零奖励方差的提示，在六个数学推理任务上进行了评估。
发展脉络
- 首次出现LEEPS: Latent-Guided Explore-Exploit Prompt Sampling for Efficient RLVR in Large Language ModelsarXiv cs.CL
- 当前判断该研究反映了 RLVR 训练中计算效率优化的趋势，通过减少无效 rollout 来降低训练成本。这可能推动 RLVR 在更广泛的应用中落地，尤其是在数学推理等可验证奖励场景。行业上，类似方法可能被集成到训练框架中，提高 RLVR 的可扩展性。Agent Pulse · 分析
LEEPS 论文提出了一种新的提示采样方法，用于提高大型语言模型在可验证奖励强化学习（RLVR）中的训练效率。该方法解决了提示组具有相同 rollout 奖励但消耗生成预算的问题，通过预 rollout 提示选择来减少浪费。LEEPS 将候选提示分为利用和探索组合，并根据最近的非平凡比率自适应分配预算，同时使用表示空间邻居和历史 rollout 结果来优先选择可能产生非零奖励方差的提示，使探索更具针对性。论文在六个数学推理任务上进行了评估，表明该方法能有效平衡探索与利用，提高训练效率。
LEEPS 的核心创新在于利用潜在表示空间中的邻居信息来指导探索，无需额外 rollout 即可优先选择可能产生非零奖励方差的提示。这暗示了表示空间中的结构信息可以用于预测提示的信息量，可能为 RLVR 中的提示选择提供新的思路。下一步可验证的信号是：该方法在其他领域（如代码生成）或更大模型上的表现，以及表示空间邻居选择的敏感性分析。
该研究反映了 RLVR 训练中计算效率优化的趋势，通过减少无效 rollout 来降低训练成本。这可能推动 RLVR 在更广泛的应用中落地，尤其是在数学推理等可验证奖励场景。行业上，类似方法可能被集成到训练框架中，提高 RLVR 的可扩展性。
对于提供 RLVR 训练服务的公司，LEEPS 可降低训练成本，提高模型迭代速度，从而增强竞争力。对于使用 RLVR 开发推理模型的团队，该方法可减少计算资源消耗，加快实验周期。
未来，LEEPS 可能扩展到更多任务类型，并与其他 RLVR 优化技术结合。可验证的信号包括：在更多基准上的公开评估、代码实现的开源、以及被主流训练框架采纳。