SERL-SQL: Selective Hindsight Distillation for Text-to-SQL Reinforcement Agentic Learning
SERL-SQL 是一种用于多轮 Text-to-SQL 智能体的选择性执行接地强化学习框架。它采样策略内 SQL 交互轨迹，并使用仅训练时的教师模型根据执行反馈重新评分学生动作，将教师-学生似然差距转换为有界掩码权重，仅对 SQL 和工具动作 token 重新加权 GRPO 优势。在 BIRD 和 Spider 基准上，SERL-SQL 在 BIRD-Dev 上达到 76.56% 的执行准确率，在 Spider-Test 上达到 89.92%。
Development
- First ReportSERL-SQL: Selective Hindsight Distillation for Text-to-SQL Reinforcement Agentic LearningarXiv cs.CL
- Current AssessmentSERL-SQL 表明，在 Text-to-SQL 任务中，结合执行反馈的强化学习可以显著提升智能体性能。这反映了行业趋势：从简单的监督学习转向更复杂的执行接地学习，以提升模型在真实场景中的可靠性。Agent Pulse · analysis
SERL-SQL 提出了一种选择性执行接地强化学习框架，用于多轮 Text-to-SQL 智能体。现有方法通常仅将执行正确性作为轨迹级奖励，难以定位具体 SQL 决策的成败。SERL-SQL 通过采样策略内轨迹，并使用仅训练时的教师模型根据执行反馈重新评分学生动作，将教师-学生似然差距转换为有界掩码权重，仅对 SQL 和工具动作 token 重新加权 GRPO 优势，从而实现局部信用分配。在 BIRD 和 Spider 基准上的实验表明，SERL-SQL 达到了具有竞争力的性能，在 BIRD-Dev 上执行准确率为 76.56%，在 Spider-Test 上为 89.92%。此外，其基于奖励的选择策略接近 oracle Best-of-N 上界，并持续优于基于一致性的选择。
SERL-SQL 的核心创新在于将执行反馈转化为 token 级别的信用分配信号，通过教师-学生似然差距生成掩码权重，仅对 SQL 和工具动作 token 进行 GRPO 优势重加权。这种方法避免了轨迹级奖励的稀疏性问题，提供了更细粒度的优化信号。其选择策略接近 oracle Best-of-N 上界，表明奖励信号的有效性。
SERL-SQL 表明，在 Text-to-SQL 任务中，结合执行反馈的强化学习可以显著提升智能体性能。这反映了行业趋势：从简单的监督学习转向更复杂的执行接地学习，以提升模型在真实场景中的可靠性。
SERL-SQL 提升了 Text-to-SQL 智能体的准确性，可降低企业数据分析门槛，减少人工编写 SQL 的成本。对于数据库相关工具和平台，该技术可增强其自然语言查询能力，提升产品竞争力。
未来，SERL-SQL 的方法可能扩展到其他工具使用或代码生成任务，并可能结合更复杂的执行反馈信号。可验证的下一信号是：该方法在更多基准或实际应用中的性能表现，以及是否被其他研究团队采用或改进。