From Test-Time Scaling to Reusable Memory: Measuring Crystallization in Text-to-SQL
arXiv 论文 2608.07213v1 提出 text-to-SQL 中的结晶化问题，即衡量测试时扩展产生的可复用记忆的未来价值。在 BIRD 基准上，存储已验证的修正查询使未见查询的首答准确率提升 4.34 个百分点，占按需修复准确率提升空间的 44.4%。
Development
- First ReportFrom Test-Time Scaling to Reusable Memory: Measuring Crystallization in Text-to-SQLarXiv cs.CL
- Current Assessment该研究为记忆增强的 text-to-SQL 系统提供了可操作的评估方法，将记忆价值分解为重放、跨问题保留和同数据库迁移。结果表明，数据库特定内容比格式或检索器复杂度更重要，提示系统设计应优先存储和检索数据库相关的修正，而非追求复杂表示。Agent Pulse · analysis
该论文指出，测试时扩展能纠正困难的 text-to-SQL 查询，但额外计算通常在每次回答后被丢弃。系统越来越多地保留已验证的修复片段，但评估仍只报告端到端分数，无法区分对重复问题的重放与对未见问题的帮助，也无法识别负责的记忆选择。作者将衡量这种未来价值称为结晶化问题。他们通过控制评估，固定单次求解器，每次改变一个记忆选择，分别测量重放、跨问题保留和同数据库未见数据迁移。在 BIRD 上，存储已验证的修正查询使未见查询的首答准确率提升 4.34 个百分点，占按需修复准确率提升空间的 44.4%。受控干预识别出数据库特定内容是主要操作成分。可靠的验证和更广的检索覆盖带来有支持的收益，而更丰富的格式和复杂的检索器则没有。代码、评估工件和复现说明已开源。
该研究为记忆增强的 text-to-SQL 系统提供了可操作的评估方法，将记忆价值分解为重放、跨问题保留和同数据库迁移。结果表明，数据库特定内容比格式或检索器复杂度更重要，提示系统设计应优先存储和检索数据库相关的修正，而非追求复杂表示。
该研究为记忆增强的 text-to-SQL 系统提供了可操作的评估方法，将记忆价值分解为重放、跨问题保留和同数据库迁移。结果表明，数据库特定内容比格式或检索器复杂度更重要，提示系统设计应优先存储和检索数据库相关的修正，而非追求复杂表示。
对构建 text-to-SQL 产品的团队，该研究提供了量化记忆价值的方法，可指导产品决策：优先投资于可靠验证和数据库特定记忆，而非复杂检索器，以提升未见查询的准确率。
后续可验证信号包括：其他基准上是否复现类似增益，以及记忆系统在真实工作负载中的长期收益。