AttnLink: Turning Attention into Schema Links for Text-to-SQL
AttnLink 是一种基于注意力的框架，将 LLM 的内部注意力转换为模式项的连续相关性分数。它从生成起始位置提取注意力到候选模式跨度，在单次预填充中排序所有候选，无需自回归解码。AttnLink 有两个变体：AttnLink-U 直接探测预训练注意力，AttnLink-S 通过直接监督对齐注意力分布。AttnLink-S 结合集合质量目标和自适应概率下限正则化器，支持通过温度缩放和累积质量选择进行事后精确率-召回率控制。在 Spider、BIRD 和 Spider2-SQLite 上，AttnLink-S 的 mAP 分别为 99.22%、95.95% 和 83.29%，延迟为毫秒级。
Development
- First ReportAttnLink: Turning Attention into Schema Links for Text-to-SQLarXiv cs.CL
- Current AssessmentAttnLink 展示了利用 LLM 内部注意力进行高效模式链接的潜力，这可能对 Text-to-SQL 系统的实际部署产生重要影响。毫秒级的延迟使得模式链接不再是瓶颈，从而支持更实时的交互式查询。此外，AttnLink 的方法可能扩展到其他需要模式链接或实体链接的任务，如知识图谱问答或信息抽取。Agent Pulse · analysis
AttnLink 是一种用于 Text-to-SQL 的模式链接框架，通过将 LLM 的内部注意力转化为连续相关性分数，解决了现有方法在上下文建模能力、基于分数的可控性和推理效率之间的权衡。AttnLink 从生成起始位置提取注意力到候选模式跨度，使得所有候选可以在单次预填充中排序，无需自回归解码。该框架提供两种变体：AttnLink-U 直接探测预训练注意力，无需参数更新；AttnLink-S 通过直接监督将注意力分布与黄金模式项对齐。为了覆盖多个相关模式项，AttnLink-S 结合了集合质量目标和自适应概率下限正则化器。生成的分数支持通过温度缩放和累积质量选择进行事后精确率-召回率控制。在 Spider、BIRD 和 Spider2-SQLite 上的实验表明，AttnLink-S 的 mAP 分别达到 99.22%、95.95% 和 83.29%，模式链接延迟为毫秒级。
AttnLink 的核心创新在于利用 LLM 内部注意力作为模式链接的信号，避免了额外的解码步骤，从而显著降低了推理延迟。通过从生成起始位置提取注意力，AttnLink 能够在单次预填充中完成所有候选的排序，这比传统的自回归方法更高效。AttnLink-S 的监督训练方法通过直接对齐注意力分布与黄金模式项，提高了链接的准确性，而集合质量目标和自适应概率下限正则化器则增强了多模式项的覆盖能力。温度缩放和累积质量选择提供了事后控制精确率-召回率的手段，使得系统可以根据应用需求调整性能。
AttnLink 展示了利用 LLM 内部注意力进行高效模式链接的潜力，这可能对 Text-to-SQL 系统的实际部署产生重要影响。毫秒级的延迟使得模式链接不再是瓶颈，从而支持更实时的交互式查询。此外，AttnLink 的方法可能扩展到其他需要模式链接或实体链接的任务，如知识图谱问答或信息抽取。
AttnLink 通过降低模式链接的延迟和成本，可能提升 Text-to-SQL 系统的商业价值。对于提供数据库查询服务的公司，更快的模式链接意味着更低的推理成本和更好的用户体验。此外，AttnLink 的可控性（通过温度缩放和累积质量选择）使得系统能够根据业务需求调整精确率和召回率，从而适应不同的应用场景。
AttnLink 的后续工作可能包括在更多数据集和更大规模模型上的验证，以及探索如何将注意力分数与其他信号（如语义相似度）结合以进一步提升性能。此外，AttnLink 的注意力提取方法可能被应用于其他需要高效排序的任务，如文档检索或推荐系统。