Distilling Answer Set Programming Theories from Large Language Models
arXiv 论文 2607.28086v1 提出一种神经符号方法，让模型在固定 agent 框架下、以空文件为起点、单次提示和 1 小时时限内蒸馏完整的 Answer Set Programming (ASP) 理论。研究使用 VQA 基准（CLEVR、GQA、CLEVRER）和九个模型：四个前沿模型（Claude Sonnet 4.6、Claude Opus 4.7、GPT-5、DeepSeek V4 Pro）、两个中端模型（DeepSeek V4 Flash、gpt-oss-120b）和三个开放权重模型（qwen3.6-27b、gpt-oss-20b、qwen3.5-9b）。三个前沿模型在 CLEVR 上达到 100%，在 GQA 上达到 92.8%-98.8%；在 CLEVRER 上，Sonnet、Opus、DeepSeek V4 Pro 得分 92.7%-95.3%。GPT-5 在 CLEVR 上达到 98.7%，但在 GQA 上降至 41.8%，在 CLEVRER 上降至 86.7%。添加其他数据集的手写参考理论对其他三个前沿模型的影响最多为 +/-3.4 个百分点，但使 GPT-5 的准确率下降 3-19 个百分点。
发展脉络
- 首次出现Distilling Answer Set Programming Theories from Large Language ModelsarXiv cs.AI
- 当前判断该研究为神经符号 AI 领域提供了新思路，即利用 LLM 自动生成逻辑程序，可能降低 ASP 编程的门槛。但模型间的性能差异表明，前沿模型并非都适合此类任务，选择模型时需谨慎。可验证的下一信号：是否有更多研究采用类似协议，并扩展到其他逻辑编程语言或领域。Agent Pulse · 分析
该论文研究大型语言模型能否在固定 agent 框架下、以空文件为起点、单次提示和 1 小时时限内蒸馏出完整且正确的 Answer Set Programming (ASP) 理论。实验在三个 VQA 基准（CLEVR、GQA、CLEVRER）上进行，测试了九个不同规模的模型。结果显示，三个前沿模型（Claude Sonnet 4.6、Claude Opus 4.7、DeepSeek V4 Pro）在 CLEVR 上达到 100% 准确率，在 GQA 上达到 92.8%-98.8%，在 CLEVRER 上达到 92.7%-95.3%。GPT-5 在 CLEVR 上表现良好（98.7%），但在 GQA 上显著下降至 41.8%，在 CLEVRER 上为 86.7%。添加其他数据集的手写参考理论对三个前沿模型影响不大（最多 +/-3.4 个百分点），但显著降低了 GPT-5 的准确率（3-19 个百分点）。这表明模型在自动生成 ASP 理论方面具有潜力，但不同模型间存在显著差异，且参考理论可能干扰某些模型的性能。
该研究展示了 LLM 在 agent 框架下自动生成 ASP 理论的能力，但模型间差异显著。GPT-5 在 GQA 上的性能骤降（41.8%）表明其可能过度依赖特定模式，而参考理论的加入反而造成干扰。这提示在神经符号系统中，模型对先验知识的敏感度不同。可验证的下一信号：后续研究是否会针对 GPT-5 的失败模式进行优化，或提出更鲁棒的蒸馏协议。
该研究为神经符号 AI 领域提供了新思路，即利用 LLM 自动生成逻辑程序，可能降低 ASP 编程的门槛。但模型间的性能差异表明，前沿模型并非都适合此类任务，选择模型时需谨慎。可验证的下一信号：是否有更多研究采用类似协议，并扩展到其他逻辑编程语言或领域。
该技术可能降低逻辑编程的专业门槛，使非专家也能通过自然语言生成 ASP 理论，从而加速 AI 在需要可解释推理的领域（如知识图谱、约束求解）的应用。但模型选择至关重要，企业需评估不同模型的适用性。可验证的下一信号：是否有商业产品采用此类自动理论生成技术。
未来可能发展出更高效的 ASP 理论蒸馏方法，并应用于更复杂的推理任务。但当前 GPT-5 的失败表明，模型对参考理论的敏感性可能成为瓶颈。可验证的下一信号：是否出现针对模型敏感性的改进方法，或更通用的蒸馏框架。