SpecFirst: Behavioral Specification Elicitation as a First-Class Step in Agent-Based Program Synthesis from Scratch
SpecFirst 是一个两阶段框架，将行为规格提取作为基于 Agent 的程序合成中的第一步。一个专门的规格 Agent 首先探测二进制文件，并将观察结果与文档结合成结构化规格；然后代码合成 Agent 使用该规格驱动实现。该框架的动机是，在 ProgramBench 等基准测试中，仅凭自然语言文档和可执行二进制文件作为行为预言机，前沿模型解决的实例不足 1%。
发展脉络
- 首次出现SpecFirst: Behavioral Specification Elicitation as a First-Class Step in Agent-Based Program Synthesis from ScratcharXiv cs.CL
- 当前判断SpecFirst 表明，从零开始的程序合成仍是 LLM 智能体的瓶颈，现有方法在 ProgramBench 等基准上成功率极低。将规格提取作为第一步可能成为 Agent 框架设计的新趋势，但需要更多基准验证其有效性。Agent Pulse · 分析
SpecFirst 提出将行为规格提取作为基于 Agent 的程序合成中的第一步。LLM 智能体在现有代码库提供上下文的软件工程任务中表现出色，但从零开始构建程序仍然困难。ProgramBench 等基准测试量化了这一差距：仅凭自然语言文档和可执行二进制文件作为行为预言机，前沿模型解决的实例不足 1%。现有框架将文档阅读、行为探索和代码合成混为单次传递，导致智能体探测不足、上下文漂移中丢失行为意图，并将早期误解传播到最终实现。受经典需求工程启发，SpecFirst 采用两阶段框架，在代码合成前强制进行规格提取。专门的规格 Agent 首先探测二进制文件，将观察结果与文档结合成结构化规格；随后代码合成 Agent 使用该规格驱动实现。这种分解在编码前解决文档歧义，并防止行为意图丢失。
SpecFirst 将程序合成分解为规格提取和代码合成两个阶段，类似于经典需求工程。规格 Agent 主动探测二进制文件，将观察结果与文档结合成结构化规格，减少上下文漂移和早期误解传播。这种分解可能提高从零开始程序合成的成功率，但需要验证其在不同任务上的泛化能力。
SpecFirst 表明，从零开始的程序合成仍是 LLM 智能体的瓶颈，现有方法在 ProgramBench 等基准上成功率极低。将规格提取作为第一步可能成为 Agent 框架设计的新趋势，但需要更多基准验证其有效性。
SpecFirst 可能提升从零开始程序合成的成功率，对自动化软件开发工具链有潜在价值。但当前仅为研究论文，需进一步验证其实际效果和商业化潜力。
SpecFirst 可能推动更多 Agent 框架采用分阶段设计，将规格提取与代码合成分离。未来可观察其在 ProgramBench 等基准上的表现，以及是否被其他研究团队采用或扩展。