PROOF-Gen: From Optimized Data to Better Distillation
Apple 研究团队提出 PROOF-Gen 方法，用于改进工具调用模型的蒸馏过程。在 τ2-bench 基准上，57% 的教师轨迹失败，其中三分之二是近失（大多数工具调用正确但未完成）。
发展脉络
- 首次出现PROOF-Gen: From Optimized Data to Better DistillationApple Machine Learning Research
- 当前判断该研究反映了 AI 行业对工具调用模型蒸馏效率的关注。随着模型部署周期缩短，蒸馏成本成为瓶颈。PROOF-Gen 可能推动更高效的蒸馏方法，减少对前沿模型的依赖。可验证的下一信号是：该方法是否被其他团队采用或集成到主流训练框架中。Agent Pulse · 分析
Apple 的研究论文《PROOF-Gen: From Optimized Data to Better Distillation》指出，当前工具调用模型蒸馏的标准流程是：在教师模型生成的轨迹上进行监督微调，然后通过生成-过滤机制保留通过轨迹。然而，这种机制在每个训练周期都会重复支付前沿教师成本，且由于失败轨迹不提供信号，难以处理困难场景。在 τ2-bench 上，57% 的教师尝试失败，其中三分之二是近失（大多数工具调用正确但未完成）。PROOF-Gen 方法旨在从优化数据中提取更好的蒸馏信号，可能通过利用近失轨迹来改进蒸馏效果。
PROOF-Gen 的核心洞察是，失败轨迹中的近失样本（大多数工具调用正确但未完成）包含有价值的信息，而传统生成-过滤方法会丢弃这些样本。通过利用这些近失样本，PROOF-Gen 可能提供更丰富的训练信号，从而提升蒸馏模型的工具调用能力。可验证的下一信号是：论文中是否报告了在 τ2-bench 上的具体性能提升，以及该方法是否在其他基准上有效。
该研究反映了 AI 行业对工具调用模型蒸馏效率的关注。随着模型部署周期缩短，蒸馏成本成为瓶颈。PROOF-Gen 可能推动更高效的蒸馏方法，减少对前沿模型的依赖。可验证的下一信号是：该方法是否被其他团队采用或集成到主流训练框架中。
对于依赖工具调用模型的企业，PROOF-Gen 可能降低模型蒸馏成本，加快模型迭代周期，从而提升产品竞争力。可验证的下一信号是：是否有商业产品采用该方法并报告成本节省。
未来，蒸馏方法可能更注重利用失败样本，而非简单过滤。这可能导致更鲁棒的模型训练，并降低蒸馏成本。可验证的下一信号是：后续研究是否引用 PROOF-Gen，并在此基础上改进。