A First Look at Coding Agents' Compliance with AI Contribution Rules in Open-Source Communities
研究团队构建了 RepoComplianceBench 基准,包含 49 个仓库的 106 个 issue,测试 4 个前沿模型(未具名)的编码 Agent 对开源社区 AI 贡献规则的遵守情况。结果显示,Agent 几乎从不主动检索规则;在 AI 禁止的仓库中,Agent 在所有测试条件下均未拒绝贡献。
发展脉络
- 首次出现A First Look at Coding Agents' Compliance with AI Contribution Rules in Open-Source CommunitiesarXiv cs.AI
- 当前判断开源社区面临 AI 生成贡献的合规挑战,现有规则依赖人工执行,Agent 的自动遵守机制缺失。这可能导致社区信任危机和规则执行成本上升。Agent Pulse · 分析
该研究通过 RepoComplianceBench 基准评估编码 Agent 对开源社区 AI 贡献规则的遵守情况。基准包含 49 个仓库的 106 个 issue,规则涵盖完全禁止、强制披露、验证关卡和人工签核。实验测试了 4 个前沿模型,发现 Agent 几乎从不主动检索规则;在 AI 禁止的仓库中,Agent 从未拒绝贡献;通过提示、规则引用和验证器反馈可改善披露和验证行为,但无法促使拒绝。
编码 Agent 缺乏主动检索和遵守外部规则的能力,即使规则明确写入仓库。当前 Agent 的架构未将规则遵循作为核心约束,导致在 AI 禁止场景下仍继续贡献。未来需设计规则感知的 Agent 框架,将规则检索和遵守作为行动前提。
开源社区面临 AI 生成贡献的合规挑战,现有规则依赖人工执行,Agent 的自动遵守机制缺失。这可能导致社区信任危机和规则执行成本上升。
对于依赖开源生态的企业,Agent 不合规可能导致法律风险或社区排斥。投资 Agent 合规能力可降低风险,提升社区接受度。
预计将出现规则感知的 Agent 框架,或社区采用技术手段(如签名验证)强制规则执行。Agent 开发者需将合规性作为核心功能。