LangChoiceBench: Measuring and Explaining Programming-Language Choice in LLMs
LangChoiceBench 是一个项目级代码生成基准，用于衡量 LLM 的 Python 偏好、推荐-实现一致性和语言多样性。它覆盖 7 个软件领域的 28 个项目，评估了 25 个 LLM，发现 Python 仍被过度选择，推荐-实现一致性低，较小的开源模型表现出更强的 Python 偏好和较低的语言多样性。分析 9,826 条推理轨迹发现，大多数 Python 选择是自动的或由易用性驱动，而非明确考虑项目需求；部分案例中模型编造上下文支持选择 Python（称为幻影证据），或生成与推理中选择语言相矛盾的代码。
发展脉络
- 首次出现LangChoiceBench: Measuring and Explaining Programming-Language Choice in LLMsarXiv cs.CL
- 当前判断该基准为评估 LLM 在代码生成中的语言多样性提供了标准化工具，可能影响代码生成工具和 IDE 的设计。对于依赖 LLM 生成项目级代码的开发者，Python 偏好可能导致在非 Python 项目中生成不合适的代码，降低代码质量和可维护性。基准的发布可能推动模型开发者关注语言选择偏差，并在训练或微调中引入多样性目标。此外，幻影证据的发现提醒用户对模型生成的代码保持警惕，尤其是在语言选择方面。Agent Pulse · 分析
LangChoiceBench 是一个新的项目级代码生成基准，用于系统测量 LLM 在编程语言选择上的行为，特别是 Python 偏好。该基准覆盖 7 个软件领域的 28 个项目，这些项目中 Python 通常不是最佳默认选择。研究评估了 25 个多样化的 LLM，发现 Python 仍被过度选择，推荐-实现一致性低，较小的开源模型通常表现出更强的 Python 偏好和较低的语言多样性。通过分析 9,826 条推理轨迹，研究发现大多数 Python 选择是自动的或由易用性驱动，而非基于项目需求的明确考虑。此外，研究识别出两种失败模式：幻影证据（模型编造支持选择 Python 的上下文）和推理与代码不一致（模型推理中选择的语言与生成的代码矛盾）。该研究为理解和改进 LLM 在代码生成中的语言选择行为提供了系统方法。
LangChoiceBench 揭示了 LLM 在代码生成中的语言选择存在系统性偏差：Python 偏好普遍且强烈，且这种偏好往往不是基于项目需求的理性决策，而是自动化的或由易用性驱动。推理轨迹分析表明，模型在推理过程中很少明确考虑项目需求，而是默认选择 Python。幻影证据和推理-代码不一致的失败模式表明，模型在语言选择上的推理可能不可靠，甚至可能编造支持性上下文。这提示当前 LLM 在代码生成中的语言选择机制需要改进，例如通过更好的提示或训练来鼓励模型考虑项目需求并保持推理与代码的一致性。
该基准为评估 LLM 在代码生成中的语言多样性提供了标准化工具，可能影响代码生成工具和 IDE 的设计。对于依赖 LLM 生成项目级代码的开发者，Python 偏好可能导致在非 Python 项目中生成不合适的代码，降低代码质量和可维护性。基准的发布可能推动模型开发者关注语言选择偏差，并在训练或微调中引入多样性目标。此外，幻影证据的发现提醒用户对模型生成的代码保持警惕，尤其是在语言选择方面。
对于提供代码生成服务的公司，该基准可用于评估和比较其模型的语言选择行为，从而优化产品以支持更多语言，满足不同项目需求。对于使用 LLM 进行代码生成的开发团队，了解模型的 Python 偏好有助于在非 Python 项目中采取预防措施，如使用更明确的提示或人工审查。此外，该基准可能催生新的工具或服务，帮助开发者检测和纠正模型的语言选择偏差。
未来，LangChoiceBench 可能成为评估 LLM 代码生成能力的标准基准之一，促使模型在语言选择上更加多样化和上下文感知。可验证的下一信号包括：模型开发者引用该基准来报告其模型的 Python 偏好和语言多样性；代码生成工具集成该基准以提供语言选择建议；出现针对减少 Python 偏好的微调方法或提示策略。