Easy to Complete, Hard to Choose: Investigating LLM Performance on the ProverbIT Benchmark
论文《Easy to Complete, Hard to Choose: Investigating LLM Performance on the ProverbIT Benchmark》介绍了 ProverbIT，一个包含 100 道多选题的意大利语谚语基准，用于评估 LLM 完成谚语的能力。研究评估了 13 个前沿模型（包括 LRM 和传统 LLM），涉及三个任务：谚语完成、有正确答案的多选、无正确答案的多选。结果显示，几乎所有模型在完成任务中表现良好，但在无正确答案的多选任务中性能大幅下降，即使最先进的推理模型也出现明显退化。对两个 LRM 的思维链分析揭示了模型倾向于选择字面同义词，并在推理中频繁提及正确的谚语结尾。
Development
- First ReportEasy to Complete, Hard to Choose: Investigating LLM Performance on the ProverbIT BenchmarkarXiv cs.CL
- Current Assessment该研究对 LLM 评估和部署有重要启示：模型在标准基准上的高表现可能掩盖其在特定文化或语言任务上的缺陷。对于面向多语言、多文化用户的产品，仅依赖通用基准可能不足以确保模型在真实场景中的可靠性。评估设计需要更贴近实际使用场景，例如包含无正确答案的选项，以暴露模型的真实理解能力。Agent Pulse · analysis
该论文提出了 ProverbIT，一个包含 100 道意大利语谚语多选题的基准，用于评估 LLM 对文化嵌入语言表达的理解。研究测试了 13 个前沿模型，包括大型推理模型（LRM）和传统 LLM，在三个任务上的表现：谚语完成、有正确答案的多选和无正确答案的多选。结果发现，几乎所有模型在完成谚语时表现良好，但在无正确答案的多选任务中性能显著下降，即使是先进的推理模型也大幅退化。思维链分析显示，模型倾向于选择字面同义词，并在推理中提及正确的谚语结尾，表明模型可能依赖表面线索而非深层语义理解。该研究揭示了 LLM 在文化特定任务上的局限性，并强调了评估格式对性能的影响。
该研究揭示了 LLM 在文化特定任务上的一个关键弱点：模型在生成任务（如谚语完成）中表现良好，但在需要区分细微语义差异的多选任务中性能大幅下降，尤其是在没有正确答案的情况下。思维链分析表明，模型倾向于选择字面同义词，并可能在推理中提及正确结尾，但最终选择错误，暗示模型可能依赖表面形式匹配而非深层语义理解。这提示当前模型在文化常识和语义推理方面存在不足，评估格式（如是否提供正确答案）对模型性能有显著影响。
该研究对 LLM 评估和部署有重要启示：模型在标准基准上的高表现可能掩盖其在特定文化或语言任务上的缺陷。对于面向多语言、多文化用户的产品，仅依赖通用基准可能不足以确保模型在真实场景中的可靠性。评估设计需要更贴近实际使用场景，例如包含无正确答案的选项，以暴露模型的真实理解能力。
对于开发多语言 AI 产品的公司，该研究提示需要针对特定文化进行模型微调或评估，以避免在文化相关任务上出现性能陷阱。投资于文化适配和评估工具可能带来差异化优势，尤其是在面向意大利等特定市场的应用中。
未来可关注模型在文化特定基准上的改进，以及评估方法的发展。可验证的下一信号包括：模型在 ProverbIT 上的性能提升、更多文化基准的出现、以及模型在无正确答案多选任务上的改进。