On the Diversity of Analogy Making in Large Language Models
arXiv 论文《On the Diversity of Analogy Making in Large Language Models》对十个开源和闭源 LLM 的类比多样性进行了评估，发现领域同质化问题，即模型倾向于从狭窄的目标域生成类比，限制了查询间和模型内的多样性。研究还发现现有增强多样性的方法在提高多样性的同时往往牺牲输出质量，并通过因果分析揭示了不同模型在类比多样性相关的信息流区域存在显著差异。
发展脉络
- 首次出现On the Diversity of Analogy Making in Large Language ModelsarXiv cs.CL
- 当前判断该研究指出当前 LLM 在类比生成中存在领域同质化问题，可能限制其在科学发现和创意任务中的应用。对于依赖模型多样性的应用（如头脑风暴、创意写作），需要关注多样性-质量权衡。未来可观察模型供应商是否在 API 中提供多样性控制参数，或研究社区是否提出新的评估基准。Agent Pulse · 分析
该论文对十个开源和闭源 LLM 的类比生成多样性进行了全面评估，发现领域同质化问题：模型倾向于从少数目标域生成类比，限制了跨查询和模型内的多样性。研究还揭示了多样性增强方法中存在的多样性-质量权衡，即提高多样性往往以牺牲输出质量为代价。通过因果分析，论文发现不同模型在控制类比多样性的信息流区域存在显著差异，这可能解释了多样性-质量权衡的机制。
论文通过因果分析揭示了不同 LLM 在类比多样性相关的模型敏感区域存在差异，这可能为理解多样性-质量权衡提供机制性解释。未来可验证的信号包括：针对这些敏感区域进行干预（如激活编辑）是否能提升多样性而不损害质量，以及不同模型架构（如注意力头或前馈网络）对多样性的影响是否不同。
该研究指出当前 LLM 在类比生成中存在领域同质化问题，可能限制其在科学发现和创意任务中的应用。对于依赖模型多样性的应用（如头脑风暴、创意写作），需要关注多样性-质量权衡。未来可观察模型供应商是否在 API 中提供多样性控制参数，或研究社区是否提出新的评估基准。
对于依赖 LLM 生成创意的产品（如设计工具、广告文案），多样性是核心价值。该研究提示当前模型可能因领域同质化而限制创意输出，企业需评估模型选择或引入多样性增强机制。同时，多样性-质量权衡意味着提升多样性可能影响输出质量，需在业务场景中权衡。
未来可关注：1) 是否出现针对多样性-质量权衡的新方法，如基于因果分析的干预；2) 模型供应商是否在发布时报告多样性指标；3) 是否出现跨领域类比生成的专用模型或微调方法。