Evaluating Regional Bias in LLMs From Abstract Stereotype to Concrete Social Decision-Making
arXiv 论文 2607.27022v1 提出 Stereotypes-to-Decisions (S2D) 框架，评估 LLM 的区域偏见，覆盖中国 34 个省级行政区，评测 6 个 LLM，使用 Warmth 和 Competence 评分及配对选择任务，发现区域分数差异大，模型间一致性高，与经济和数字发展指标相关，跨中英文提示稳定。
发展脉络
- 首次出现Evaluating Regional Bias in LLMs From Abstract Stereotype to Concrete Social Decision-MakingarXiv cs.CL
- 当前判断该研究揭示 LLM 的区域偏见可能影响教育、职业等领域的决策，对 AI 公平性提出挑战。模型间一致性高意味着偏见是行业普遍问题，而非个别模型缺陷。与经济发展指标的关联提示偏见可能反映现实社会不平等，需在部署中加以缓解。Agent Pulse · 分析
该论文引入 S2D 框架，系统评估大语言模型中的区域偏见，从抽象刻板印象到具体社会决策。研究覆盖中国全部 34 个省级行政区，评测 6 个 LLM，使用 Warmth 和 Competence 评分以及教育、职业、社交互动领域的配对选择任务。结果显示区域分数存在显著差异，模型间一致性高，尤其在 Competence 和职业决策方面。这些模式与区域经济和数字发展指标相关，并表现出混合的人类类似刻板印象，部分区域在一个维度得分高而另一个维度低。结果在中英文提示下基本稳定。
S2D 框架将抽象刻板印象（Warmth/Competence）与具体决策任务（配对选择）结合，提供可复用的评测方法。模型间一致性高暗示偏见可能源于训练数据中的系统性区域关联，而非随机噪声。跨语言稳定性表明偏见根植于模型内部表征，而非表面语言差异。
该研究揭示 LLM 的区域偏见可能影响教育、职业等领域的决策，对 AI 公平性提出挑战。模型间一致性高意味着偏见是行业普遍问题，而非个别模型缺陷。与经济发展指标的关联提示偏见可能反映现实社会不平等，需在部署中加以缓解。
对 AI 开发者和部署者，该框架提供评估区域偏见的工具，有助于识别和缓解模型中的不公平，降低在敏感领域（如招聘、教育）部署的风险，提升产品合规性和社会接受度。
后续可验证信号：S2D 框架是否被其他研究采用；模型更新后偏见分数是否变化；是否有缓解方法提出并验证。