Jul 9, 2026 · AMALIA
Validity of LLMs as data annotators: AMALIA on authority
葡萄牙公共资助的 9B 参数模型 AMALIA（面向欧洲葡萄牙语）在道德基础权威编码任务上与受过训练的人类标注者达成一致，显示其作为数据标注工具的效度。
EVENT STORY
Development
- First ReportValidity of LLMs as data annotators: AMALIA on authorityarXiv cs.AI
- Current Assessment公共资助的国家语言模型可成为数据标注基础设施，降低对商业 API 的依赖，尤其对低资源语言社区。这或推动主权 AI 在数据生产环节的自主化。下一信号：葡萄牙或其他国家是否将 AMALIA 纳入官方数据标注流程。Agent Pulse · analysis
arXiv 论文评估了大型语言模型作为数据标注者的效度，聚焦葡萄牙国家语言模型 AMALIA。该模型为公共资助的 9B 参数模型，专为欧洲葡萄牙语设计。在道德基础权威编码任务中，AMALIA 与受过训练的人类标注者的一致性具有竞争力，表明其能有效测量公民言论与价值观。研究为语言社区提供了自主工具，减少对外部标注服务的依赖。
AMALIA 在权威道德基础编码任务中与人类标注者的一致性达到竞争力水平，提示 9B 参数规模模型在特定语言与任务上可匹敌人类标注。需注意一致性不等于准确性，且任务单一，泛化性待验证。下一信号：在更多道德基础维度（如关怀、公平）及跨领域任务上的表现。
公共资助的国家语言模型可成为数据标注基础设施，降低对商业 API 的依赖，尤其对低资源语言社区。这或推动主权 AI 在数据生产环节的自主化。下一信号：葡萄牙或其他国家是否将 AMALIA 纳入官方数据标注流程。
对依赖多语言数据标注的企业，AMALIA 提供低成本、本地化的替代方案，减少对外部供应商的依赖，并可能提升数据标注的文化适配性。下一信号：是否有商业实体采用 AMALIA 进行生产级标注。
若 AMALIA 在更多任务上验证有效，可能催生更多国家或地区训练类似规模的语言模型用于本地化数据标注，改变数据标注市场格局。下一信号：其他低资源语言社区是否跟进。