ConlangBench: Exploring Language Knowledge and Learning in LLMs through Diverse Constructed Languages
ConlangBench 是首个大规模基准，用于在 21 种现有构造语言上评估和训练 LLM，收集了超过 2100 万条构造语言-英语平行句对（包括 20 种非世界语构造语言的 43 万条句对）和 32.1 万条词汇条目。双向翻译实验发现，模型在后验构造语言上表现更好，其词汇源自自然语言。训练实验表明，模型能学习所有 8 种具有足够平行语料的构造语言，学习曲线因构造语言的创造方式而异。
Development
- First ReportConlangBench: Exploring Language Knowledge and Learning in LLMs through Diverse Constructed LanguagesarXiv cs.CL
- Current Assessment该研究为 LLM 的低资源语言处理能力提供了新的评估方法，可能推动多语言模型的发展。构造语言作为测试平台，有助于揭示 LLM 语言学习的通用机制，对多语言 AI 系统的设计有潜在影响。Agent Pulse · analysis
ConlangBench 是首个大规模基准，用于在 21 种现有构造语言上评估和训练 LLM，收集了超过 2100 万条构造语言-英语平行句对（包括 20 种非世界语构造语言的 43 万条句对）和 32.1 万条词汇条目。双向翻译实验发现，模型在后验构造语言上表现更好，其词汇源自自然语言。训练实验表明，模型能学习所有 8 种具有足够平行语料的构造语言，学习曲线因构造语言的创造方式而异。
该基准提供了大规模平行语料，可用于研究 LLM 的低资源语言学习能力。实验表明，模型在后验构造语言上表现更好，这可能是因为其词汇与自然语言相关。训练实验显示，模型能学习所有 8 种具有足够语料的构造语言，但学习曲线因构造语言的创造方式而异，这为理解 LLM 的语言习得机制提供了新视角。
该研究为 LLM 的低资源语言处理能力提供了新的评估方法，可能推动多语言模型的发展。构造语言作为测试平台，有助于揭示 LLM 语言学习的通用机制，对多语言 AI 系统的设计有潜在影响。
该基准可用于评估和提升多语言模型的性能，对面向多语言市场的 AI 产品有直接价值。它可能帮助开发者优化低资源语言的翻译和生成能力，降低多语言服务的成本。
未来可能扩展更多构造语言和任务类型，进一步探索 LLM 的语言学习边界。该基准可能成为评估多语言模型的标准工具，推动低资源语言处理技术的进步。