Grammar Engineering Meets LLMs: Development of Cantonese and Irish ParGram Treebanks
arXiv 论文 2608.07283v1 报告了在 ParGram 项目中开发粤语和爱尔兰语树库的工作，并测试了 OpenAI 的 gpt-oss-120b 模型用于粤语-爱尔兰语翻译和句法结构生成。结果显示翻译性能普遍不理想且不受提示语言影响；结构生成部分有意义，但跨语言抽象任务表现不佳。
发展脉络
- 首次出现Grammar Engineering Meets LLMs: Development of Cantonese and Irish ParGram TreebanksarXiv cs.CL
- 当前判断该研究为 LLM 在语言学研究和语法工程中的应用提供了实证，表明当前模型在专业领域任务中仍有局限。语法工程社区可能需开发专用工具或结合传统方法，而非完全依赖通用 LLM。Agent Pulse · 分析
该论文探讨了语法工程与 LLM 的结合，在 ParGram 平行语法项目中开发粤语和爱尔兰语树库。研究使用 OpenAI 的 gpt-oss-120b 模型进行粤语-爱尔兰语翻译和形式句法结构生成。结果表明，翻译性能普遍不理想，且不受提示语言影响；句法结构生成虽产生一些结构上有意义的输出，但在需要跨语言抽象的任务上表现不佳。尽管如此，LLM 生成的输出可能提供参考价值，如建议替代分析和部分捕获谓词-论元关系。研究强调了 LLM 在协作语法工程中的潜力和局限。
LLM 在跨语言抽象任务上的表现不佳，可能源于其训练目标偏向表面形式而非深层句法结构。粤语-爱尔兰语翻译性能不理想且不受提示语言影响，暗示模型对低资源语言对的泛化能力有限。结构生成的部分成功表明 LLM 能捕捉局部句法模式，但缺乏跨语言一致性。
该研究为 LLM 在语言学研究和语法工程中的应用提供了实证，表明当前模型在专业领域任务中仍有局限。语法工程社区可能需开发专用工具或结合传统方法，而非完全依赖通用 LLM。
对语法工程工具供应商或语言技术公司而言，该研究提示 LLM 在专业语言学任务中的局限性，可能影响产品设计。投资于混合方法或专用模型可能带来竞争优势。
未来可探索针对低资源语言对的专门训练或微调，以及将 LLM 输出作为辅助建议而非最终结果。可验证信号包括：后续研究是否改进跨语言抽象能力，或出现结合 LLM 与传统语法工程的混合工作流。