5月17日消息，苹果与多国高校及研究院联合发布最新成果，揭示了大语言模型存在的“英语思维定式”问题，并提出创新解决方案。注意到，科研人员中不乏中国学者的存在。

研究人员针对非英语语种输出中普遍存在的语法与词汇偏差问题展开了深度剖析，测试覆盖中文、法语、英语语料。

测试发现，即使专为中文优化的 Qwen 模型，其母语表现仍落后人类水平；Meta 的 Llama3.1综合表现最佳，但自然度仍存在显著差距；所有模型在非英语输出中均残留英语语法结构。

换句话说，即使模型在用中文或法语进行对话，但它仍在用英语进行“思考”，而且非英语输出仍然遵循类似英语的语法和词汇模式。

针对大语言模型的遣词造句，研究团队提出两项量化指标：

词汇自然性：评估 LLM 用词是否符合母语习惯

句法自然性：检验 LLM 语句是否贴合本土语法

为了缩小差距，研究人员通过“回译法”自动生成训练样本，将人工撰写的流畅中文内容先翻译成英文，再逆向翻译成带有 "翻译腔" 的“反面”样本。利用这类对比数据训练模型加强自然表达能力，在保持基准性能的前提下显著改善语言输出质量。

论文地址：

https://ARxiv.org/abs/2410.15956