Do Large Language Models Grasp The Grammar? Evidence from Grammar-Book-Guided Probing in Luxembou...
一、文章主要内容总结本文聚焦低资源语言(以卢森堡语为例),探究大型语言模型(LLMs)是否真正掌握语言语法,而非仅依赖表层翻译模式。核心内容如下:研究背景:现有NLP领域缺乏系统的语法评估协议,低资源语言相关研究尤为匮乏;LLMs的翻译性能常以流畅度和语义准确性衡量,但无法反映其对目标语言语法规则的遵守程度,且其语法理解能力(尤其是句法与语义的映射关系)存在争议。核心方法:提出“语法书引导(Grammar-Book–Guided)”的评估 pipeline,包含四个关键模块:材料检查器(Material Inspector):从语法书中提取语法现象和错误模式;表述工作室(Phrasing Atelier):提炼语法内容,生成受控语言对句子;双生锻造器(Twin Forge):反向验证并构建语法理解评估的最小对句;验证平台(Proof Stand):设计四类语法任务(句子-多语法匹配、语法-多句子匹配、多句子-多语法匹配、最小对句正误判断)评估模型语法能力。实验设计:构建包含673个语法点、2040个例句的数据集(MIXED),结合FLORES200和长句数据,选取GPT-5、Gemma、Llama、Qwen系列等主流模型,采用CometScore、spBLEU、ChrF++等翻译指标及准确率评估语法任务表现。关键发现:翻