Diverging Transformer Predictions for Human Sentence Processing: A Comprehensive Analysis of Agreement Attraction Effects¶
会议: EMNLP 2026
论文: ACL Anthology
领域: 可解释性
关键词: 主谓一致吸引, 惊讶度理论, 认知建模, 句法处理, Transformer可解释性
一句话总结¶
通过基于惊讶度的链接机制对11个自回归Transformer进行主谓一致吸引效应评测,揭示出模型虽然在介词短语修饰结构上能复现人类阅读时间模式,但在宾语抽取关系从句中预测严重分歧且违背认知与理论预期,否定了当前Transformer作为人类形态句法处理通用认知模型的充分性。
研究背景与动机¶
基于自回归预测的大语言模型在自然语言处理各任务中取得了压倒性优势,引发了认知科学与心理语言学界的强烈期待:这些在简单下一个词预测目标下训练的深度神经网络,是否自发地捕获了人类语言处理背后的认知表征机制?历史上,循环神经网络(LSTM)在主谓一致吸引(Agreement Attraction)等现象上的成功模拟,曾被视为神经网络具备认知合理性的关键证据。主谓一致吸引是指即使句子在语法上不合规(如主语单数配复数动词),由于修饰成分中插入了复数干扰名词(Attractor),人类读者在动词区域的阅读时间反而显著加快的现象;这种效应精确反映了人类工作记忆中基于线索检索(Cue-Based Retrieval)的非对称存取机制。
然而,现有针对Transformer认知合理性的评测存在严重盲区与方法论局限。一方面,先前的研究绝大多数只检验了结构相对简单的介词短语(PP)修饰结构,并片面关注出现一致吸引的特定构型,忽略了在更多复杂句法结构(如宾语抽取关系从句 ORC)中检验吸引效应的泛化性;另一方面,已有实验大多只测试个别孤立模型(如早期单模态 GPT-2),未系统覆盖不同规模与架构家族,无法区分观察到的效应是模型的通用认知归纳偏置还是个别结构的表面伪相关。
为彻底厘清这一争议,本文切入的角度是对Transformer进行全构型、多模型家族、双句法结构的系统性因果探查。核心 idea:利用基于负对数概率的惊讶度度量作为认知链接机制,在介词短语修饰与宾语抽取关系从句两种句法结构下对覆盖4个家族的11个自回归Transformer进行全构型(2×2×2设计)和多层级回归分析,揭示模型在跨句法结构下的预测分歧与认知断层。
方法详解¶
整体框架¶
本文构建了一套心理语言学严格对照实验流程,使用从人类自测阅读时(Self-Paced Reading, SPR)经典基准(Wagers et al., 2009)中抽取的严格对照刺激集,将自然语言输入以严格的左到右自回归因果推断方式喂入语言模型中。通过惊讶度链接假设(Surprisal Theory),将模型在关键动词位置上的局部负对数概率与人类阅读时间建立线性对应关系;最后通过条件配对检验、双非对称性线性回归与跨模型全局混合效应模型三层统计检验,定量评估Transformer对人类主谓一致吸引模式的模拟程度。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["心理语言学刺激输入<br/>PP修饰结构 (192句) / ORC关系从句 (384句)"] --> B["自回归因果推断与分词对齐<br/>11个预训练模型 (124M-4B)"]
B --> C["关键动词惊讶度度量<br/>逐token求和聚合局部信息量"]
C --> D["三层级统计分析架构<br/>配对t检验 + 细粒度回归 + 全局混合模型"]
D --> E["认知保真度与预测一致性评估<br/>PP结构高度对齐 / ORC结构严重分歧"]
关键设计¶
1. 认知链接机制与目标动词惊讶度度量:建立模型概率与人类加工难度的桥梁
为了将自回归模型的输出与人类阅读时间建立量化关联,本文采用了心理语言学经典的惊讶度理论(Surprisal Theory)。在该假设下,读者在某个词 \(w_i\) 上的在线加工困难度与其在前面上下文 \(w_0 \dots w_{i-1}\) 下的条件概率呈负对数线性关系。在严格的左到右自回归因果约束下,模型在目标动词位置上的惊讶度计算公式为:
当分词器将关键动词切分为多个子词(Sub-word Tokens)时,系统通过对该动词所拆出的全部子词惊讶度求和得到整词总惊讶度,从而保证跨分词算法的度量一致性。由于评测刺激词汇均为高频常用动词,子词切分引入的惩罚偏差被降至最低。
2. 2×2×2 全因子正交实验设计:系统覆盖全部理论与控制构型
先前研究仅在可能产生吸引的孤立条件下验证模型,极易导致假阳性结论。本文在两种核心句法结构中完整实施了 \(2 \times 2 \times 2\) 的因子设计:包含主语单复数(Singular / Plural)、语法合规性(Grammatical / Ungrammatical)以及干扰名词单复数匹配带来的理论吸引条件(No Attraction / Attraction)。
具体而言,实验涵盖两种典型句法实现: - 介词短语修饰结构(Experiment 1: PP-Modifier):主语与谓语动词位于主句,干扰名词嵌入在依附于主语的介词短语中(例如:The slogan on the poster(s) unsurprisingly was/were designed...); - 宾语抽取关系从句(Experiment 2: Object-extracted Relative Clause, ORC):受控主语与谓语动词属于从句内部,主句主语作为先行词充当从句前的干扰名词(例如:The marine(s) who the officer(s) want(s) to promote...)。
在人类心理语言学行为中,吸引效应严格具有两种非对称性:单复数非对称性(仅在单数主语时出现促进,复数主语时不存在)与语法非对称性(仅在非语法句中出现对错误动词的误认促进,合法句中不存在干扰)。
3. 多层级统计回归与模型家族全景评测:剔除单模型偶然性
为防止从单个模型架构中产生过度概括,本文选取了4个代表性开源模型家族的11款不同参数量级(124M至4B)的预训练 Foundation 模型,涵盖单语言模型(OpenAI-GPT, GPT-2 系列)与多语言模型(Bloom 560M/1.7B/3B, XGLM 564M/1.7B/2.9B, Gemma-3 1B/4B)。
在统计分析上,本文建立了从细粒度到群体水平的三层检验架构: 1. 单模型构型配对 t 检验:逐一检验各模型在理论可能产生吸引的对照组之间是否存在显著的惊讶度降差(促进)或升差(抑制); 2. 构型级线性回归(Per-configuration Regression):以句子项(Item)和模型(Model)为交叉随机截距,检验各构型下群体层面是否复现人类的单复数与语法非对称性; 3. 全局层级混合效应回归(Global-level Mixed Effects Model):引入模型参数量(以 \(\log_{10}\) 参数量中心化后的连续变量 \(n_{par}\))、语法性、主语数、吸引条件及全部多路交互项,解耦模型容量与架构对惊讶度动态模式的系统影响。
训练策略¶
实验直接评估未经特定下游任务微调或人类反馈对齐的开源基座模型(Foundation Models),确保所测得的语言预测分布完全源自大规模因果语言建模(Next-token Prediction)的自监督预训练过程。
实验关键数据¶
主实验¶
针对 Experiment 1(介词短语修饰)与 Experiment 2(宾语抽取关系从句)中关键动词的平均惊讶度及不同语法构型下的响应表现:
| 句法结构 | 句子数 / 样本观测数 | 合法语动词平均惊讶度 | 非法动词平均惊讶度 | 单数非语法吸引效应 (\(\hat{\beta}\)) | 人类行为一致性 |
|---|---|---|---|---|---|
| PP-Modifier (Exp 1) | 192 句 (24 sets) / 1056 观测 | 5.5 bits | 11.3 bits | -2.38 bits (\(t=-22.92^{***}\)) | 高度一致 |
| ORC (Exp 2) | 384 句 (48 sets) / 2112 观测 | 11.2 bits | 16.5 bits | -1.03 bits (\(t=-5.27^{***}\)) | 严重失真/预测分歧 |
细粒度非对称性回归分析表¶
| 句法实验与受控子集 | 核心因子项 / 交互项 | 估计系数 (\(\hat{\beta}\)) | 标准误 (Std. Error) | \(t\) 值 | 结论与心理语言学对应 |
|---|---|---|---|---|---|
| Exp 1 (PP) 单数主语 | ungram (非语法基线) | +7.2202 | 0.1076 | 67.08 | 语法破坏带来巨大的惊讶度惩罚 |
| Exp 1 (PP) 单数主语 | ungram \(\times\) attr | -2.2620 | 0.1522 | -14.86 | 存在显著的人类式主谓一致吸引促进 |
| Exp 1 (PP) 复数主语 | ungram \(\times\) attr | -0.3453 | 0.1249 | -2.76 | 复数时吸引效应急剧缩减(符合人类弱不对称) |
| Exp 2 (ORC) 单数从句主语 | ungram \(\times\) attr | -1.0312 | 0.1958 | -5.27 | 存在微弱的非语法吸引效应 |
| Exp 2 (ORC) 复数从句主语 | attr (合法句吸引项) | -0.8139 | 0.1140 | -7.14 | 伪促进效应:合法语境下意外出现无理由促进 |
| Exp 2 (ORC) 复数从句主语 | ungram \(\times\) attr | +0.2673 | 0.1613 | +1.66 | 交互作用不显著,无法维持合法性非对称性 |
关键发现¶
- 介词短语修饰上的高保真度:在介词短语修饰结构中,全部11个模型在单数非语法构型中均稳定输出了显著的吸引促进效应(惊讶度平均下降 2.4 bits),且语法合规句中均未出现虚假促进,模型群体高度复现了人类的非对称性特征。
- 关系从句中的预测彻底分歧:在结构更复杂的宾语抽取关系从句中,各模型预测结果高度混乱。除 Bloom 560M 以外的所有模型均在复数主语的合法语境(e/f 条件)下预测出显著的虚假促进效应(理论预期应为无效应或轻微抑制干扰),且不同模型家族的走向剧烈分化(XGLM甚至在经典单数非语法构型中无法检出吸引效应)。
- 模型参数缩放无法修正认知断层:全局回归分析表明,增加参数量(\(n_{par}\))虽然能普遍降低平均惊讶度并轻微拉大合法语与非法语之间的区分边界,但并不能消除 ORC 中的伪吸引错误预测。较大模型(如 Gemma-3 4B)的偏差反而比小型单语言模型更为剧烈。
亮点与洞察¶
- 打破单构型评测假象:研究通过同时引入 PP 修饰与 ORC 关系从句的双结构对比,证明仅在单一简单句法结构上得出“Transformer完美模拟人类句法处理”的结论具有严重的局部欺骗性。
- 认知层级机制的本质差异:人类句子处理中的一致吸引源自工作记忆容量受限条件下的线索驱动检索(Cue-based Retrieval);而 Transformer 依赖全上下文无记忆衰减的自注意力机制。计算层面的下一个词预测目标相同,并不意味着算法层与实现层的一致性。
- 多模型族谱横向可比性:同一模型家族内部(如 Bloom 系列内部、XGLM 系列内部)展现出了高于跨家族的预测相关性(0.93-0.98),揭示出训练配方与架构归纳偏置对局部心理语言学特征塑造的深远影响。
局限与展望¶
- 语言范围局限:实验刺激与人类自测阅读时数据仅限于英语,未在具有更丰富屈折形态学系统(如西班牙语、俄语、德语)的多语言语境中交叉验证。
- 语料表面错误共振假说未完全解耦:模型表现出的部分吸引效应可能单纯源于网络预训练语料中存在人类笔误的主谓不一致共现模式,而非模型内部具备真正的句法表征偏置,语料频次与认知偏置的因果解耦留待未来进一步探究。
- 模型架构覆盖度:研究受限于单向自回归 Mid-sized 模型,未覆盖具有更长上下文或递归结构演进的最新状态空间模型(SSM)与混合架构。
相关工作与启发¶
- vs Wagers et al. (2009): 心理语言学行为研究确立了人类在英语中只在单数主语非语法条件下出现鲁棒一致吸引的非对称定律。本文通过计算模拟证实,Transformer无法在复杂句法环境下自发维持这种精细的认知非对称性。
- vs Linzen et al. (2016) & Arehalli and Linzen (2020): 早期工作发现循环神经网络(LSTM)能自发拟合主谓吸引错误。本文扩展到了Transformer架构全家族,指出自注意力机制并未普遍解决认知保真问题,反而对句法层级敏感性表现出脆弱的结构泛化瓶颈。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 首次针对Transformer在复杂句法关系从句中的主谓吸引效应实施多家族、全构型、多层级回归探查。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖4个家族11个模型,结合严格的2×2×2正交设计与交叉随机效应统计回归。
- 写作质量: ⭐⭐⭐⭐⭐ 论证严密自洽,心理语言学理论与计算语言学度量衔接极佳。
- 价值: ⭐⭐⭐⭐⭐ 为大语言模型的认知 plausibility 评测树立了避免以偏概全的严谨实验方法论范式。