How Do Language Models Understand Tables? A Mechanistic Analysis of Cell Location¶

会议: NeurIPS2026
arXiv: 2602.08548
OpenReview: https://openreview.net/forum?id=Fyw87Kl3h1
论文: https://arxiv.org/abs/2602.08548
领域: 可解释性
关键词: 表格理解、机制可解释性、激活修补、线性探针、旋转位置编码

一句话总结¶

本文系统拆解了大语言模型执行表格单元格定位的内部机制，证明其遵循“语义绑定 $\to$ 坐标定位 $\to$ 信息迁移”三阶段流水线，揭示坐标定位依赖离散分隔符计数构建的隐式坐标系，且列索引被编码在支持向量算术与多头复用并行的线性子空间中。

研究背景与动机¶

随着大语言模型（LLM）被广泛应用于表格问答、表格检索与结构化推理等下游场景，表格已被视作一种极为关键的结构化数据模态。然而，现行 Transformer 架构天然设计用于处理一维线性序列，若要处理表格，必须先将其二维网格展平成带特定格式的离散文本序列（如 Markdown 的管道符 | 或逗号分隔符）。虽然工业界和学术界提出了大量的提示工程、思维链分解以及基于合成表格的监督微调与强化学习算法来改善表格性能，但模型究竟如何在内部跨越一维线性输入与二维空间几何结构之间的鸿沟，其底层因果机制与表征演变过程一直处于黑盒状态。

既有的机制可解释性工作主要集中在事实回忆、间接宾语识别（IOI）或命题逻辑归纳等自然语言与逻辑推理任务中，这些任务通常围绕语义关联或抽象符号替换展开，模型无需遵循严格的网格空间几何坐标。而在表格理解中，模型不仅需要将自然语言查询中的语义约束与表头进行概念对齐，更必须在扁平化的序列中准确导航行列交叉点的相对几何位置。如果缺乏对内部表征与注意力回路的因果分析，研究者便无法知晓模型到底是真正构建了二维空间表征，还是仅靠浅层的序列长度偏置或统计共现。

为打破这一盲区，本文选取了表格理解中最基础且最具代表性的原子任务——单元格定位（Cell Location），即给定目标行表头和列表头约束，在序列化表格中检索交叉点数值。这一任务剥离了复杂的数值计算与常识推理，完整保留了语义对齐与空间坐标导航的协同过程。本文的核心 idea 是：利用因果激活修补与线性探针技术将表格理解分解为“语义绑定、坐标定位、信息迁移”三阶段因果流水线，并证明模型并非依据绝对字符距离，而是通过自注意力机制对离散分隔符进行顺序计数来维护隐式坐标系，且列表头索引在残差流中呈现高度规整的线性子空间几何特性。

方法详解¶

整体框架¶

单元格定位的端到端机制可形式化为一个分层演进的动态计算流。输入序列由一维线性化表格 $x_{table}$ 与查询问句 $x_{query}$（包含目标行约束 $r$ 与列约束 $c$）构成。在整个前向传播过程中，模型逐步完成从文本语义约束到空间相对坐标、最终到目标值解码输出的计算重塑。整体架构划分为三个串行的因果阶段：早期的语义绑定（Semantic Binding）、中期的坐标定位（Coordinate Localization）以及晚期的信息迁移（Information Extraction）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入序列<br/>一维序列化表格 + 行列约束查询"] --> Des1["阶段1：语义绑定<br/>查询约束与表头的几何投影与注意力对齐"]
    Des1 --> Des2["阶段2：坐标定位<br/>基于分隔符计数的隐式坐标导航"]
    Des2 --> Des3["阶段3：信息迁移<br/>目标单元格内容聚合至末尾Token"]
    Des3 --> Out["最终输出解码<br/>生成目标单元格精确数值"]

关键设计¶

1. 语义绑定：基于专属对齐头的表头与约束对齐

在浅层网络（例如 Qwen3-4B 的第 1-16 层），模型的核心计算任务是将查询中的行约束词 $\mathcal{I}_q(r)$ 和列约束词 $\mathcal{I}_q(c)$ 映射到表格模式定义中的物理表头 $\mathcal{I}_t(r)$ 和 $\mathcal{I}_t(c)$。余弦相似度分析显示，查询词与候选表头的隐状态在浅层迅速收敛至近乎 1.0 的 Top-1 匹配精度。然而因果消融揭示了行列之间显著的机制不对称性：

模型依赖极为稀疏的专用“行对齐头”（Row Alignment Heads）来维护行语义绑定。这些注意力头计算查询行约束与表头之间的注意力偏置： $$S^{(l,h)} = \frac{1}{|\mathcal{I}_q|} \sum_{i \in \mathcal{I}_q} \left( \sum_{j \in \mathcal{I}_{tgt}} Att^{(l,h)}_{i,j} - \frac{1}{|\mathcal{I}_{dist}|} \sum_{k \in \mathcal{I}_{dist}} Att^{(l,h)}_{i,k} \right)$$ 当对 Top-20 行对齐头进行零消融（Zero Ablation）后，模型预测准确率发生灾难性坍塌（由 94.4% 骤降至 5.2%），且绝大多数错误转化为行错误（Wrong Row，比例高达 29.4%）。与此相反，消融 Top-20 列对齐头仅使准确率微跌 6.6%，表现与随机消融无异。这证明行定位在早期必须通过显式的语义注意力指针锚定，而列定位在早期并不依赖强烈的语义注意力权重，而是准备移交至更底层的几何坐标编码。

2. 坐标定位：由离散分隔符计数驱动的隐式坐标系

进入中间层（第 17-23 层），因果修补效应（Effect Score）决定性地从表头标记转移至目标单元格的具体区域 $\mathcal{I}_t(v_{r,c})$。在此阶段，模型完全脱离了语义匹配，转而操作序列的相对结构。线性探针评估显示，中间层残差流对列坐标预测的判定系数 $R^2$ 高达 0.954，对行坐标的 $R^2$ 达到 0.809。

深入分析表明，模型内部维持着一个离散的计数器机制。探针预测的列索引在每一行内呈现出典型的“锯齿波”（Sawtooth Pattern），即在行内随 token 逐步线性递增，一旦遇到行末边界分隔符则瞬间归零并开启下一行；而行索引则呈现纯粹的阶梯函数（Stepwise Function）。更关键的是，探针在管道分隔符（|）上的 $R^2$ 精度早在前 5 层就已超越 0.95，而单元格文本内容的探针则显著滞后直至第 15 层才达峰。分隔符位置的 Top-20 坐标编码头在激活修补中取得了 0.958 的极高因果效应分数，而单元格内部的激活修补效应仅为 0.025。这严格确立了分隔符作为坐标同步脉冲的因果始发地位：模型通过顺序统计结构分隔符来推导空间序号，随后才将计算出的坐标广播给单元格内部 token。

3. 信息迁移：高层信息搬运头与多单元格并行复用

在深层网络（第 24 层及以上），中间层已成功解析出目标交叉点的具体空间状态，计算重心转化为将目标值提取并写入序列末尾。末位 token 的注意力头因果修补表明，存在少数专用“信息搬运头”（Information Mover Heads），它们在超过 70% 的样本中将压倒性的注意力权重集中分配给被定位到的目标单元格 $\mathcal{I}_t(v_{r,c})$，完成最终解码前的特征提取。

更为精妙的是，该机制表现出高度的线性算术特征与多任务并行性。通过提取相邻列激活均值差定义的单位位移向量 $\vec{v}_{unit}$，在残差流中施加偏置 $\tilde{\mathbf{h}} = \mathbf{h} + k \cdot \alpha \cdot \vec{v}_{unit}$，可以精准将模型的关注力向右（$k>0$）或向左（$k<0$）刚性平移 $k$ 列。复合向量 $\vec{v}_{comp} = \vec{v}_a + \vec{v}_b$ 的导向效果与目标步长 $k=a+b$ 的基线向量完全等价（如 $1+3$ 与 $+4$ 均取得接近或超越 1.1 的因果效应），证明列索引被嵌入于一个局部欧几里得的线性子空间。当面对多行或多列查询时，模型无需递归多步推理，而是利用相同的行列对齐头与坐标编码头，在单次前向传播中通过叠加态自注意力与多模态对角激活，并行完成多目标的端到端定位。

损失函数 / 训练策略¶

本研究侧重于预训练开权重语言模型的后验机制分析与因果干预评估，未引入外部微调参数。探针训练采用岭回归（Ridge Regression），在残差流隐藏状态 $\mathbf{h}_i^{(l)} \in \mathbb{R}^d$ 上拟合归一化几何坐标 $z_i \in [0, 1]$： $$\mathcal{L}(\mathbf{W}_p, \mathbf{b}_p) = \sum_{i=1}^N \left( z_i - (\mathbf{W}_p \mathbf{h}_i^{(l)} + \mathbf{b}_p) \right)^2 + \lambda \|\mathbf{W}_p\|_2^2$$ 其中正则化超参数固定为 $\lambda = 1.0$。数据严格按 80% 训练与 20% 留出评估集划分。

实验关键数据¶

主实验¶

实验在 500 个严格去污染的合成表格基准上展开，表格行列规模均匀分布在 $[4, 20]$ 区间内，单元格取值随机采样自 83 个互不相交的语义实体池，彻底阻断参数化记忆。基准评估了 Qwen 与 Llama 两个主流开源架构多尺度模型的原子单元格定位 Exact Match（EM）表现。

模型	参数量	架构层数	预训练位置编码	原子单元格定位 EM (%)
Qwen3-0.6B	0.6B	28	RoPE	38.8
Llama-3.2-3B	3.2B	28	RoPE	52.8
Llama-3.1-8B	8.0B	32	RoPE	70.0
Qwen3-4B	4.0B	36	RoPE	90.0
Qwen2.5-32B	32.5B	64	RoPE	98.0

消融实验¶

通过对注意力头功能与几何表征的精细干预，定量验证因果链条在各阶段的核心地位：

评估阶段与干预设置	干预组件/位置	测量指标	实验数值	机制解释与结论
阶段 I：行语义消融	Top-20 行对齐头	Exact Match (%)	94.4 $\to$ 5.2	行语义绑定中断，错误大量流向 Wrong Row (29.4%)
阶段 I：列语义消融	Top-20 列对齐头	Exact Match (%)	94.4 $\to$ 87.8	仅轻微下降 6.6%，列信息主要靠空间几何而非强语义注意力
阶段 I：随机基线消融	随机 20 个注意力头	Exact Match (%)	94.4 $\to$ 80.6	下降 13.8%，Wrong Row 率仅 11.0%，显著区别于行对齐头消融
阶段 II：坐标探针峰值	第 17 层残差流 (列/行)	判定系数 $R^2$	0.954 / 0.809	模型在线性残差空间中显式维护高保真度的坐标回归器
阶段 II：坐标头因果修补	单元格文本位置	Effect Score	0.025 (列) / 0.006 (行)	单元格内部状态属于下游被动接受者，非因果源头
阶段 II：坐标头因果修补	分隔符标记位置	Effect Score	0.958 (列) / 0.527 (行)	分隔符在因果上绝对主导了空间坐标的计算与流转
阶段 II：噪声注入实验	目标前插入结构标记 (`\\|`)	单元格定位准确率 (%)	72.6 $\to$ 26.2	破坏分隔符计数器序数，导致坐标偏移与精度骤降
阶段 II：噪声注入实验	目标前插入同等长度字符	单元格定位准确率 (%)	66.5 $\to$ 68.0	字符长度变化对计数无干扰，证实计数为距离无关的序数计数
阶段 II：向量线性合成	目标偏移 $k=+4$ (基线)	Effect Score	1.079	目标跨度 $+4$ 直接提取的方向向量导向强度
阶段 II：向量线性合成	复合向量 $\vec{v}_{+2} + \vec{v}_{+2}$	Effect Score	1.238	向量加法不仅精确保真，甚至展现出正向相长干涉特性

关键发现¶

分隔符是坐标系统的主脉冲：探针与因果修补双重证实，坐标表征在分隔符上产生并率先收敛（$R^2>0.95$ 发生在前几层），随后单向广播至单元格。若在序列中人为插入扰动字符（长度变化），模型准确率几乎恒定；但若插入额外的管道符，定位准确率瞬间跌至 26.2%，表明模型依赖离散序数计数而非相对距离。
列索引构成局部欧氏子空间：列偏移向量具备严格的加法可分解性与平移不变性。使用合成向量 $\vec{v}_a + \vec{v}_b$ 能高度复现任意目标步长 $k=a+b$ 的导向效果，为通过表征干预无损操纵大模型注意力焦点提供了理论支点。
跨架构机制分流（Qwen vs. Llama）：Qwen 系列在中间层充分利用表格 token 的残差流作为计算状态的中继暂存器；而 Llama 系列的表格 token 残差流几乎不显现修补效应，而是通过深层注意力头直接向 KV-cache 执行远程负抑制与检索过滤。
多单元格定位无须串行递归：在多行与多列场景下，消融行对齐头导致准确率从 81.8% 崩解至 0.4%，且列坐标头在 RoPE 下呈现完美的多对角响应，证明模型直接复用原子注意力头实现并行的多约束对齐。

亮点与洞察¶

机制解耦的清晰度：将纷繁复杂的表格理解提炼至极简且不失代表性的单元格定位任务，干净利落地完成了三阶段信息流的因果闭环验证。
破解空间表征来源谜题：首次从机制层面证实了“模型如何用一维注意力处理二维几何”，确立了“分隔符计数驱动隐式坐标”的理论范式，打破了先前对模型空间感知依靠序列绝对距离的模糊猜想。
表征工程新范式：列向量在线性子空间中的可叠加性，暗示未来可通过向残差流动态注入引导向量，无需微调即可实现表格注意力的精准控制与结构纠偏。

局限与展望¶

表格形态复杂度受限：实验基于规整且行列数在 20 以内的单层表头合成表格展开，尚未探究层次化多级复合表头（Multi-level Headers）、跨行跨列合并单元格（Merged Cells）等复杂现实表格中的坐标重塑机制。
缺乏多步表格逻辑的回路延伸：原子定位虽然是表格问答的基础，但真正的表上推理通常伴随 argmax、数值聚合（SUM/AVG）及跨表格 JOIN 等复合计算，这些高级操作如何与坐标系统协同仍待后续工作探索。
训练演化动态未明：论文聚焦于成熟预训练模型的后验解剖，隐式坐标系是在通用预训练的哪个数据阶段或特定格式训练中自发涌现的，机制溯源仍属空白。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次针对大模型表格理解开展原子级机制可解释性剖析，发现离散计数与线性子空间规律。
实验充分度: ⭐⭐⭐⭐⭐ 兼顾激活修补、因果消融、线性探针与向量干预，跨 Qwen 和 Llama 多尺度模型进行了严密的交叉验证。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨清晰，定义规范，实验图表论证扎实有力。
价值: ⭐⭐⭐⭐⭐ 为结构化数据建模、模型幻觉抑制与高效表征编辑奠定了极为扎实的机制理论基础。