Attention is Case-Sensitive¶

会议: ECCV 2026
Paper: https://eccv.ecva.net/virtual/2026/poster/3409
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/1330.pdf
领域: 多模态VLM
关键词: 大小写敏感性、注意力分配、提示干预、视觉定位、推理缓冲

一句话总结¶

本文通过13个模型的受控大小写干预发现：大写或交替大小写能吸引注意力，但交替大小写可能同时降低准确率；在VLM中，局部目标聚焦还伴随整体图像注意力流失，因此不能把注意力增强等同于理解改善。

研究背景与动机¶

人类阅读时，大写字母常从小写背景中突出。语言模型并不直接“看见”这种字体差异，而是处理离散token，因此问题不是它是否具有人的视觉知觉，而是预训练是否让大小写成为一种隐含的重要性线索。已有PASTA、AutoPASTA等方法显式重标定注意力，激活引导方法则修改内部表示；本文关注一个更基础的问题：不改参数、不插入运行时干预，仅改变输入表面形式，注意力会怎样变化？

这个问题需要把内部读数与最终行为分开。若正确答案被格式突出后得到更高权重，不能立即认定模型理解更好，因为非自然的拼写形式也可能增加处理困难。视觉语言模型还多一层歧义：目标框里的关注变多，可能与模型对整张图像的关注变少同时发生，局部热图看起来更集中并不意味着视觉证据得到更多利用。

作者因此把工作定位为现象刻画，而不是可直接部署的提分算法：用数据集真值指定需要改写的目标，尽量消除目标选择错误，再比较不同大小写组合。核心 idea：将目标与上下文的大小写对比作为可控输入变量，同时观察目标注意力、文本任务准确率以及视觉模态预算，检验“显著性”与“任务效用”是否真的一致。

方法详解¶

整体框架¶

研究输入是文本样本及真值答案片段，或图像、目标标签及其真值框；输出不是新模型，而是一组相对自然大小写基线的注意力与性能变化。协议依次进行真值目标对齐、大小写对照干预、冻结模型推理和双层读数分析，并以跨模型比较检验边界条件。下图描述的是实验流程，不是作者提出的多模块神经网络。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["文本或图文样本<br/>及真值标注"] --> Align["真值目标对齐"]
    Align --> Cases["大小写对照干预"]
    Cases --> Frozen["冻结模型推理<br/>自然大小写作基线"]
    Frozen --> Readout["双层读数分析"]
    Readout --> Boundary["跨模型边界检验"]
    Boundary --> Output["注意力与效用<br/>是否一致"]

关键设计¶

1. 真值目标对齐：先排除“强调错对象”的混杂因素

文本目标来自基准答案标注，先做不区分大小写的精确匹配，覆盖98.2%的样本；剩余1.8%使用Levenshtein距离对齐，阈值为至多2次字符编辑，并以100个样本的人工核验检查对齐质量。变换只作用于字母，保留标点、数字、空白与词序。像iPhone这样的混合大小写实体按整个目标片段处理，例如改为IPHONE，而不是保留其原有品牌拼写。

视觉实验则把目标物体标签嵌入通用描述模板，把标签字符串作为待改写片段，并用对应真值框界定关注区域；图像本身不变。这使“格式变化是否改变关注”成为可比较的问题，但真值选择本身携带答案相关信息。因此结果是已知目标条件下的受控证据，不能当成未知答案场景下可直接获得的零样本提分。

2. 大小写对照干预：区分绝对大写与相对突出

作者构造5类、共15种静态规则。U类把全部输入统一为大写、小写或词首大写；TE类把目标全大写，背景分别为小写、交替大小写或自然形式；TT类把目标改为词首大写，背景分别为大写、小写或自然形式；TA类让目标交替大小写，背景分别为大写、小写或自然形式；ADE类反过来让目标小写，背景分别为大写、交替大小写或自然形式。这个交叉设置很重要：如果仅测试“把目标大写”，无法知道效果源自目标本身还是目标与背景之间的对比。

TE1是“大写目标、小写背景”，TA2是“交替大小写目标、小写背景”，TE2则把大写目标放进交替大小写背景。它们分别检验常规强调、非自然显著性和背景竞争；ADE1将目标小写而背景大写，用来观察强调方向反转后的变化。原文用逐字符小写化不变来表达词面约束；以下以等价、可读的符号重写该条件：

\[ \operatorname{lower}\!\left(T_C(X)\right)=\operatorname{lower}(X). \]

这里\(T_C\)只执行预先确定的大小写规则。这保证的是忽略大小写后的字符串相同，不保证模型token序列、token数或所有语言中的语义严格不变。原文一处称保留token边界，随后又承认token ID与数量可能变化；应理解为没有主动改空格或词结构，而不是已经排除了分词影响。

3. 双层读数分析：注意力强度与任务效用分别测量

文本侧把目标片段的平均注意力作为内部读数，并比较冻结模型的任务准确率。方法节将注意力描述为跨层、跨头聚合，图1还说明先按token平均、再聚合到词级；不过本地缓存没有完整的实现与附录，因此不能进一步断言具体查询位置、生成步聚合方式或分母细节。笔记保留作者报告的指标与变化量，不补造一个看似精确的实现公式。

视觉侧必须同时读两种量：微观上，关注是否向真值框区域集中；宏观上，整张图像获得的注意力是否减少。作者把前者解释为剩余视觉预算的目标对齐，把后者称为视觉脱离，即注意力从图像转向文本提示。两者基线和归一化口径不同，不能相加，也不能把目标区域注意力的相对增加当成定位准确率提升。按通常差值记法，本文涉及的绝对变化和相对变化可区分为：

\[ \Delta m_{\mathrm{pp}}=100(m_C-m_0),\qquad \Delta m_{\mathrm{rel}}=100\frac{m_C-m_0}{m_0}\%. \]

其中\(m\)表示同一口径下以比例表示的读数；上式只是解释单位，不是补写原文缺失的注意力提取算法。“视觉脱离”以减少量为正向表述，因而与整图注意力变化的符号相反。尤其不能直接用跨模型平均绝对变化去重算作者逐项汇总的平均相对百分比。

4. 跨模型边界检验：把推理模式和模态当作检验条件

实验覆盖13个模型：7个非推理LLM、2个推理LLM、2个非推理VLM和2个推理VLM，参数规模为1B至20B，涉及LLaMA、Gemma、Mistral、Qwen和GPT家族。所有模型使用同一套干预规则，不做逐模型调参，并与各自自然大小写基线比较。不同分词器下出现一致方向，能削弱“只是某一个分词器的偶然现象”这一解释，却不等于证明分词机制完全不参与。

这个比较最有信息量的地方是推理模型并非在所有模态上都更稳。纯文本中的thinking过程对表面形式较不敏感，作者称之为“推理缓冲”；视觉推理模型却可能更依赖文本连贯性，在异常大小写下进一步减少视觉输入权重。这是模型组之间的经验差异，尚不是对同一模型开关推理过程后的因果中介证明。

一个完整示例¶

用一个说明性短语the red car is beside a tree，假设真值选中的目标是red car。TE1得到the RED CAR is beside a tree，TA2得到the rEd CaR is beside a tree，ADE1得到THE red car IS BESIDE A TREE。这些字符串只是帮助理解规则，不是论文新增的实验样本或结果。

若该短语描述一张图，3种输入使用同一图像和同一目标框。接下来不能只看目标框热图是否更亮，还要同时查看整图注意力是否流失；如果局部更集中而整体视觉预算变少，合理结论是跨模态分配改变，而不是模型必然更会定位车辆。文本任务同样需要单独检查输出答案，不能从目标权重上升推出答对。

损失函数 / 训练策略¶

本文没有新增损失函数、微调或参数更新，干预发生在分词前，模型保持冻结。文本基准为MMLU-Pro、ARC-Challenge和SQuADv2，视觉基准为RefCOCOg。作者所说“不需要模型访问”适用于实施大小写改写本身；研究内部注意力与Grad-CAM可视化仍需要观测能力，不能把测量过程理解为仅靠黑盒输出即可完成。

实验关键数据¶

主实验¶

下表取自Qwen2.5-7B-Instruct的主文分析及图2。数值均为相对自然大小写基线的百分点变化（pp），不是相对增长率；主文未提供这些汇总读数对应的完整绝对分数。

规则	目标 / 背景	目标注意力变化（pp）	任务准确率变化（pp）
TE1	全大写 / 全小写	+2.05	+1.85
TA1	交替大小写 / 全大写	+2.44	-2.88
TA2	交替大小写 / 全小写	+2.75	-2.60
TA3	交替大小写 / 自然形式	+2.77	-2.83

最醒目的不是哪个设置分数最高，而是排序反转：TA3比TE1吸引更多注意力，却使准确率下降。原文将TA称为“破坏性吸引子”，把TE式全大写强调称为“有效吸引子”；这是本实验中的行为归纳，不是所有任务都适用的提示规则。

消融实验¶

本文没有可拆卸的训练模块，大小写对照与跨模态分析就是核心消融。下表整理4个VLM在RefCOCOg上的主文汇总；“视觉脱离”是整图关注相对减少的幅度，不是定位失败率。

干预汇总	目标区域注意力变化（pp）	整图注意力变化（pp）	相对视觉脱离
主文总体均值	+1.55	-1.85	12.41%
TA家族	+2.84	未在主文此处给出	24.22%
TE家族	+1.77	未在主文此处给出	21.12%
TE2	未在主文此处给出	-4.11	33.35%

总体目标区域注意力的相对增加为23.08%，与表中的+1.55 pp是不同单位。TE2让背景交替大小写，整图注意力流失最大；Qwen3-VL-2B-Thinking在该设置下的相对视觉脱离达到43.74%。这说明视觉场景中的主要变化可能是模型转向文字，而非更有效地利用图片。

关键发现¶

非推理LLM中的大小写效应跨所测模型与分词器出现，但不能把这个有限样本结论扩大为所有Transformer的定理。原文报告全大写目标强调的平均准确率增益最高达到+8.95 pp，而LLaMA-3.1-8B-Instruct的交替大小写设置最大损失达到-13.96 pp。
文本推理模型的准确率变化通常低于±0.5 pp；视觉推理模型却呈现更强的宏观视觉脱离。这一边界条件比“多思考总能消除格式影响”更精确。
VLM在家族汇总上保留TA强于TE的趋势，但个体模型的空间响应不整齐。Gemma-3-4B-IT在TA1下的目标区域注意力变化峰值为+6.23 pp，不能据此宣称4个VLM都具有同一细粒度排序。

数据边界：本地缓存止于正文与参考文献，不含所引附录表9、13、14等，故没有补写完整绝对准确率、逐模型全表、置信区间或缺失的归一化细节。

亮点与洞察¶

把注意力和效用拆开验证。 交替大小写提供了一个直观反例：越吸引注意力，未必越容易被正确处理。这提醒解释性分析同时记录任务输出，而不是只展示热图。
视觉关注需要看预算与分布两个尺度。 同时测整图和目标框，能发现局部集中掩盖的视觉脱离。该测量思路可迁移到提示格式、文本长度和显著词干预的VLM审计。
低成本输入变量具有诊断价值。 大小写不需要重新训练就能制造成组对照，适合做格式鲁棒性测试。但真值引导的发现协议与真实部署时的自动目标选择需要分开评估。

局限与展望¶

作者明确的范围限制： 研究集中于具有大小写的语言；非拉丁文字及更一般的表面显著性是否存在同类效果仍需研究，自动化目标选择与因果中介分析也留待后续。
真值依赖限制部署解释： 已知答案片段后再强调，不能证明模型能自主找到应强调的信息。下一步应将目标预测误差、错误强调和真实未知答案测试纳入同一评测。
因果解释不能越过观测证据： 大小写干预支持输入形式会改变读数，却没有完全分离分词、词频、预训练分布及推理轨迹的作用。“源自预训练的重要性信号”仍是机制解释，而非被独立验证的唯一原因。
词面不变不代表普遍语义不变： 大小写可能影响实体名、缩略词乃至代码标识符。纯文本实验的归纳不应直接外推到所有语言和代码任务。
视觉任务效用证据有限： 主文主要报告注意力变化，没有在这里给出可核验的定位准确率提升。后续应结合定位结果、视觉证据依赖测试和明确的注意力归一化定义。

评分¶

新颖性: 4/5。以系统对照刻画常被忽视的大小写效应，并揭示文本与视觉推理的不同边界。
实验充分度: 3/5。13个模型和多种规则覆盖较广，但真值依赖、主文测量细节与视觉任务效用证据限制了结论强度。
写作质量: 3/5。注意力与性能分离的主线清晰，但token边界、黑盒干预与内部测量的措辞需要谨慎辨析。
价值: 4/5。适合作为VLM格式鲁棒性和注意力解释性研究的起点，不宜直接包装成通用提分方案。