YARD: Y-Architecture Register Decoding for Efficient Hallucination Mitigation in Large Vision-Language Models¶
会议: EMNLP 2026
论文: ACL Anthology
领域: 多模态 VLM
关键词: 幻觉抑制, 对比解码, Y型架构, 寄存器Token, 免训练推理
一句话总结¶
针对多模态大模型对比解码中退化分支构建粗糙且耗时翻倍的问题,本文提出免训练的 Y 架构寄存器解码(YARD),在 LLM 解码器中间层切分分支,并用吸收全局粗粒度语义的无训练 Register Token 替代局部视觉 Patch,在显著降低推理延迟的同时大幅缓解图文幻觉。
研究背景与动机¶
多模态大语言模型(LVLMs)通过连接视觉编码器与大语言模型,在多模态问答、图像描述等任务中展现了强大的跨模态理解能力。然而,模型频繁生成语法流畅但与图像证据不符的内容(即幻觉问题),如凭空捏造不存在的物体、混淆属性或空间关系。作为一种流行的免训练对齐手段,对比解码(Contrastive Decoding, CD)通过比对标准输入分支与人为退化的分支在 Logit 空间的分歧,从预测分布中反向削弱对非真实视觉或语言先验偏置的依赖,从而实现幻觉成分的分离与抑制。
然而,现存的退化分支构建策略陷入了两难境地。其一是以完全丢弃或遮蔽视觉 Token 为代表的纯文本先验退化,这切断了图像整体上下文,导致退化分支暴露出的幻觉主要受通用语言先验主导,脱离了当前具体输入图像;其二是在像素空间施加扰动(如高斯噪声、遮挡或局部失真),但像素空间中颜色、纹理、边界与物体语义紧密纠缠,粗粒度干扰不仅无法精准破坏诱发幻觉的局部细节,反而会污染退化分支使其损失真实的宏观语义,且像素级扰动强制要求两路完全独立的模型前向传播,导致推理延迟翻倍。
跨模态信息流的层级分析揭示:深层解码器中视觉证据已被文本隐层深度吸收,在深层修改视觉 Token 对输出影响微弱;而在浅层跨模态注意力尚未聚焦,只有在中间层(约 1/3 解码深度处)文本 Token 才刚开始精准提取局部视觉证据。核心 idea:在 LLM 解码器中间层共享浅层前向计算并分化出退化分支,且在退化分支中用承载全局粗粒度语义的寄存器 Token(Register Tokens)完全替换细粒度图像 Patch Token,构建出“知晓全局图像语义但缺乏可靠局部视觉支撑”的高纯度退化分布,以极低计算开销精准抑制幻觉。
方法详解¶
整体框架¶
YARD 的端到端推理流水线由视觉编码与寄存器注入、前缀共享前向传播、中间层 Y 型分流以及寄存器引导对比解码四个核心阶段组成。输入图像 \(I\) 经视觉编码器提取局部 Patch Token,同时通过免训练的汇聚转移机制(Sink-Shift)将高范数注意力汇聚转移至寄存器槽位中,生成粗粒度寄存器 Token。拼接后的混合 Token 序列输入 LLM 解码器,在浅层(第 \(1\) 至 \(K\) 层)完全共享自注意力与跨模态计算;到达中间分流层 \(K\) 后,解码器分叉为“保留全部视觉 Patch 的干净分支”与“仅保留寄存器及文本 Token 的退化分支”;两路独立完成深层解码并产生词表 Logit,最终通过自适应阈值约束的对比减法输出下一 Token。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入图像 I 与文本查询 X"] --> B["免训练寄存器激活转移<br/>提取局部 Patch Z 与全局寄存器 R"]
B --> C["浅层前缀计算共享<br/>第 1 至 K 层统一计算 H(K)"]
C --> D["中间层 Y 型解码分流<br/>干净分支保留 Z+R+T,退化分支仅保留 R+T"]
D --> E["寄存器约束对比解码<br/>Logit 差分削弱局部未对齐幻觉"]
E --> F["输出无幻觉文本响应"]
关键设计¶
1. 免训练寄存器激活转移:无监督构建全局粗粒度视觉表征
传统退化分支要么退化为纯文本先验,要么通过全 Token 平均池化抹平特征,前者丧失图像上下文,后者则是局部特征的线性混合仍残留局部证据。YARD 借鉴 ViT 存在异常高范数注意力汇聚(Attention Sinks)的机理,在视觉编码器推理阶段免训练构造寄存器 Token。具体而言,离线阶段仅需通过 18 张校准图像在前向传播中统计各 ViT 层 mlp.fc1 中激活值最高的前 10 个神经元维度并存入缓存;推理时在原始视觉 Token 后追加 \(M\) 个寄存器槽位(实验默认 \(M=1\)),通过前向 Hook 将这组神经元上的峰值异常激活从 Patch Token 处定向重定向至寄存器 Token,而普通 Patch Token 维持原值:
$\(a_{r,k} \leftarrow \max_{1 \le j \le N} a_{j,k}, \quad a_{j,k} \leftarrow 0, \quad \forall j \in \{1,\dots,N\}, \; k \in \mathcal{K}_{\text{reg}}\)$
随后将 Patch Token \(Z\) 与寄存器 Token \(R\) 共同经由多模态投影层映射至 LLM 隐空间。由于寄存器吸纳了高范数全局信息却缺乏固定的空间几何对应,它天然构成了语义相关但无局部定位依据的全局表征。
2. 浅层计算共享与中间层 Y 型分流:平衡跨模态上下文与推理加速
针对输入级对比解码需要两轮完整前向传播导致的巨大延迟,YARD 设计了解码器内部的 Y 型共享机制。研究发现文本到图像的细粒度局部对齐并非在浅层完成,而是在中间层(约占解码层数 1/3 的临界窗口)集中涌现;若过早切分分支则缺失早期跨模态交互,若过晚切分则文本隐层已将局部视觉信息内化。对于总深度为 \(D\) 的 LLM 解码器,两分支在前 \(K\) 层(例如 LLaVA-1.5-7B 的第 10 层)共享序列计算: $\(H^{(K)} = \mathcal{F}_{1:K}([Z; R; T])\)$ 在层 \(K\) 处实施分流:干净分支保留全量序列 \(H^{(K)}_c = [Z^{(K)}; R^{(K)}; T^{(K)}]\),而退化分支直接剥离 \(N\) 个局部 Patch Token,仅保留 \(H^{(K)}_d = [R^{(K)}; T^{(K)}]\) 并送入后续 \(K+1\) 至 \(D\) 层。因为 \(|R| + |T| \ll |Z| + |R| + |T|\),退化分支不仅免去了前 \(K\) 层的重复前向计算,而且在剩余层中的自注意力序列长度大幅缩短,实现了极高的推理吞吐。
3. 寄存器约束对比解码:双重退化效应下的目标 Logit 差分
中间层切分与局部 Token 剥离在退化分支中构成了独特的“双重退化机制”:退化隐状态既继承了未完全完成局部对齐的浅层多模态特征,又在后续解码中彻底失去了 Patch 级的细粒度线索。因此,退化分支的输出 Logit \(\ell_d^i\) 会强烈偏向那些“在整体场景中合理、但实际上当前画面局部并不存在”的语言幻觉词。最终在自回归第 \(i\) 步计算词表级对比 Logit: $\(\ell_{cd}^i = (1 + \alpha) \ell_c^i - \alpha \ell_d^i\)$ 其中 \(\alpha\) 控制对比削弱强度(默认 \(\alpha=1.0\))。为防止在退化分支极端低概率处错误放大噪声词,YARD 引入干净分支的合理性候选约束集 \(\mathcal{V}_i = \{y \in \mathcal{V} \mid p_c(y) \ge \tau \max_{y'} p_c(y')\}\),仅在该候选子集内执行 Softmax 概率归一化并选择最优输出 Token。
损失函数 / 训练策略¶
YARD 为纯推理阶段即插即用的免训练(Training-free)方案,无需微调任何模型参数或优化损失函数。超参数设置统一采用通用经验规则:解码器分支切分层默认选在总层数的约 \(1/3\) 深度(如 32 层的 LLaVA-1.5-7B 取 \(K=10\);40 层的 13B 模型取 \(K=13\);36 层的 Qwen3-VL-8B 取 \(K=12\));寄存器 Token 数量固定为 \(M=1\);对比因子设为 \(\alpha=1.0\)。所有跨模态视觉编码器与主干 LLM 均保持官方预训练权重完全冻结。
实验关键数据¶
主实验¶
在生成式评测(AMBER、Object HalBench、MME-Hallucination)与判别式评测(POPE、AMBER-Discrimination)中,YARD 均展现出超越现有最强基准的幻觉抑制效果。
| 数据集 / 评测基准 | 指标 | LLaVA-1.5-7B 基线 | 最强对比基准 (方法) | YARD (本文) | 相对改善 / 增益 |
|---|---|---|---|---|---|
| Object HalBench | CHs ↓ / CHi ↓ | 27.0 / 10.5 | 20.3 / 7.3 (FuzzyCD) | 19.7 / 6.5 | 相比基线降低 7.3 / 4.0 |
| AMBER (Generative) | CH ↓ / Hal ↓ | 8.3 / 32.0 | 4.6 (OPERA) / 18.8 (EVAS) | 4.6 / 21.6 | CH 平齐最佳,Cov. 达 48.9↑ 最佳 |
| MME-Hallucination | Total ↑ | 553.00 | 614.99 (TAME) | 613.33 | Color 达 163.33 最高,总分显著提升 |
| POPE-MSCOCO | ALL Acc. ↑ / F1 ↑ | 83.93 / 82.24 | 84.86 / 83.55 (AVISC) | 86.14 / 85.85 | Acc. 提升 +2.21,F1 提升 +3.61 |
| AMBER (Discrim.) | Accuracy ↑ / F1 ↑ | 67.00 / 71.10 | 77.93 / 83.81 (EVAS) | 78.70 / 84.10 | Acc. 提升 +11.70,F1 提升 +13.00 |
| InstructBLIP POPE | ALL Acc. ↑ / F1 ↑ | 80.37 / 80.50 | 83.49 / 82.68 (VCD) | 89.06 / 88.45 | Acc. 提升 +8.69,F1 提升 +7.95 |
消融实验¶
在 LLaVA-1.5-7B 上对退化分支的构建策略及分流层 \(K\) 进行严谨消融(在完整设置以及移除 \(\alpha\) 保护的纯减法压力测试 \(\ell_{w/o\,\alpha} = \ell_c - \ell_d\) 下检验纯度):
| 实验变体配置 | \(w/\ \alpha\) CHs ↓ / CHi ↓ | \(w/o\ \alpha\) 纯减法压力测试 CHs ↓ / CHi ↓ | POPE Acc. ↑ / F1 ↑ | 说明 / 结论 |
|---|---|---|---|---|
| Pixel-level (像素扰动退化) | 23.0 / 8.3 | 28.7 (+5.7) / 12.1 (+3.8) | - / - | 纯减法下幻觉激增,残存过多正确视觉信息 |
| Text-only (纯文本先验退化) | 21.7 / 7.0 | 24.0 (+2.3) / 7.9 (+0.9) | 85.1 / 84.2 | 缺少图像约束,偏离具体图片内容 |
| Local (attn.) (注意力保留Patch) | 22.0 / 10.8 | 24.0 (+2.0) / 13.0 (+2.2) | - / - | 保留最强局部特征导致对真实信号误杀严重 |
| Average (mean) (全Patch平均池化) | 23.7 / 7.7 | 25.4 (+1.7) / 8.3 (+0.6) | 84.9 / 84.3 | 局部特征线性混淆,对比信号不够精准 |
| YARD (K=1, 浅层即切分) | 22.9 / 7.3 | - / - | 84.5 / 83.7 | 缺乏必要跨模态早期上下文 |
| YARD (K=25, 深层才切分) | 25.0 / 7.9 | - / - | 83.2 / 81.6 | 局部信息已融入文本隐层,无法形成退化 |
| YARD (K=10, Register默认) | 19.7 / 6.5 | 21.0 (+1.3) / 7.0 (+0.5) | 86.1 / 85.9 | 纯减法仅上升0.5,信噪比最高且判别指标最佳 |
关键发现¶
- 去 \(\alpha\) 压力测试证实高纯度:在移除 \(\alpha\) 保护的极端差分测试中,像素级退化的 CHs 恶化了 \(+5.7\),而 YARD 仅微幅波动 \(+1.3\)(CHi 仅增加 \(0.5\)),表明寄存器退化分支极大程度提纯了幻觉偏置,几乎不夹带局部真实凭证,因此不会误伤正常预测。
- 中间层是视觉扎根的临界转折点:切分层扫描表明,\(K=10\)(约 \(1/3\) 深度)始终取得最优平衡;浅层(\(K=1\))或深层(\(K=25\))性能显著回落。在 13B 模型(\(K=13\))与 Qwen3-VL-8B(\(K=12\))上也严格符合 \(1/3\) 深度经验律。
- 推理耗时接近原生解码:在生成 128 Token 测试下,Vanilla 原生解码耗时 2.6 秒,YARD 仅需 3.2 秒(仅增加 0.6 秒开销),比输入级对比方法 VCD(5.1 秒)、ICD(4.3 秒)及 OPERA(24.3 秒)快 1.34× 至 7.59×,一阶神经元发现耗时仅 0.925 秒且完全离线复用。
- 全能基础感知能力无损:在通用多模态基准评测中,GQA 得分由 61.9 升至 62.1,MME 感知总分由 1594 跃升至 1741,证明压制幻觉并没有以牺牲通用视觉理解能力为代价。
亮点与洞察¶
- 将注意力汇聚伪影化腐朽为神奇:巧妙利用前人工作中发现的 ViT 异常高范数注意力汇聚(Attention Sinks)现象,通过免训练 Hook 转移机制将其导向 Register Token,完美充当了“有全局轮廓、无局部坐标”的纯净退化特征源。
- Y 型中间层共享打破计算瓶颈:精准捕捉跨模态对齐在解码器中间层涌现的规律,将对比分支内化到 LLM 解码器内部,避免了传统对比解码两阶段独立前向的冗余开销。
- 通用的模型可迁移性:设计无需微调或架构魔改,直接在 Qwen3-VL、Qwen2-VL、LLaVA-NeXT、InstructBLIP 和 Mini-Gemini 等异构架构上即插即用,均稳定获得显著收益。
局限与展望¶
- 依赖 ViT 架构的高范数汇聚特性:当前免训练寄存器构建基于标准 ViT 的异常激活规律,若视觉塔替换为无此类特性的非 Transformer 结构(如纯卷积网络),则需重新探索全局特征构建方式。
- 静态切分层经验选择:目前分支切分层统一按 \(1/3\) 深度启发式固定,未根据不同输入图像或指令的语义复杂度自适应动态调整分流时机。
- 未来探索方向:探索将寄存器特征构建扩展至视频大模型及统一的多模态大模型框架中,并研究基于输入困惑度的动态 Y 型分流机制。
相关工作与启发¶
- vs VCD / ICD (输入级对比解码):VCD 在像素级添加高斯噪声,ICD 构造扰动指令;两者的退化分支要么污染真实特征要么要求昂贵的全流程双前向传递。YARD 直接在解码器内部构建特征级退化分支,保留全局图像上下文的同时实现计算共享。
- vs DoLa / LayerCD (层间对比解码):DoLa 与 LayerCD 比对模型不同层级间的 Logit 差异;虽然避免了外部扰动,但并未显式建模跨模态图文对齐的失效过程。YARD 精准定位在局部视觉对齐发生的临界层进行特征剥离,对比信号针对性更强。
- vs OPERA (解码正则化方法):OPERA 监控注意力过度信任(Over-trust)并进行束搜索回溯惩罚,单步计算复杂度极高(延迟高达 24.3s)。YARD 以几乎不增加开销的方式(3.2s)实现了甚至更优的幻觉削减指标。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [将 ViT 注意力汇聚特性免训练重定向为对比解码退化条件,构思极为巧妙]
- 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 6 大主流模型家族、生成/判别双维度基准以及去 α 纯度极限测试]
- 写作质量: ⭐⭐⭐⭐⭐ [从层级信息流分析到方法推演逻辑严谨,实验分析深刻透彻]
- 价值: ⭐⭐⭐⭐⭐ [免训练、高精度、低延迟,具有极高的工业界实际部署与落地价值]