TARS: MinMax Token-Adaptive Preference Strategy for Hallucination Reduction in MLLMs¶

会议: ECCV2026
论文: ECCV 原文
项目: TARS
领域: 幻觉缓解 / 多模态 VLM
关键词: 直接偏好优化、视觉无关 token、自适应扰动、频谱对齐、数据效率

一句话总结¶

TARS 在训练时扰动与图像关联较弱的提示词 token，并联合 DPO 与频谱偏好对齐，使 LLaVA-v1.5-7B 仅用 4.8k 偏好样本就将 AMBER 幻觉率由标准 DPO 的 26.4% 降至 13.2%，同时提高描述覆盖率。

研究背景与动机¶

多模态大语言模型能够生成流畅描述，却可能把语言中常见的搭配当成图像事实。看到办公室时提到书架是合理联想，但进一步断言沙发上有猫，就可能脱离视觉证据。偏好优化试图利用同一图像、问题下的优劣回答，增加真实回答的概率，降低幻觉回答的概率。 DPO 不需要单独训练显式奖励模型，因此适合用较小的偏好数据集做后训练。然而，回答被标为“更好”并不意味着模型学到的是其视觉依据；常见措辞、对象共现和表达风格也能成为区分优劣的捷径。

这种问题来自静态监督与多变输入之间的错位：训练中的优劣回答固定，但真实问题的措辞和图文关联会变化。若训练始终保留相同的提示词线索，模型可以压低偏好损失，却没有学会在这些线索改变时继续依据图像作答。直接增加改写样本能扩展输入分布，但不一定暴露当前模型依赖的脆弱位置。另一方面，任意删除或替换词语也有风险，因为对象词、否定词或关系词一旦改变，原来的优劣标签可能不再成立。因此，本文并非主张“噪声越多越好”，而是尝试只改变视觉关联较弱的 token，同时维持偏好学习的语义目标。

TARS 先用 CLIP 衡量每个文本 token 与图像的相关性，再选择低相关位置做自适应掩码或同义替换。训练模型必须在这些变化下仍偏向正确回答，而参考模型保留未扰动输入，用于提供相对稳定的表征参照。频谱正则进一步约束隐藏表示，作者希望保留整体语义，而不是逐位置强行恢复被扰动前的特征。 核心 idea：让偏好学习在受限的文本扰动下继续依赖视觉证据，并用频谱偏好约束稳定这种对齐，而不是只记住固定训练对的语言模式。

方法详解¶

整体框架¶

一个训练样本包含图像、文本问题、优选回答和劣选回答；其中回答对及其偏好标签来自已有数据。 TARS 不以生成新的完整回答对为主要手段，而是在每次处理样本时改变问题中的部分 token。流程依次是视觉无关 token 选择、受限 token 扰动，以及结合输出概率与隐藏表示的频谱偏好对齐。经过扰动的问题和原图送入可训练策略模型，未扰动的问题送入冻结参考模型。策略模型对两个候选回答计算条件概率及隐藏状态，参考模型则提供频谱分支使用的原始输入表示。训练输出是更新后的模型参数；正常推理只输入图像和问题，自回归生成回答，不需要在线执行该训练分支。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        INPUT["图像、问题<br/>优劣回答对"] --> SELECT["视觉无关 token 选择"]
        SELECT --> PERTURB["受限 token 扰动"]
        PERTURB --> POLICY["策略模型<br/>概率与隐藏状态"]
        INPUT -->|未扰动输入| REF["冻结参考模型<br/>原始隐藏状态"]
        POLICY --> ALIGN["频谱偏好对齐"]
        REF --> ALIGN
        POLICY -->|DPO 损失| UPDATE["联合损失<br/>更新策略模型"]
        ALIGN --> UPDATE

关键设计¶

1. 视觉无关 token 选择：先限制允许变化的位置

作者把图像输入 CLIP 视觉编码器，把问题中的 token 输入 CLIP 文本编码器，再计算跨模态余弦相似度。相似度较低表示该 token 在这一代理度量下缺乏直接视觉关联，不代表它在语言中毫无意义。选择这些位置的目的是避免直接改动支撑回答的主要视觉内容，同时削弱可被模型利用的表面语言线索。例如，高频连接表达可能不承载图像对象信息，但不能据此推断所有介词或抽象词都可以安全删除。这是一个基于相关性的选择启发式，而不是对每个词语因果作用的直接测量。

选择数量也不是固定比例：作者令 \(P\) 为相似度取负后的向量，使用其最大值与次大值的差作为间隔 \(\Delta P\)。正文式 (9) 给出的数量关系如下，随后按文字说明选择视觉相关性最低的 \(N_t\) 个位置：

\[ N_t=\left\lfloor\frac{\omega}{\Delta P}\right\rfloor. \]

当间隔较大时，算法扰动较少位置；当间隔较小时，则增大变化范围。这里的“置信度”是该排序间隔的解释，不是模型输出经过校准的正确率，也不是所有 token 的平均不确定性。该机制同时决定扰动落在哪里以及有多宽，区别于随机选词或每条问题都删除相同数量的词。正文公式的 Top 记号有提取缺损，因此这里依据其明确文字说明解释为最低相似度选择，不猜写排序算子。对于间隔为零、数量超过问题长度以及是否至少选择一个位置，当前正文未交代边界处理，复现时需要补充材料或代码确认。

2. 受限 token 扰动：以局部变换近似内层最大化

选定位置后，Mask 把相应 token 替换为 [MASK]，Replace 则使用同义替换；其余位置维持原样。图像和优劣回答对不变，因此训练要求模型在提示词发生变化时仍保留原先的回答排序。两种策略都是训练方案，不是生成时对多个答案做重排，也不等同于对视觉 token 做剪枝。论文把这些操作放在 MinMax 框架中：内层制造困难输入，外层在这些输入上优化偏好一致性。这种视角强调的是抵抗输入变化，而不是单纯把训练样本数量扩大。

但建模目标与实际求解必须区分：正文式 (7) 把名为 Sim 的量解释为 token 偏离程度，并用局部变换近似最大化。当前正文没有给出逐候选计算偏好损失、再选真正最坏扰动的完整搜索过程。所以“最坏情况”应理解为作者的优化目标及近似动机，不能把 Mask 或同义替换说成已经精确求解内层对抗问题。同理，低 CLIP 相关性只是用于减少语义破坏的限制，并不能数学保证否定、数量或关系语义一定不变。读者应把它看成有针对性的扰动训练，而不是带有已验证语义保持证书的对抗算法。

3. 频谱偏好对齐：对隐藏状态也施加相对偏好

仅有 token 扰动会改变策略模型的隐藏状态，而优劣回答监督仍固定，二者可能产生新的不稳定性。作者不直接要求扰动前后的隐藏向量逐位置相等，因为这种约束可能迫使模型恢复原先依赖的局部语言模式。具体做法是取策略模型在扰动问题及候选回答下的隐藏状态，并与参考模型在原始问题及同一候选回答下的隐藏状态配对。优选回答和劣选回答都参与计算，因此它不只是对正确回答做一个单向特征重建损失。正文沿 token 轴进行快速傅里叶变换，描述的频谱汇总包含取实部与范数操作。随后仿照 DPO，比较优劣回答各自的策略/参考频谱比值，用温度控制的偏好项鼓励有利的相对变化。

作者的解释是：低频成分更多反映整体语义，而高频成分更多反映位置相关的词汇细节。局部 token 变化在频域中分散到多个频率分量，因此可以用频谱视角容忍部分位置变化，同时维持全局结构。这是本文选择频谱正则而不是直接逐位置对齐的动机，但“换成 FFT 就必然更鲁棒”并不是普遍成立的结论。频率选择、归一化和汇总方式会影响这一性质，尤其不能把傅里叶变换本身等同于主动低通滤波。正文没有明确描述一个显式低频截断模块，因此笔记不额外添加此模块。缓存中的式 (10) 与式 (11) 有符号缺损，频率如何汇总为标量、对数比值如何数值稳定化尚不能完整还原，这里不猜补精确频谱损失。

一个完整示例¶

以论文图 2 的办公室问题为例，问题询问场景里是否有猫或其他动物，DPO 的示例回答虚构了猫。训练时，TARS 会先针对该图像给问题 token 打视觉相关性分数，再按间隔决定选择范围，而不是预先规定必须修改“猫”。 Mask 方案只遮蔽被选中的低相关位置，保留原图及原来的优劣回答，让模型继续学习两种回答的概率排序。与此同时，策略模型在扰动问题下的隐藏状态与参考模型在原问题下的状态进入频谱偏好分支。因此，一个训练对同时提供“哪种回答应更可能”和“隐藏表征的相对偏好如何稳定”两类信号。推理时仍使用原始问题；图 2 展示 TARS 正确否认动物存在，但这只是定性案例，不是逐 token 选择轨迹的公开记录。

损失函数 / 训练策略¶

将正文式 (6) 与式 (12) 合并，核心训练意图可以紧凑写成以下形式，而不是重新定义有缺损的频谱子项：

\[ \min_{\theta}\max_{\varphi\in\Phi(\mathcal A)}\mathbb E_{(x,q,y_w,y_r)\sim\mathcal D}\left[\mathcal L_{\mathrm{DPO}}(x,\varphi(q),y_w,y_r)+\lambda\mathcal L_{\mathrm{freq}}(x,q,\varphi(q),y_w,y_r)\right]. \]

这里 \(\Phi(\mathcal A)\) 限制只能改动选中的位置，\(y_w\) 和 \(y_r\) 分别是优选与劣选回答。 DPO 分支优化扰动条件下相对于参考策略的回答对数似然比；频谱分支额外使用未扰动的参考隐藏状态。实际内层采用前述局部变换近似，外层更新策略模型，参考模型保持冻结。主实验随机抽取 RLHF-V-Dataset 的 4.8k 个样本，主干为 LLaVA-v1.5-7B 和 LLaVA-v1.5-13B。作者报告使用 8 张 NVIDIA A100 80GB，沿用 CHiP-DPO 的训练策略，设置 \(\alpha=1\)、\(\beta=1\)、\(\omega=0.1\)、\(\lambda=0.1\)。评测统一使用贪心解码，温度为 0；训练动态图单独分析了 20 个 epoch，不能直接把它当成所有主实验的训练轮数。 “无需专家反馈”指本文方法不额外依赖专家模型生成反馈，并不意味着公开偏好数据本身没有人工标注来源。

实验关键数据¶

主实验¶

下表摘自原文表 1（第 9 页），仅保留 AMBER 与 MMHal 的代表性指标；所有数值沿用原表尺度。 AMBER 的 Cover 衡量描述覆盖，Hal-Rate 衡量幻觉发生，Cog 是认知相关幻觉指标而非通用推理准确率；MMHal Score 由 GPT-4V 评判。

模型 / 方法	AMBER Cover ↑	AMBER Hal-Rate ↓	AMBER Cog ↓	MMHal Score ↑
LLaVA-v1.5-7B	51.7	35.4	4.2	2.02
7B + DPO	56.6	26.4	2.5	2.19
7B + CHiP-DPO	57.3	19.9	1.0	2.32
7B + OPA-DPO	47.4	12.5	0.9	2.78
7B + TARS (Mask)	59.6	13.2	0.4	2.48
7B + TARS (Replace)	59.3	14.9	0.7	2.54
13B + DPO	56.7	24.3	2.2	2.48
13B + TARS (Mask)	59.8	12.5	0.6	2.89
GPT-4o（参考模型）	60.9	17.6	0.8	3.87

7B Mask 相对 DPO 的幻觉率下降 13.2 个百分点，即相对下降 50%，Cover 同时增加 3.0 个百分点。但 7B OPA-DPO 的幻觉率 12.5% 仍低于 TARS 的 13.2%，只是覆盖率更低，不能声称 TARS 每个指标都最好。 13B TARS 在 AMBER 幻觉率上优于 GPT-4o，但 MMHal Score 仍为 2.89 对 3.87，比较结论必须限制在具体任务与指标。原表混合参考基础模型、重测检查点和按既有设置复现的方法；它不是所有模型训练成本都一致的受控实验。

消融实验¶

下表摘自原文表 2（第 10 页），基于 LLaVA-v1.5-7B；TP 为 token 扰动，CAS 为跨模态相关性选择，SPA 为频谱偏好对齐。 OBJHal 的 CRs 与 CRi 分别是回答级和对象级幻觉比例，越低越好。

配置	AMBER Cover ↑	AMBER Hal-Rate ↓	AMBER Cog ↓	OBJHal CRs ↓	OBJHal CRi ↓
TARS	59.6	13.2	0.4	12.0	3.2
w/o TP	56.6	26.4	2.5	14.0	5.0
w/o CAS	55.9	17.7	1.3	12.7	3.5
w/o SPA	58.3	15.1	0.7	12.5	3.7
w/o CAS&SPA	55.1	18.5	1.5	12.6	3.8

去掉 TP 的性能回到表中 DPO 水平，说明扰动是整套方案的重要基础，但这一消融不能把所有收益都独立归因于 TP。在保留其他组件时，去掉 CAS 使幻觉率增加 4.5 个百分点，去掉 SPA 增加 1.9 个百分点，支持针对性选词与频谱项各自有贡献。组件存在交互，因此这些差值不能相加作为总收益分解，也不能替代统计显著性检验。

关键发现¶

原文表 3（第 13 页）进一步比较 LLaVA-7B 上的数据增强；下表保留 AMBER 指标以便直接比较。作者的“5×”指新增扩展量，正文报告加上原始数据后共 28.8k，而非总量只有原始数据的 5 倍。

方法	AMBER Cover ↑	AMBER Hal-Rate ↓	AMBER Cog ↓
DPO + Paraphrasing	57.9	24.8	2.3
DPO + LLM Aug. (1×)	58.8	22.9	2.0
DPO + LLM Aug. (5×)	59.3	16.0	1.2
TARS	59.6	13.2	0.4
TARS + LLM Aug. (5×)	60.8	12.3	0.2

4.8k 样本的 TARS 比 28.8k 样本的 DPO 增强基线低 2.8 个百分点幻觉率，但该比较没有给出等总训练算力结论。叠加增强后幻觉率又从 13.2% 降至 12.3%，说明扰动鲁棒性与数据多样性可以互补，而非二选一。图 5 显示较小数据量时收益增长较快、超过 3.6k 后趋于饱和；此处不从曲线猜测未列出的精确值。

亮点与洞察¶

最值得迁移的是“先约束可变位置，再学习变化下的不变偏好”。它把幻觉缓解从回答标签扩展到模型如何使用提示词线索。
表征层也采用优劣比较，而不是把正确回答逐位置复制给策略模型。这使隐藏状态监督与输出概率监督围绕同一偏好关系组织。
Coverage 与幻觉率一起报告很重要。仅让模型少说可以降低部分幻觉指标，而这里对 DPO 的改进同时增加了覆盖率。

局限与展望¶

缓存只有正文及参考文献，没有被多次引用的补充材料。Mask/Replace 细节、隐藏层选择、频谱汇总和若干超参数边界仍无法完整核实。
CLIP 低相关性不等于因果无关性，低视觉相关的否定词或关系表达仍可能决定问题含义。更严格的语义保持检查是合理后续方向，而非论文已完成的模块。
作者将收益解释为“因果对齐”，但注意力图与隐藏状态分布可视化不能单独证明因果识别。对输入做受控干预、测量语义保持和错误迁移会提供更直接证据。
主文以 LLaVA 的两个规模为主，Muffin-13B 结果仅指向未提供的补充材料。跨架构、视频、长上下文及领域外图像的有效性不宜据此推定。
频域对局部变化更稳定的说法依赖具体统计量与约束。FFT 是可逆线性变换，完整频谱上的等价二范数并不会自动消除扰动，因此需要核查真正发挥作用的频谱汇总操作。
报告未提供这些表格的多随机种子误差条或完整时间/显存成本对照。数据效率优势不能直接改写成相同幅度的算力节省。

评分¶

新颖性: 4/5。受限 token 扰动与频谱偏好项的组合有辨识度，但内层最坏情况求解的呈现仍偏近似。
实验充分度: 4/5。覆盖多个幻觉基准、组件消融与数据增强对照，统计稳定性和完整效率比较仍不足。
写作质量: 3/5。问题动机与主表清楚，频谱数学和实现说明依赖补充材料，文本提取缺损进一步限制复现。
价值: 4/5。为小规模偏好后训练提供可迁移思路，部署前仍应核实语义保持与目标领域泛化。