Shift-Aware Identity-Guided Latent Refinement for Referring Audio–Visual Segmentation¶
会议: NeurIPS 2026
arXiv: 2610.12783
领域: 其他
关键词: 音视频分割、多模态大模型、目标偏移、双标记解耦、隐空间校准
一句话总结¶
针对音视频指代分割中因遮挡、声音暂停或同类干扰引发的“目标偏移”难题，本文提出端到端框架 SAIL，引入全局语义锚点与时序分割标记的解耦设计，结合模态证据残差校准与记忆增强解码器，实现了鲁棒的时空身份一致性分割。
研究背景与动机¶
指代音视频分割（Ref-AVS）要求系统根据一段包含视觉与听觉属性的自然语言查询，在连续视频序列中精准定位并分割出目标物体。相比于传统的音视频分割（AVS）仅在类别级别分割发声物体，或指代视频物体分割（Ref-VOS）仅依赖视觉-文本对齐，Ref-AVS 需要细粒度的三模态深层交互。例如当多个演奏者同台时，只有结合“演奏断奏音符的小提琴”这类听觉节奏与手部运动的协同关联，才能准确区分目标。
然而，现有模型在时序场景中极易遭遇“目标偏移”（Target Shift）困境。当参考目标发生短暂视觉遮挡（例如被同类前景遮蔽），或者其特征声音短暂休止、渐弱，而场景中其他视觉显著物体或发声干扰项（如同时响起的吉他或钢琴）处于活跃状态时，模型极易被误导，将其注意力与分割掩码错误地漂移到干扰物体上，且在后续帧中难以自愈。现有的专用多模态融合模型缺乏持久的全局实体记忆，而基于多模态大语言模型（MLLM）的方法则往往依赖离散文本标记做隐式推理，难以捕捉细粒度的时空动态，或需要昂贵的多阶段检测器与外部流水线级联。
针对这一核心矛盾，本文提出摒弃让单个离散标记承担全部时空定位与实体锚定责任的旧范式，将全局语义恒常性与局部帧级动态显式解耦。核心 idea：通过构建全局语义锚点标记 [query] 与帧级时序分割标记 [seg] 的因果双标记序列，以语义锚点主动探测视听证据并构建残差偏移量，动态校准隐空间特征后驱动记忆增强解码器，从根源上克服跨模态不一致导致的目标漂移。
方法详解¶
整体框架¶
SAIL 采用统一且端到端的单阶段架构，输入为包含 \(T\) 帧的视频序列 \(\mathcal{V}\)、同步音频流 \(\mathcal{A}\) 以及自然语言查询 \(\mathcal{Q}\)，输出为目标物体在各帧上的高精度二值掩码序列 \(\{M_t\}_{t=1}^T\)。
整体流程包含三个核心阶段：首先利用冻结的多模态编码器抽取视觉（CLIP-ViT）与音频（BEATs）特征，经各自的轻量 Q-Former 压缩并投影后，与文本指令送入基于 LoRA 微调的 MLLM（Chat-UniVi-7B）中；MLLM 采用自回归因果链先生成全局锚点标记 [query]，再生成各帧的时序分割标记 [seg]_t；随后，隐空间偏移感知校准模块利用 [query] 分别向当前帧的视觉与音频原始特征做交叉注意力探测，提取目标专属模态证据，计算离散表示与物理证据间的偏移残差，并通过跨模态置信门控融合校准 [seg]_t；最后，融合全局语义锚点后的校准提示向量注入 SAM2 提示编码器，结合 SAM2 连续记忆库机制迭代解码并更新上下文，输出全局时空连贯的时序分割掩码。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["三模态输入<br/>视频帧 / 音频流 / 文本查询"] --> B["多模态分词与特征压缩<br/>CLIP + BEATs + Q-Former"]
B --> C["双标记解耦策略<br/>因果自回归生成 [query] 与 [seg]_t"]
C --> D["偏移感知校准模块<br/>交叉注意力证据提取与动态置信门控"]
D --> E["锚点引导特征融合<br/>残差校准与全局语义加权"]
E --> F["记忆增强掩码解码器<br/>SAM2 提示编码与记忆库连续更新"]
F --> G["输出：时空一致的目标掩码序列"]关键设计¶
1. 双标记解耦策略：分离全局持久语义与局部动态聚焦
传统基于 MLLM 的推理分割方法（如 LISA 及其衍生模型）通常为每一帧或全局输出单一的 [seg] 标记，并直接用其投影特征驱动掩码解码器。在复杂音视频交互中，单一标记被迫同时承担“理解该物体跨越全剧本的恒定语义身份”与“捕捉该物体在特定帧内的形变、运动及瞬时视听状态”两重冲突目标，一旦某帧发生遮挡或声学暂态休止，该标记即随局部干扰发生偏移。
为此，SAIL 设计了因果结构化提示响应链 It is [query] [seg]。模型首先自回归生成一个全局 [query] 标记，作为贯穿整个视频片段的长程持久语义锚点；紧接着在因果注意力约束下生成时序相关的帧级 [seg]_t 标记序列。全局锚点 [query] 汇总了自然语言所指涉实体的深层概念属性，不受单帧瞬态退化影响；而 [seg]_t 专注于捕捉局部帧内的三模态响应细节。这种解耦不仅保留了模型建模动态时序变化的高灵活性，更提供了一个不可动摇的先验参照系，为后续在隐空间中量化和矫正漂移奠定了几何基础。
2. 偏移感知校准模块：基于模态证据残差与动态置信门控的漂移修正
大语言模型生成的离散隐向量往往过度依赖主导模态或平滑掉细微的局部运动与声学涨落。为了测算并纠正当前预测与实际观测之间的偏离，该模块利用全局持久锚点 [query] 分别向当前帧的原始视觉特征 \(f_v^t\) 和音频特征 \(f_a^t\) 发起交叉注意力探测：
通过此操作，模型滤除了背景环境噪声，分离出当前帧中与目标严格相关的特定模态物理证据 \(z_m^t\)。随后，模块计算大模型当前帧隐向量 \(\texttt{[seg]}_t\) 与各模态实际证据之间的偏差残差，显式度量感知漂移：\(\Delta_m = \mathrm{MLP}(\phi(\texttt{[seg]}_t) - \psi(z_m^t))\)。为避免某一模态在发生严重退化（如视觉完全遮挡或音频完全静音）时其噪声残差污染特征表示，系统从交叉注意力未归一化的原始对齐分数中计算模态全局证据强度 \(e_v\) 和 \(e_a\)，通过联合线性层映射及 Sigmoid 激活函数生成动态置信门控权重 \((\lambda_v, \lambda_a) = \sigma(\mathrm{Linear}([e_v; e_a]))\)。最终对当前时序标记进行加权残差修正：
3. 锚点引导特征融合与记忆增强掩码解码器
为了使掩码解码过程不仅具备瞬时感知校正能力，而且具备抵抗长程遗忘的记忆机制，SAIL 构建了锚点引导提示融合机制，并与 SAM2 记忆库机制进行端到端联合优化。首先，系统将校准后的时序标记 \(\hat{\texttt{[seg]}_t}\) 与全局语义锚点 \(\texttt{[query]}\) 进行线性加权融合：
其中 \(\alpha\) 为控制身份锚定强度的超参数（实验表明取 0.1 最佳）。该提示向量 \(\mathcal{H}_t\) 被投影到 SAM2 的提示嵌入空间，作为空间与语义双重矫正的稠密提示。在解码阶段，SAM2 的图像编码器提取当前帧的高分辨率特征，与提示嵌入以及上一时间步迭代累积的时空记忆库 \(\mathcal{M}\) 进行联合记忆交叉注意力计算，最终输出当前帧的分割掩码 \(M_t\)，并同步将当前帧经过校准的时空状态编码存入连续记忆库 \(\mathcal{M}\)，供后续帧作为持久上下文进行检索，彻底切断了目标偏移在时序上的滚雪球效应。
损失函数 / 训练策略¶
SAIL 采用单阶段端到端的多任务联合优化策略，无需分阶段预训练对齐投影层，亦无需外挂物体检测器。总体损失函数 \(\mathcal{L}\) 由文本自回归交叉熵损失 \(\mathcal{L}_{txt}\)、二值交叉熵掩码损失 \(\mathcal{L}_{bce}\) 和 DICE 分割损失 \(\mathcal{L}_{dice}\) 构成：
在实现中设置权重 \(\lambda_{txt}=1.0\)、\(\lambda_{bce}=1.0\)、\(\lambda_{dice}=0.5\) 以及融合系数 \(\alpha=0.1\)。模型在两张 NVIDIA H100 GPU 上采用 AdamW 优化器、余弦退火学习率调度策略（初始学习率 \(1\times 10^{-4}\)，批大小为 2/卡）训练 10 个 epoch，整个过程极为轻量且数据高效。
实验关键数据¶
主实验¶
SAIL 在两个广泛认可的指代音视频分割基准上与主流方法进行了系统评估。Ref-AVSBench 测试集包含 Seen（已知类）、Unseen（未知域）和 Null（无目标/假阳性抑制评估）三种场景；评价指标包含 Jaccard 指数（\(\mathcal{J}\)，即交并比 IoU）、F-score（\(\mathcal{F}\)，边界对齐度）以及在 Null 集上的假阳性掩码占比 S-score（\(\mathcal{S}\)，越低越好）。
| 模型类别 | 代表方法 | 基础组件构成 | Seen \(\mathcal{J}\) / \(\mathcal{F}\) | Unseen \(\mathcal{J}\) / \(\mathcal{F}\) | Mix \(\mathcal{J}\) / \(\mathcal{F}\) | Null \(\mathcal{S}\) (↓) |
|---|---|---|---|---|---|---|
| AVS Baseline | SAMA (WACV 2024) | SAM | 39.2 / 56.2 | 47.5 / 56.6 | 43.4 / 56.4 | 0.130 |
| Ref-VOS Baseline | ReferFormer (CVPR 2022) | Video-Swin | 31.3 / 50.1 | 30.4 / 48.8 | 30.9 / 49.5 | 0.176 |
| 专用 Ref-AVS | EEMC (ECCV 2024) | Mask2Former | 34.2 / 51.3 | 49.5 / 64.8 | 41.9 / 58.1 | 0.007 |
| 专用 Ref-AVS | TSAM (CVPR 2025) | SAM | 43.4 / 56.8 | 54.6 / 66.4 | 49.0 / 61.6 | 0.017 |
| 专用 Ref-AVS | SAM2-LOVE (CVPR 2025) | SAM2 | 43.5 / 51.9 | 66.5 / 72.3 | 55.0 / 62.1 | 0.230 |
| MLLM 指令微调 | Crab (CVPR 2025) | SAM + LLaMA2 | 40.5 / - | 45.6 / - | 43.1 / - | - |
| MLLM 指令微调 | OISA-1B (ICCV 2025) | Mask2Former + InternVL2 | 51.7 / 58.7 | 58.3 / 65.1 | 54.5 / 61.4 | 0.098 |
| 多阶段 MLLM Agent | TGS-Agent (AAAI 2026) | SAM2 + Grounding-DINO + LLaMA2 | 49.5 / 60.4 | 73.2 / 80.6 | 61.3 / 70.5 | 0.035 |
| 多阶段 MLLM 强化 | AURORA (AAAI 2026) | SAM + Qwen + VideoLLaMA2 | 63.2 / 72.8 | 69.7 / 76.4 | 66.5 / 74.6 | - |
| 本文方法 | SAIL (Ours) | SAM2 + Chat-UniVi | 68.4 / 77.5 | 72.0 / 79.5 | 70.2 / 78.5 | 0.010 |
在强调复杂隐式推理的全新基准 \(R^2\)-AVSBench（将直接名词查询替换为声学/功能隐式描述）上，各主流方法的表现如下（报告 \(\mathcal{J}\&\mathcal{F}\) 平均综合得分）：
| 评估方法 | Seen \(\mathcal{J}\&\mathcal{F}\) | Unseen \(\mathcal{J}\&\mathcal{F}\) | Mix \(\mathcal{J}\&\mathcal{F}\) |
|---|---|---|---|
| EEMC (ECCV 2024) | 31.2 | 47.8 | 39.5 |
| Grounded-SAM2 (arXiv 2024) | 25.7 | 49.1 | 37.4 |
| Crab (CVPR 2025) | 25.9 | 44.4 | 35.2 |
| TGS-Agent (AAAI 2026, 采用多阶段外部 DINO 定位) | 47.5 | 72.7 | 60.1 |
| AURORA (AAAI 2026) | 55.8 | 59.7 | 57.8 |
| SAIL (Ours, 端到端单阶段) | 63.6 | 65.2 | 64.4 |
消融实验¶
作者对框架各组件进行了严密的逐步累加消融实验（Ref-AVSBench 数据集，DK 表示双标记策略，SR 表示偏移感知校准，AA 表示锚点特征对齐，\(\mathcal{M}\) 表示 SAM2 记忆库更新）：
| 模型配置 | Seen \(\mathcal{J}\) / \(\mathcal{F}\) | Unseen \(\mathcal{J}\) / \(\mathcal{F}\) | Mix \(\mathcal{J}\) / \(\mathcal{F}\) | Null \(\mathcal{S}\) (↓) |
|---|---|---|---|---|
| LISA 风格基线 (单 [seg] 标记) | 41.3 / 55.6 | 45.4 / 61.3 | 43.4 / 58.5 | 0.049 |
| + DK (双标记解耦: [query] + [seg]) | 50.7 / 59.2 | 55.1 / 67.0 | 52.9 / 63.1 | 0.037 |
| + DK + SR (引入偏移残差校准) | 61.8 / 69.7 | 68.3 / 75.5 | 65.1 / 72.6 | 0.019 |
| + DK + SR + AA (加入锚点特征融合 \(\alpha=0.1\)) | 64.6 / 73.8 | 70.2 / 77.1 | 67.4 / 75.5 | 0.015 |
| + DK + SR + \(\mathcal{M}\) (加入连续记忆库更新) | 65.0 / 75.2 | 70.4 / 78.0 | 67.7 / 76.6 | 0.013 |
| SAIL 完整模型 (+DK +SR +AA +\(\mathcal{M}\)) | 68.4 / 77.5 | 72.0 / 79.5 | 70.2 / 78.5 | 0.010 |
此外，针对目标偏移解决策略的对比实验（Pre-LLM 引入目标检测框先验得 Mix \(\mathcal{J}=50.9\)；In-LLM 让语言模型内部学习隐式 shift 标记得 Mix \(\mathcal{J}=63.0\)；Post-LLM 纯靠 Transformer 可学习 query 提取动态得 Mix \(\mathcal{J}=59.8\)）表明，SAIL 在隐空间以物理证据直接计算残差并门控校准的方案显著优于其他变体（Mix \(\mathcal{J}=70.2\)）。
关键发现¶
- 偏移感知校准（SR）是性能突破的关键瓶颈所在：仅引入双标记能够带来 +9.5% 的 \(\mathcal{J}\) 提升，而一旦结合偏移校准模块，Mix \(\mathcal{J}\) 进一步剧烈飙升 12.2%（从 52.9% 到 65.1%）。这充分证实了隐空间漂移是多模态序列分割中最致命的性能制约。
- 动态置信门控对抗传感器失效至关重要：结构消融显示，若仅仅将模态特征粗暴拼接到分割标记上，\(\mathcal{J}\&\mathcal{F}\) 仅为 67.4%；采用残差机制直接提升至 72.5%；而进一步加入模态动态置信门控后提升至 74.4%，且 Null 集上的假阳性错误率 \(\mathcal{S}\) 降至最低的 0.010。这表明门控成功抑制了静音帧或遮挡帧中的噪声残差。
- 专注难例的目标偏移专项子集展现压倒性优势：在作者筛选出的 371 个包含剧烈遮挡、发声暂停和高度混淆同类实体的极限测试集上，所有基准模型性能均出现断崖式下跌（EEMC 的 Mix \(\mathcal{J}\) 降至 25.8%，TGS-Agent 跌至 47.1%），而 SAIL 依然保持了 59.4% 的 Mix \(\mathcal{J}\) 和 67.6% 的 \(\mathcal{F}\)，超出此前最强的复杂多阶段强化模型 AURORA 达 12.7% 之多。
亮点与洞察¶
- 精巧的“因果双标记”概念解耦：将抽象不变的“实体语义身份（Semantic Identity）”与瞬息万变的“帧级局部特征（Temporal Dynamics）”拆分，利用因果语言模型的生成顺序自然确立先验约束，思路极具启发性。
- 残差几何视角的偏移纠错机制：没有依赖大语言模型脆弱的自注意力黑盒来臆测时空漂移，而是用持久锚点主动到连续视觉/音频特征中“打捞”实体专属证据，用差值向量明确定义并消除漂移，可复用于多种具身追踪与视频定位任务。
- 单阶段纯端到端架构的极高实用价值：在不需要预先使用 Grounding-DINO、额外目标检测框先验或多阶段提示对齐预训练的情况下，模型在推理延迟（128 ms/7.8 FPS）和显存开销（22.5 GB）上保持了良好的工程可行性，显著优于多阶段串联系统。
局限与展望¶
- 小物体及严重遮挡下的空间分辨率受限：作者在附录失败案例中指出，当发声目标体积微小且发生严重空间重叠（如演奏者手中微小的长笛）时，全局标记和下采样的视听特征缺乏足够的空间分辨粒度，容易出现掩码破碎或漏检。
- 多声源重叠与歧义指令下的辨识瓶颈：当场景中存在多个同时发声的同类实体且用户的自然语言表达含糊时，系统可能退化并默认吸附到画面中最显著的前景实体，未来需引入交互式多轮对话澄清机制。
- 单帧标记展开的长视频可扩展性：当前模型针对每一秒视频帧展开生成独立的
[seg]_t标记，这在 10 秒短视频片段上表现优异，但面对分钟级长视频时上下文长度和计算成本将显著激增，未来有待探索稀疏关键帧选择或分层记忆传播机制。
相关工作与启发¶
- vs EEMC / TSAM: 早期专用模型主要设计复杂的跨模态注意力模块，在静态或简单运动场景有效，但缺乏全局概念理解，一旦目标出现听觉静默或视觉盲区，物体追踪便彻底崩溃；SAIL 借助 MLLM 的语义理解与全局锚点机制实现了中断后的再识别与长程锁定。
- vs TGS-Agent / AURORA: 这类最新方法依赖“LLM 规划 -> Grounding-DINO 目标定位 -> SAM 分割”的多阶段串联流程或大规模额外微调数据集，系统庞大且存在级联误差累积；SAIL 采用单阶段端到端架构，完全依靠内部双标记机制与连续动态记忆更新，在推理一致性上更为严密。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次针对 Ref-AVS 明确形式化了目标偏移瓶颈，提出了优雅的因果双标记解耦与证据残差校准机制。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖双权威基准、严密的逐项消融、极具说服力的目标偏移专项子集测试以及不同 MLLM 骨干/解码器的全面对比。
- 写作质量: ⭐⭐⭐⭐⭐ 概念界定清晰准确，公式推导严谨自洽，方法动机与设计细节丝丝入扣。
- 价值: ⭐⭐⭐⭐⭐ 为多模态视频指代分割、复杂音视频具身理解与时空实体连续追踪提供了极具借鉴意义的技术路线。