Dual-Anchoring: Addressing State Drift in Vision-Language Navigation¶

会议: ECCV2026
论文: ECCV 原文
PDF: 论文全文
领域: 机器人/具身智能
关键词: 视觉语言导航、状态漂移、指令进度、地标记忆、回顾式世界模型

一句话总结¶

Dual-Anchoring 为流式视觉语言导航加入“已经完成哪段指令”和“刚刚经过什么地标”两种训练监督，将 R2R-CE 未见环境 SR 从 StreamVLN 的 56.9% 提升至 65.6%，且默认部署无需保留辅助重建分支。

研究背景与动机¶

视觉语言导航要求机器人理解自然语言路线，并依据第一人称画面持续输出前进、转向和停止等动作。在连续环境中，机器人不能只选择导航图上的下一个节点，还必须把语言中的位置关系转化为低层控制。 StreamVLN 等 Video-LLM 导航器通过流式历史上下文保留过去观察，使动作预测不局限于当前单帧。但“保留历史输入”不等于“知道任务进行到哪里”：同一个走廊开口，在不同阶段可能意味着继续直行，也可能意味着应该转弯。

论文把这种内部状态与实际执行状态逐渐脱节的现象称为状态漂移，并区分两个相互关联的来源。进度漂移是把未完成的子目标误判为完成，例如尚未走到走廊尽头就执行下一条左转指令。记忆漂移则是历史表征失去地标辨识度，机器人不再清楚自己刚经过哪个房间，因此容易混淆相似位置。只监督下一步动作时，模型可以利用局部视觉线索得到正确答案，却未必学会持续维护这两类状态。这个解释是作者提出的机制假设，后续导航收益和状态可视化为其提供支持，但并不是对所有失败原因的穷尽归因。

本文没有再增加一个部署时的复杂规划器，而是让训练目标直接约束历史表示应当保留什么信息。语言侧把完成进度限制在原指令的连续前缀，视觉侧要求从当前模型表示中重建最近经过地标的特征。前者提供任务顺序约束，后者提供过去观察的物体级参照；两者都服务于已有的动作生成主干。 核心 idea：用指令进度锚定约束“做到哪一步”，用记忆地标锚定约束“从哪里来”，把长期导航需要的状态一致性变成可学习的辅助监督。

方法详解¶

整体框架¶

模型沿用 StreamVLN 的流式架构，以 LLaVA-Video 为主干，输入自然语言指令、当前单目 RGB 观察和累积历史上下文。输出仍是导航动作；新增部分分别是指令进度锚定（Instruction Progress Anchoring，IPA）和记忆地标锚定（Memory Landmark Anchoring，MLA）。 IPA 属于文本共训练任务，MLA 属于特征重建辅助头，两者并行约束同一主干，而不是先后串联的控制器。下面虚线表示训练监督；动作分支是默认部署路径，不能把图理解为测试时调用 Qwen3-VL 或 SAM。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Input["指令与流式 RGB 历史"] --> Backbone["StreamVLN 主干"]
        Backbone --> IPA["指令进度锚定"]
        Backbone --> MLA["记忆地标锚定"]
        Progress["离线指令前缀标注"] -.-> IPA
        Landmark["离线历史地标 SAM 特征"] -.-> MLA
        IPA -.-> Training["训练损失更新主干"]
        MLA -.-> Training
        Backbone --> Action["导航动作<br/>默认部署路径"]
        Action -.-> Training

监督数据提前由专家轨迹生成，导航器本身并不承担大模型标注任务。论文构建了 3.6M 条进度描述和 937K 条地标监督数据，用来把粗粒度路线指令变成随时间变化的训练目标。默认推理可丢弃辅助分支；论文展示进度文本或地标特征时，则重新使用这些能力作为状态探针。因此，该方法应理解为用显式目标塑造隐状态，而不是每次行动前都执行一套外部记忆检索流程。

关键设计¶

1. 指令进度锚定：把模糊的任务阶段变成受原指令约束的文本目标

标准导航数据通常只有整段指令和完整轨迹，没有每个时刻“已完成哪些子目标”的答案。作者先在轨迹图像左上角叠加帧编号和已执行动作文本，让离线标注器能区分前进、转向以及相邻画面的运动关系。再沿轨迹按间隔采样，每个采样时刻只提供截至当前的图像历史与完整指令，而非用未来画面解释当前进度。 Qwen3-VL 先对照视觉证据分析动作和地标，再给出沿用原指令措辞的已完成子目标总结。随后用语言模型精炼输出，去掉中间推理，并严格限制结果为原指令的连续前缀。这个限制使监督更接近“路线检查表”，而不是可能自由补充物体或跳过步骤的场景描述。剩余任务由未被包含的指令后缀隐含确定，不应误解为必须维护两个独立列表。

训练时，相关提示词要求先说明已完成部分，目标序列则把合成进度描述放在专家动作之前。模型于是需要用相同历史上下文解释任务状态并预测动作，使语言状态与控制目标发生联系。它与一般动作解释的区别在于监督对象是整条路线中的完成边界，而不只是“为什么现在左转”。进度目标也不是一个标量完成率：两个长度相同的前缀可能对应不同地标和方向，保留原文能保留这些语义。该约束依赖路线大体按指令顺序执行；遇到回退、重复访问或非顺序指令时，连续前缀表达可能不够灵活。这属于由方法假设推导出的适用性边界，并非论文已经单独测试出的失败结论。

2. 记忆地标锚定：从模型历史表示中回顾最近经过的地标

进度文本即使正确，也不能保证模型仍记得某扇门或某个房间的视觉细节，因此作者为视觉历史再增加一项可验证目标。离线阶段先由 Qwen3 将指令拆成含动作或地标的原子子目标，再由 Qwen3-VL 在完整视频中定位各地标首次出现的帧。标注必须满足子目标出现时间严格递增；违反这个时间顺序的样本会被过滤。在任一训练时刻，系统选择时间不晚于当前时刻的最近地标帧，并用冻结的 SAM 提取高分辨率空间特征。这里使用完整视频的是离线地标定位器；导航模型要重建的目标始终来自已经出现的历史帧。原文所述目标是该地标帧的稠密 SAM 特征图，并未明确给出只裁剪一个对象掩码的实现，不能把物体中心监督等同于单物体分割标签。

重建器读取 Video-LLM 的输出序列，其中包含历史与当前视觉语义，而不是直接复制目标地标图像。它先用线性投影和 LayerNorm 降低特征维度，以减少后续注意力计算量。随后，一组对应目标空间网格的可学习查询通过交叉注意力，从压缩序列中提取各位置需要的局部线索。查询结果再投影到 SAM 通道维度并重排为空间特征图，与冻结目标计算均方误差。若主干已经忘记过去的地标，这个重建任务就更难完成，梯度因而鼓励它保留可区分的历史物体信息。与预测未来图像的世界模型不同，这里预测的是过去观察的特征，不需要把尚未发生的未来视图当作唯一目标。辅助头不是显式地图，也没有独立负责选择动作；它通过训练改变主干的表示质量。

一个完整示例¶

论文图 4（第 11 页）的指令要求离开浴室、一直走到走廊尽头，然后左转。在第 17 步，机器人遇到一个看起来可以转入的开口，但那里并不是真正的走廊尽头。基线提前左转，可理解为把“沿走廊直行”误判为已完成，并提早进入下一子目标。双锚定模型的进度探针显示直行阶段仍未完成，地标探针则能够重建先前浴室的特征。两个信号分别对应“左转还没到执行时机”和“最近的历史参照仍是浴室”，帮助解释它为何继续前进。图中的辅助输出用于展示潜在状态，并不意味着生产推理必须逐步打印进度或显示 SAM 特征。这是一条定性轨迹示例，不能单独作为内部状态与动作之间已建立因果关系的证明。

损失函数 / 训练策略¶

第一阶段在基础导航数据上预训练，同时保留动作、进度文本和地标重建三个目标。导航数据包括 R2R、RxR、EnvDrop 的 180K 条轨迹，以及 ScaleVLN 的 HM3D 子集 155K 条轨迹。进度和动作目标采用文本生成监督，地标分支采用预测特征与冻结 SAM 特征之间的均方误差。按第 3.4 节的文字描述，总目标可以概括为以下加权和；这是对可读文字的整理，不是对损坏公式排版的逐符号还原。

\[ \mathcal{L}_{\mathrm{Stage1}}=\mathcal{L}_{\mathrm{nav}}+\lambda_{\mathrm{prog}}\mathcal{L}_{\mathrm{prog}}+\lambda_{\mathrm{WM}}\mathcal{L}_{\mathrm{WM}}. \]

第二阶段用第一阶段策略收集约 240K 条 DAgger 纠正样本，减轻训练沿专家轨迹、测试沿自身轨迹造成的分布偏移。同阶段还混入 400K 条 VideoQA 和 230K 条图文数据，尽量保留主干已有的通用视觉语言能力。作者说明第二阶段导航相关批次继续启用两个锚定目标，而不是预训练结束后就放弃状态约束。实现使用 AdamW、学习率 1e-5 和 32 张 NVIDIA H200 GPU。缓存没有提供可核验的完整附录超参数，损失权重、查询网格尺寸和采样间隔不在此补写。这些训练资源和离线标注成本应与“默认推理不增加辅助头计算”分开理解。

实验关键数据¶

主实验¶

表中均为 validation unseen，来源为原文表 2（第 10 页）；选取使用单目 RGB 的 StreamVLN、DualVLN 与本文比较。 NE 是最终位置到目标的导航误差，越低越好；SR 是成功率，SPL 是按路径效率加权的成功率，后二者以百分数报告。 OSR 表示轨迹途中是否曾进入成功范围，而非最终停止是否正确，本表为简洁起见未列出。 SR 与 SPL 的差值应按百分点理解，不能直接称为相对提升百分比。

数据集	方法	NE ↓	SR (%) ↑	SPL (%) ↑
R2R-CE	StreamVLN	4.98	56.9	51.9
R2R-CE	DualVLN	4.05	64.3	58.5
R2R-CE	Dual-Anchoring	4.15	65.6	62.1
RxR-CE	StreamVLN	6.22	52.9	46.0
RxR-CE	DualVLN	4.58	61.4	51.8
RxR-CE	Dual-Anchoring	4.42	61.7	53.3

R2R-CE 相对 StreamVLN 的 SR 增加 8.7 个百分点，SPL 增加 10.2 个百分点；RxR-CE 的 SR 增加 8.8 个百分点。本文并非所有指标都领先：R2R-CE 的 NE 4.15 仍高于 DualVLN 的 4.05。摘要称 SR 相对提升 15.2%，但按表中四舍五入后的 56.9 与 65.6 计算约为 15.3%；本笔记保留表内原值，不强行修正摘要口径。

消融实验¶

来源为原文表 3（第 12 页），评测统一为 R2R-CE validation unseen。 Standard 对应 R2R+RxR+EnvDrop；All 对应论文的全数据设置。

训练设置	IPA	MLA	NE ↓	SR (%) ↑	SPL (%) ↑
Standard	无	无	6.49	40.8	37.4
Standard	有	无	6.27	45.4	41.1
Standard	无	有	6.01	47.7	43.3
Standard	有	有	5.73	49.5	44.9
All	无	无	4.98	56.9	51.9
All	有	无	4.72	60.8	55.1
All	无	有	4.51	62.5	57.3
All	有	有	4.15	65.6	62.1

Standard 中总训练样本数受控，加入 IPA 时用进度增强数据替换一半基础导航样本，因此这组对比更能隔离监督方式的收益。 All 中作者明确不控制总训练样本数，而是额外加入全部进度数据；不能把全部提升仅归因于模块结构。表注说导航样本数相同，正文又区分总样本数控制方式，两者需连同阅读，不能简化为“所有消融数据预算完全一致”。 Standard 中单用 MLA 达到 47.7% SR，高于单用 IPA 的 45.4%；联合达到 49.5%，支持二者互补但并不证明增益可线性相加。

关键发现¶

图 5（第 13 页）按测地距离划分 Short [3.85, 7.55)、Medium [7.55, 9.81) 和 Long [9.81, 21.04] 米三组。 Long 组报告 SR 相对提升 24.7%、SPL 相对提升 33.2%；这些是相对百分比，不是百分点，也不是该组的绝对成功率。为避免从图中文字抽取结果猜测柱高，此处不补写各长度组的绝对 SR/SPL。标注质量的独立分析见表 4（第 13 页），以下保留原始分值而非只列相对改善幅度。

标注数据	指标	对照	本文	对照设置
进度描述	HR (%) ↓	8.13	6.04	不叠加运动提示
进度描述	LCS (1–5) ↑	1.71	4.26	不叠加运动提示
地标帧	LPR (%) ↑	13.9	75.6	随机采帧

HR 衡量描述是否包含原指令没有的实体，LCS 用 1–5 分评估完成描述是否为不跳步的连续前缀。 LPR 由 Qwen3-VL 判断选定帧中地标是否可辨认；它不是人工标注定位准确率，75.6% 也说明监督并非完全可靠。真实部署使用 Unitree Go2 和 D435i 相机，将 RGB 流发送到 H20 服务器预测动作，再通过机器人 API 执行。第 14–15 页只提供定性示例，没有真实场景成功率、试验次数或端到端时延表，不能据此声称定量验证了本地实时运行。

亮点与洞察¶

本文把“历史上下文存在”与“历史状态可验证”分开。增加输入长度不一定阻止忘记地标，重建目标则直接约束应保存的信息。
进度监督沿用指令前缀，而非自由生成长篇推理。这使任务顺序有明确边界，也减少标注器任意改写路线的空间。
回顾式世界模型不需要预测所有可能未来。它选择已经发生的视觉参照作为监督，为长程控制提供另一种特征学习方向。
两个锚定目标主要作用于训练期。可迁移的思路是给其他长程具身任务增加进度与历史验证目标，而不是照搬一套导航控制器。

局限与展望¶

作者未单列局限章节；以下主要是依据实验与方法作出的读者评估，而非声称作者报告了这些失败模式。
进度和地标标注高度依赖自动标注器，质量评估又使用模型判分。应补充独立人工审核，尤其检查看似合理但与真实轨迹不符的进度。
严格时间单调性与连续前缀假设适合顺序路线，但可能过滤包含回访或绕行的有效数据。可进一步测试允许回退的状态表示。
地标目标来自完整帧的稠密特征，是否主要记住背景、是否真正保留指令相关对象，还需要更直接的表征和对象级干预实验。
全数据消融混合了监督设计与样本规模收益，建议补充相同总 token、训练步数和计算预算的对照。
真实机器人示例使用远程服务器，没有说明网络延迟、断连鲁棒性与完整成功率。部署能力仍需标准化多次试验支撑。
文本缓存的多处公式抽取损坏，且未包含所提到的详细附录；本笔记不据此编造精确张量超参数或缺失训练权重。

评分¶

新颖性: 4/5。把进度前缀监督与历史地标重建组合起来，针对导航状态漂移提出了明确的学习目标。
实验充分度: 3/5。包含双基准、组件消融和数据质量分析，但全数据预算控制与真实部署统计仍不充分。
写作质量: 4/5。两种漂移的解释清楚，但训练辅助输出与默认推理路径需要仔细区分。
价值: 4/5。为不增加默认辅助头推理成本的长程导航训练提供了有实证支持的方向。