EgoCogNav: Cognition-aware Human Egocentric Navigation¶

会议: ECCV 2026
论文: ECCV 原文
领域: 机器人/具身智能
关键词: 第一人称导航、主观路径不确定性、轨迹预测、头部运动、认知条件解码

一句话总结¶

EgoCogNav 将人的主观路径不确定性作为可监督、可用于条件解码的内部状态，联合预测第一人称导航中的轨迹和头部运动，在 CEN 留出测试集上相较适配后的 EgoCast 将 ADE/FDE 降低约 3.8%/5.0%，不确定性预测的 Spearman 相关系数达到 0.788。

研究背景与动机¶

人在陌生建筑里接近岔路时，并不总会沿当前速度继续前进：可能停下来辨认标识、转头寻找线索，甚至折返到上一处路口。传统轨迹预测主要利用运动历史和场景约束，能解释“哪里可以走”，却不一定知道“这个人现在是否拿得准方向”。第三人称或鸟瞰视角还容易提供超出行人实际视野的信息，使预测模型忽略人在局部可见环境中的认知困难。

这里的主观路径不确定性，是人在几种行动选择之间难以决断的状态，不是神经网络对自身输出的置信度，也不是多条预测轨迹的统计方差。已有认知寻路模型往往把标识、路径选择数量或空间可见性写成规则；另一方面，第一人称运动预测模型虽然能使用视频与传感器，却缺少连续认知标签。因此，关键问题不仅是给预测器多加一个输入，而是怎样让“人正在犹豫”成为能影响未来运动预测的可学习状态。

本文为此采集 CEN 数据，让参与者边寻路边连续报告不确定性，再将该信号同时用于共享表示的监督和预测头的条件调制。核心 idea：先从第一人称感知与运动历史估计当前主观不确定性，再结合可学习导航模式调制解码，使模型不仅拟合运动惯性，也学习犹豫、扫视与折返所对应的感知—认知—运动关系。

方法详解¶

整体框架¶

任务输入是过去 3 秒的第一人称视频、身体坐标系运动增量、头部旋转、二维注视点，以及当前身体坐标系中的目标距离与方向。所有流对齐到 10 Hz，即输入 30 步，输出未来 1 秒的 10 步轨迹和头部运动，同时估计当前时刻的主观不确定性。

主体流程包含双流时序晚融合、梯度耦合不确定性估计、导航模式记忆和不确定性条件解码。融合特征一方面估计认知状态，另一方面检索模式记忆；后者不是由不确定性标量直接检索，二者在条件解码处汇合。两个预测头最终分别输出身体运动和头部旋转，因此这是一项人类行为预测任务，而不是已经部署的机器人闭环导航策略。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["视频、运动、头姿<br/>注视与导航目标"] --> Fusion["双流时序晚融合"]
    Fusion --> Uncertainty["梯度耦合<br/>不确定性估计"]
    Fusion --> Memory["导航模式记忆"]
    Uncertainty ~~~ Memory
    Human["人工不确定性标签<br/>仅训练监督"] -.-> Uncertainty
    Uncertainty -->|预测的认知状态| Decode["不确定性条件解码"]
    Memory -->|记忆增强特征| Decode
    Decode --> Output["未来轨迹与头部运动"]

虚线表示训练监督，实线表示预测时的数据流；推理时不需要参与者继续提供主观评分。

关键设计¶

1. 双流时序晚融合：先保留各模态的时间规律，再形成共享状态

感知流把每帧图像缩放至 224×224，经冻结的 DINOv2 提取 384 维 CLS 特征，再投影到 512 维并送入 2 层 Transformer。动作流则将身体位移与朝向增量、6D 连续头部旋转、归一化注视坐标和目标特征组合，投影到同一宽度后通过 4 层 Transformer；两条流均使用正弦位置编码。目标用距离及方位角的正弦、余弦表达，避免把角度边界误当成突然的方向跳变。

两条流分别沿时间平均池化，拼接成 1024 维向量，再经线性层与层归一化得到共享的 512 维状态。这样的晚融合让视觉场景变化与身体动作先各自形成时间表示，而非一开始把所有模态混进同一个序列。其代价是平均池化仍会压缩短时事件细节；此外，与早融合基线的整体比较同时改变了认知模块，不能单凭该比较把全部收益归因于晚融合。

2. 梯度耦合不确定性估计：让人的决策困难参与塑造运动表示

共享状态输入两层 MLP，经过 sigmoid 输出处于 [0,1] 的当前主观不确定性。监督来自参与者操作 Xbox 控制器连续自报的评分，而不是模型自己计算的熵。该预测头与轨迹、头姿任务共享编码器，因此认知回归损失会反向更新同一套表示，使编码器关注那些既能解释主观困难、又预示运动变化的线索。

这一区分对理解消融很重要：“增加不确定性预测”即使尚未启用后面的条件解码，也能改善轨迹和头部预测，因为辅助任务已经改变了共享表示。它并不证明一个标量能完整描述人的心理状态，也不能把主观评分与扫视、折返的相关性直接解释为因果关系。本文估计的是当前认知状态，未来输出仍是运动序列，没有预测未来整段认知状态曲线。

3. 导航模式记忆：补充窗口之外的训练集规律，而非存储亲历路线

只有过去 30 步输入时，模型难以从一次短片段中推断所有可能的导航行为。作者引入 16 个可学习导航模式向量，每个为 256 维；共享状态投影为查询，通过交叉注意力读取这些模式，随后将检索结果投影回共享特征空间并残差注入。输出投影零初始化，使训练起点不被随机记忆扰乱，再逐步学习哪些模式值得加入。

这里的“记忆”是随训练更新的参数化模式库，不是在线记录某个用户刚刚走过的路，也不是从长视频数据库检索真实历史片段。其查询来自融合状态，预测不确定性负责后续调制，并未直接作为唯一检索键。这样能提供类似情境下的行为先验，但无法保证记住当前环境中上一处决策点的位置，这也解释了论文中的折返失败案例。

4. 不确定性条件解码：用认知状态改变特征处理，而不只增加一个输出

获得记忆增强特征后，模型用预测的不确定性经过带 SiLU 的两层 MLP，生成逐通道缩放与偏移参数，再用于自适应层归一化，即 UCD。直观上，相似的场景与动作特征，在“方向明确”和“正在犹豫”两种认知条件下，不必经过完全相同的解码变换。记忆提供可参考的模式，UCD 决定当前状态下如何处理这些模式。

调制网络采用零初始化，使初始缩放增量与偏移均为零，即先不引入额外的认知调制；严格说，这时仍包含层归一化，并非对原始输入做数值恒等映射。调制后的共享特征进入两个任务头，分别输出未来 10 步的三维身体运动参数和 6D 头部旋转。整个路径是确定性的单一未来预测，较高主观不确定性不会自动变成多条候选路线。

一个完整示例¶

设一位行人接近有遮挡的岔路，最近 3 秒内放慢速度，并左右转头寻找标识。这是用于说明流程的情景，不是论文额外报告的一条定量样本。

感知流编码遮挡与场景变化，动作流编码减速、头部转向、注视位置以及目标相对方向。融合状态一方面估计当前决策困难，另一方面从 16 个模式中读取相关导航先验；UCD 再用估计的不确定性调节记忆增强特征，输出接下来 1 秒的位移、朝向与头部运动。

训练时，这一窗口有人类评分和真实未来运动共同监督；测试时则只使用历史传感器与目标。模型可能学到接近路口时的停顿或扫视，但如果真正应折返到较早经过的另一处分岔，参数化模式库没有显式保存该处分岔，仍可能给出错误的返回路线。

损失函数 / 训练策略¶

轨迹损失使用偏重近期预测的折扣 L1 误差，折扣参数为 0.98；另加入权重 0.3 的方差正则，使预测序列在各运动坐标上的时间标准差接近真实序列，减少过度平滑。头部损失先将预测和真实的 6D 表示恢复为旋转矩阵，再计算相对旋转与单位矩阵的 L1 距离，并对未来步骤平均。

不确定性使用预测值与人类评分之间的均方误差，三个任务损失等权相加。按正文文字说明，可将这一组合写为：

\[ \mathcal{L}=\mathcal{L}_{\mathrm{traj}}+\mathcal{L}_{\mathrm{head}}+\mathcal{L}_{U},\qquad \mathcal{L}_{U}=(\widehat{U}_t-U_t^{\mathrm{human}})^2. \]

缓存中式 (1)–(8) 的部分符号排版损坏；以上仅按清晰文字说明表达损失组合，不尝试恢复受损的交叉注意力、折扣幂次或调制公式，精确原式应以原论文排版为准。

训练使用单张 RTX 4090、AdamW、300 个 epoch、余弦退火，最大学习率为 1×10⁻⁴，权重衰减 8×10⁻⁵，batch size 为 64。DINOv2 全程冻结，视觉特征预先缓存；共享宽度为 512，动作/感知编码器分别为 4/2 层，记忆为 16×256。

实验关键数据¶

主实验¶

CEN 包含约 6 小时、17 名参与者、42 个地点和 226k 帧 RGB。室外使用 Tobii Pro Glasses 配合 GPS，室内使用 Project Aria；视频、眼动、运动和主观评分统一对齐到 10 Hz。研究还标注岔路、遮挡、拥挤、空间转换，以及犹豫、走错、折返、扫视、确认和回看等行为。

测试集是留出的行走记录，同一场景的参与者遵循相同航点顺序。原文将其界定为对未见行走实例、头部与眼动变化、局部第一人称观测的泛化；不能据此宣称对全新路线、地点或参与者的独立泛化。

ADE 是未来各时间步预测位置与真实位置的平均距离，FDE 是终点距离；Head 是旋转矩阵 L1 误差而非角度。MAE 衡量主观不确定性数值误差，Spearman ρ 衡量排序相关性。High-U 取高不确定性的前 20% 子集；下表保留原表精度，不为未明确标注的位移量补写单位。

表 1 摘录，全测试集；EgoCast* 是使用相同冻结 DINOv2 特征并适配到本任务的版本，不是其原任务成绩。

方法	ADE ↓	FDE ↓	Head ↓	不确定性 MAE ↓	ρ ↑
Const_Vel	0.1892	0.4257	0.0875	不适用	不适用
M_Transformer	0.1536	0.3213	0.0776	0.1247	0.683
EgoCast*	0.1092	0.2184	0.0712	0.1029	0.752
EgoCogNav	0.1051	0.2074	0.0698	0.0986	0.788

High-U 上，EgoCast* 的 ADE/FDE 为 0.1198/0.2369，EgoCogNav 为 0.1155/0.2256。全测试集的相对 ADE/FDE 改善约为 3.8%/5.0%，并非数十个百分点的大幅提升。

表 2 摘录。ΔU 定义为带有导航行为标注的片段与中性片段之间，预测不确定性的均值差；它衡量行为敏感性，不能单独作为校准质量或因果效应的证据。

方法	全集 MAE ↓	全集 ρ ↑	High-U MAE ↓	High-U ρ ↑	ΔU ↑
EMU 代理模型	0.1887	0.081	0.1842	0.100	0.0122
PATH_U 适配模型	0.1857	0.195	0.1814	0.210	0.0212
EgoCogNav	0.0986	0.788	0.1017	0.636	0.0829

EMU 基线把场景感知歧义与短期行为变化线性拟合到标签，PATH_U 则使用决策复杂度、行为变化等 5 维特征做线性回归。结果支持多模态学习优于这些具体适配基线，不能扩大为对所有认知理论或所有 PATH-U 实现的否定。

消融实验¶

表 3 摘录。以下配置按组件组合比较；“+ Memory”与“+ UCD”都在“+ U prediction”基础上增加组件，并非逐行累加。

配置	全集 ADE ↓	全集 FDE ↓	全集 Head ↓	High-U FDE ↓
Base module	0.1168	0.2443	0.0785	0.2630
+ U prediction	0.1121	0.2217	0.0721	0.2401
+ UCD，无记忆	0.1096	0.2188	0.0712	0.2381
+ Memory，无 UCD	0.1114	0.2193	0.0707	0.2384
完整模型	0.1051	0.2074	0.0698	0.2256

关键发现¶

单加认知监督便使 FDE 从 0.2443 降到 0.2217，约降低 9.2%；Head 从 0.0785 降到 0.0721，约降低 8.2%。辅助监督本身就是重要收益来源。
UCD 与记忆共同启用时得到最低总体轨迹误差，支持“模式补充”和“认知调制”的互补性，但原文未提供重复运行方差或显著性检验。
表 4 显示“Motion+Goal+Video”的不确定性 MAE 为 0.0968，反而低于完整模型的 0.0986；完整模型的 ρ 更高。新增模态并非改善每个指标，排序一致性和绝对数值拟合不能混为一谈。
表 5 中回看行为的 Head 误差，完整模型为 0.1277，而“+ Memory”为 0.1244；完整模型并非在所有行为子类上最优。

亮点与洞察¶

认知标签有两种用途：先作为辅助监督改善表示，再作为内部条件影响解码。表 3 将这两步分开，避免把收益笼统归结为“加入认知”。
把头部与身体一起预测很有意义：人在真正转弯前可能先扫视或确认，头部行为提供了不同于位移惯性的信号。眼动进一步补充当前注意位置，但仍需逐指标评估其价值。
将参数化模式记忆与在线情景记忆区分开，有助于判断哪些能力已实现。16 个可学习向量可以学习常见导航规律，却不能代替当前路线地图或个人空间记忆。

局限与展望¶

作者报告了遮挡下折返路线错误、短暂犹豫与回看漏预测等失败。更长时间的真实情景记忆、3D/语义地图可能比单纯扩大参数化模式库更直接地补足这类信息。
当前只输出单条轨迹与头部序列；相同主观不确定性可能对应多种合理行动。生成式多假设预测是作者提出的方向，但本文尚未验证。
数据规模为 17 人、约 6 小时，且采用固定航点顺序。跨主体、跨路线、跨场所的严格划分及多随机种子结果，是后续验证泛化和稳定性的必要补充。
连续手柄评分是有价值但不完美的主观测量，参与者还接受了不确定时主动寻找线索的指示。评分负担与实验指示可能影响自然行为，这属于阅读后的评估建议，非本文已量化的效应。
尚未展示闭环辅助导航或机器人部署收益，也没有通过干预实验证明认知状态导致某种动作。环境体验分析与预测相关性不应被写成已实现的安全保证。

评分¶

新颖性: 4/5，连续主观认知监督与第一人称多任务预测结合有辨识度，组件主要沿用成熟架构。
实验充分度: 3/5，包含基线、组件、模态与行为分析，但严格跨域划分和统计稳定性证据不足。
写作质量: 4/5，模块动机和失败案例清楚，个别“总体更好”的表述需结合非单调指标理解。
价值: 4/5，为认知感知导航提供了可研究的数据与建模入口，实际辅助效果仍需闭环验证。