ST-DiffEye: Diffusion-based Continuous Gaze Generation via Joint Scanpath-Trajectory Modeling¶

会议: NeurIPS 2026
arXiv: 2606.15486
论文: https://st-diffeye.github.io/
领域: 人体理解
关键词: 视线生成、眼动轨迹、扫描路径、扩散模型、CRPS 概率评测

一句话总结¶

本文提出一种联合扫描路径与连续眼动轨迹的扩散模型框架 ST-DiffEye，通过构造连续注视点索引（fixation index）并作为额外输入通道与轨迹拼接，在零额外架构开销下实现跨尺度注意力信号协同学习，同时引入基于连续分级概率评分（CRPS）的分布感知评测准则，在任务驱动视觉搜索与自由观看基准上取得 SOTA 表现。

研究背景与动机¶

人类视觉注意力通常以两种互补模态记录与分析：一是眼动仪高频采样的连续眼动轨迹（continuous trajectory），记录眼球在注视期间的微动以及眼跳（saccade）的运动学细节；二是经注视点提取后得到的离散扫描路径（scanpath），将注意力过程压缩为注视点空间质心与停留时长的有序序列。在生成式眼动建模中，传统方法（如 GazeFormer、HAT、TPP-Gaze 以及基于扩散模型的 ScanDiff）主要针对低维离散扫描路径进行建模，虽然能捕捉高层语义注视结构，但完全丢弃了底层的连续运动动态；而近期以 DiffEye 为代表的连续轨迹生成方法虽证明了直接生成高频轨迹再通过后处理提取扫描路径的优越性，却仅将原始轨迹作为唯一监督信号，缺乏高层离散注视结构的显式引导，导致眼跳过渡段容易因随机性过强而缺乏语义组织。

这一割裂背后的核心矛盾在于：离散扫描路径提供了注意力停留位置的粗粒度结构摘要，而连续轨迹提供了眼跳过渡与注视微动的细粒度时序信号，单一模态监督无法同时兼顾语义结构一致性与连续动力学真实感。此外，现有生成式视线评测协议也存在明显盲区——均值（Mean）协议偏向零方差的模式坍缩生成，最优匹配（Best-of-\(N\)）协议偏袒低方差生成，而基于分数直方图的 KL 散度（KLD）协议无法区分产生相同直方图但空间分布截然不同的退化生成器。

基于多尺度表征互补的洞察，本文不再将扫描路径与连续轨迹视为非此即彼的建模对象，而是将二者沿共享时间轴对齐。核心 idea：通过锚点对齐与线性插值将离散扫描路径转化为与连续轨迹等长的连续注视点索引通道，在输入层直接拼接后送入条件扩散 Transformer 联合去噪，并构建基于连续分级概率评分（CRPS）的严格适当评分规则以统一评估生成视线分布的准确性与多样性。

方法详解¶

整体框架¶

ST-DiffEye 以刺激图像 \(I\) 与可选的任务文本条件 \(c\)（如视觉搜索中的目标类别）为输入，旨在学习条件分布 \(p_\theta(R \mid I, c)\) 以生成连续眼动轨迹 \(R\)，并经由注视点提取后处理输出离散扫描路径 \(S\)。整体流程分为四个阶段：首先提取多模态条件特征；其次在训练阶段通过注视点索引（Fixation Index）将离散扫描路径与连续轨迹在通道维对齐拼接；随后利用条件扩散 Transformer（DiT）在潜空间中进行前向加噪与反向去噪学习，并联合预测有效序列长度；最后在推理采样时丢弃辅助索引通道，从生成的连续轨迹中提取最终扫描路径。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["视觉刺激 I + 任务条件 c"] --> B["多模态条件编码<br/>DINOv2 + CLIP 融合为 V_joint"]
    C["原始轨迹 R + 离散扫描路径 S"] --> D["连续注视点索引构造与通道拼接<br/>锚点对齐 + 线性插值构造 4 维增广 token"]
    B --> E["条件 DiT 联合潜空间去噪与变长解码<br/>交叉注意力注入 V_joint + 长度头预测有效前缀"]
    D -->|训练期投影加噪| E
    E -->|采样期丢弃索引通道 + 注视点提取| F["连续轨迹 R̂ 与离散扫描路径 Ŝ"]
    F --> G["基于 CRPS 的分布级评测协议<br/>联合度量样本贴近度与生成多样性"]

关键设计¶

1. 连续注视点索引构造与通道拼接：以零架构开销在共享时间轴上对齐高层注视结构与底层轨迹动态

针对连续轨迹中眼跳过渡段随机性强、缺乏高层语义约束的痛点，本文设计了连续注视点索引（Fixation Index），将长度为 \(M\) 的离散扫描路径 \(S = \{(x_m^{\mathrm{sp}}, y_m^{\mathrm{sp}}, \Delta t_m^{\mathrm{sp}})\}_{m=1}^M\) 编码为与长度为 \(T\) 的连续轨迹 \(R = \{(x_t^{\mathrm{tr}}, y_t^{\mathrm{tr}})\}_{t=1}^T\) 严格等长的连续标量序列。具体而言，首先在满足严格时序单调性 \(1 \le t_1 < t_2 < \dots < t_M \le T\) 的前提下，通过最小化空间欧氏距离将每个离散注视点 \((x_m^{\mathrm{sp}}, y_m^{\mathrm{sp}})\) 锚定到轨迹上最近的时间步 \(t_m\)，并补充边界锚点 \(t_0 = 1\)（赋值为 \(0\)）和 \(t_{M+1} = T\)（赋值为 \(M+1\)）。对于相邻锚点 \(t_m\) 与 \(t_{m+1}\) 之间的任意轨迹点 \(t\)，采用均匀线性插值计算其注视点索引：

\[\rho_t = m + \frac{t - t_m}{t_{m+1} - t_m}, \quad t \in [t_m, t_{m+1}], \quad m = 0, \dots, M\]

该连续值直观反映了轨迹点在整个注视进程中的相对相位：接近整数 \(m\) 表示处于第 \(m\) 个注视点的停留簇内，而类似 \(m+0.5\) 的半整数则对应两次注视之间的眼跳过渡中点。随后将其归一化为 \(\tilde{\rho}_t = \rho_t / (M+1)\)，并与轨迹坐标及采样步长 \(\Delta t = 1/\text{sample rate}\) 拼接为 4 维增广轨迹 token \(\tilde{r}_t = [x_t^{\mathrm{tr}}, y_t^{\mathrm{tr}}, \Delta t, \tilde{\rho}_t]\)。这种设计无需引入复杂的跨模态交互分支，仅需将输入输出通道数扩展至 4 维，就能让扩散模型在去噪时显式感知每个高频轨迹点在全局扫描路径中的结构角色（注：对于原始轨迹存在较多出界噪声的 MIT1003 数据集，将 \(\tilde{\rho}_t\) 改为在 \(T \times 256\) 的潜空间表征上拼接为 \(T \times 257\) 可进一步缓解坐标级对齐误差）。

2. 条件 DiT 联合潜空间去噪与变长解码：结合视觉-语言上下文实现任意时长的连续轨迹生成

为了建模长时序高频轨迹（最高达 1500 个时间步，远长于最多 16 个点的离散扫描路径）并兼顾任务导向控制，模型摒弃了早期轨迹扩散模型 DiffEye 使用的 U-Net 架构，转而采用容量更强的编码器架构 Diffusion Transformer（DiT）。在条件侧，使用 DINOv2 提取密集图像特征 \(v(I) \in \mathbb{R}^{h \times w \times d_v}\)，使用 CLIP 文本编码器提取任务类别特征 \(\psi(c) \in \mathbb{R}^{d_t}\)（自由观看任务下无文本条件），二者投影至相同的 \(d\) 维空间并在通道维拼接后再经线性映射得到联合多模态表征 \(V_{\mathrm{joint}} \in \mathbb{R}^{hw \times d}\)。在生成侧，增广轨迹序列 \(\tilde{R}\) 先通过可学习投影层 \(g_\theta\) 映射为潜空间序列 \(z_0 = g_\theta(\tilde{R}) \in \mathbb{R}^{T \times d}\)，在经过 \(K\) 步前向高斯加噪得到 \(z_k\) 后，送入包含自注意力、以 \(V_{\mathrm{joint}}\) 为条件的交叉注意力及前馈网络的 DiT 去噪器 \(\phi_\theta\) 预测干净潜变量 \(\hat{z}_0 = \phi_\theta(z_k, V_{\mathrm{joint}})\)。随后由前馈解码器 \(\gamma_\theta\) 重建 4 维增广轨迹 \(\hat{R}\)，同时并联一个长度预测头 \(l_\theta\) 预测每个时间步 token 的有效性概率，从而自适应截断填充（padding）部分以反映人类真实注视时长的自然波动。在推理采样阶段，从标准高斯噪声 \(z_K \sim \mathcal{N}(0, I)\) 出发迭代去噪并解码出 \(\hat{r}_t = [\hat{x}_t^{\mathrm{tr}}, \hat{y}_t^{\mathrm{tr}}, \Delta t, \hat{\rho}_t]\) 后，直接丢弃仅作为训练期结构辅助信号的预测索引通道 \(\hat{\rho}_t\)，对保留的二维连续轨迹执行标准注视点提取算法即可获得离散扫描路径 \(\hat{S}\)。

3. 基于 CRPS 的分布级评测协议：消除点估计与直方图评测盲区的严格适当评分规则

针对现有眼动生成评测中 Mean 协议偏袒零方差均值坍缩、Best 协议偏袒低方差局部覆盖、KLD 协议丢失样本间空间几何关系的痛点，本文引入连续分级概率评分（Continuous Ranked Probability Score, CRPS），将任意现有的成对序列距离或相似度指标 \(d(\cdot, \cdot)\) 推广为分布级度量。给定同一视觉刺激下的 \(N\) 条人类真实样本 \(\mathbf{x} = \{x^{(i)}\}_{i=1}^N\) 和模型生成的 \(J\) 条样本 \(\hat{\mathbf{x}} = \{\hat{x}^{(j)}\}_{j=1}^J\)，CRPS 定义为：

\[\mathrm{CRPS}(\hat{\mathbf{x}}, \mathbf{x}, d) = \frac{1}{N}\sum_{i=1}^N \left[ \frac{1}{J}\sum_{j=1}^J d\big(\hat{x}^{(j)}, x^{(i)}\big) - \frac{1}{2J^2}\sum_{j=1}^J \sum_{k=1}^J d\big(\hat{x}^{(j)}, \hat{x}^{(k)}\big) \right]\]

公式第一项度量生成样本与真实人类样本之间的平均距离（惩罚不准确性），第二项度量生成样本集合内部的成对距离均值（惩罚模式坍缩与多样性不足）。作为严格适当评分规则（strictly proper scoring rule），CRPS 仅在生成分布既准确贴近真实分布、又具备与人类主体间变异同等的分布广度时才能取得最优值（对于距离类指标越小越好，对于相似度类指标则将符号方向对齐为越大越好），从而在单一可解释数值中同时检验生成的准确性与多样性。

损失函数 / 训练策略¶

训练目标沿用 ScanDiff 的四项加权损失组合：

\[\mathcal{L} = \mathcal{L}_{\mathrm{diff}} + \lambda_{\mathrm{recon}}\mathcal{L}_{\mathrm{recon}} + \lambda_{\mathrm{val}}\mathcal{L}_{\mathrm{val}} + \lambda_{\mathrm{reg}}\mathcal{L}_{\mathrm{reg}}\]

其中潜空间扩散损失 \(\mathcal{L}_{\mathrm{diff}} = \sum_{k=1}^K \|z_0 - \phi_\theta(z_k, V_{\mathrm{joint}})\|_2^2\) 直接监督去噪器恢复干净潜变量 \(z_0\)；重建损失 \(\mathcal{L}_{\mathrm{recon}}\) 在解码后的增广轨迹空间上对有效非填充 token 计算 \(\ell_1\) 误差；有效性损失 \(\mathcal{L}_{\mathrm{val}}\) 采用二元交叉熵（BCE）监督长度预测头区分有效轨迹点与 padding；终端正则化损失 \(\mathcal{L}_{\mathrm{reg}} = \|\mu(z_K)\|_2^2\) 约束最终扩散步 \(z_K\) 匹配各向同性标准高斯先验。数据处理上，作者从 COCO 数据集原始 EDF 文件中提取连续轨迹，裁剪掉首尾注视点 20 像素半径之外的游离段以对齐公开扫描路径，统一重采样至 240 Hz 并截断/填充至最大长度 \(T = 1500\)（扫描路径最大长度 \(M = 16\)）。所有模型使用 AdamW 优化器（学习率 \(1 \times 10^{-4}\)，权重衰减 \(1 \times 10^{-2}\)），在单张 NVIDIA GH200 GPU 上训练 300 个 epoch（耗时约 1 天）。

实验关键数据¶

主实验¶

下表汇报了在任务驱动视觉搜索（COCO-Search18 的目标存在子集 COCO-TP 与目标不存在子集 COCO-TA）以及自由观看（COCO-FreeView 与 MIT1003）四个基准上的 CRPS 评测核心结果（摘自原文 Table 1；距离指标 LD / DFD / DTW / TDE 越低越好，相似度指标 MM / SM / SS / SSS 越高越好，带 \(\dagger\) 表示包含注视时长的变体）：

数据集	评测粒度	方法	LD \(\downarrow\)	DFD \(\downarrow\)	DTW \(\downarrow\)	TDE \(\downarrow\)	SM \(\uparrow\)	SM\(^\dagger \uparrow\)	SS\(^\dagger \uparrow\)	SSS \(\uparrow\)	SSS\(^\dagger \uparrow\)
COCO-TP	Scanpath	HAT	10.784	122.199	227.450	0.080	0.201	–	–	0.185	–
COCO-TP	Scanpath	ScanDiff (之前SOTA)	9.653	124.455	219.855	0.076	0.165	0.104	0.148	0.164	0.089
COCO-TP	Scanpath	ST-DiffEye (本文)	8.716	110.038	196.631	0.074	0.206	0.146	0.180	0.211	0.134
COCO-TA	Scanpath	ScanDiff (之前SOTA)	21.252	119.689	426.350	0.069	0.086	0.077	0.090	0.109	0.092
COCO-TA	Scanpath	ST-DiffEye (本文)	21.128	115.683	410.444	0.064	0.110	0.095	0.109	0.130	0.109
COCO-FV	Scanpath	DiffEye	56.368	121.355	1116.594	0.051	0.025	-0.018	-0.029	–	–
COCO-FV	Scanpath	ScanDiff	41.856	104.744	910.433	0.049	0.102	0.089	0.075	–	–
COCO-FV	Scanpath	ST-DiffEye (本文)	47.108	103.009	851.792	0.048	0.089	0.108	0.088	–	–
MIT-FV	Scanpath	DiffEye	27.530	111.506	516.821	0.062	0.112	0.125	0.121	–	–
MIT-FV	Scanpath	ScanDiff	25.189	102.216	496.327	0.058	0.111	0.118	0.128	–	–
MIT-FV	Scanpath	ST-DiffEye (本文)	24.961	100.903	456.985	0.058	0.129	0.145	0.146	–	–
COCO-FV	Trajectory	DiffEye	56.349	121.493	1120.990	0.051	0.025	-0.196	-0.147	–	–
COCO-FV	Trajectory	ST-DiffEye (本文)	53.487	105.121	957.552	0.044	0.028	-0.097	-0.090	–	–

消融实验¶

下表展示了在 COCO-Search18（Target Present, COCO-TP）上围绕四个核心设计维度开展的消融实验（摘自原文 Table 2，全部采用 CRPS 评测）：

消融维度与配置	LD \(\downarrow\)	DFD \(\downarrow\)	DTW \(\downarrow\)	TDE \(\downarrow\)	MM \(\uparrow\)	SM \(\uparrow\)	SM\(^\dagger \uparrow\)	SS \(\uparrow\)	SS\(^\dagger \uparrow\)	SSS \(\uparrow\)	SSS\(^\dagger \uparrow\)
(a) 输入模态：仅离散扫描路径 (Scanpath only)	9.653	124.455	219.855	0.076	0.371	0.165	0.104	0.521	0.148	0.164	0.089
(a) 输入模态：仅连续轨迹 (Trajectory only)	9.180	121.767	237.234	0.090	0.372	0.164	0.112	0.445	0.160	0.178	0.110
(b) 索引插值方式：基于空间距离反比加权 (Distance-based)	9.063	120.182	219.703	0.085	0.371	0.176	0.113	0.483	0.160	0.179	0.098
(c) 通道拼接位置：潜空间拼接 (Latent-space)	8.984	120.450	219.644	0.086	0.376	0.168	0.114	0.481	0.156	0.177	0.110
(c) 通道拼接位置：Embedding 空间条件注入 (Embedding-space)	16.949	323.933	838.854	0.272	0.075	-0.302	-0.281	-0.204	-0.135	-0.288	-0.112
(d) 索引编码方式：可学习嵌入 (Learnable)	8.941	115.029	214.956	0.083	0.372	0.182	0.125	0.495	0.169	0.186	0.108
(d) 索引编码方式：正弦位置编码 (Sinusoidal)	9.282	119.815	222.527	0.083	0.372	0.199	0.105	0.519	0.139	0.207	0.093
ST-DiffEye (完整模型：联合输入+均匀线性插值+原始通道拼接+标量编码)	8.716	110.038	196.631	0.074	0.381	0.206	0.146	0.504	0.180	0.211	0.134

关键发现¶

时长感知（Duration-aware）与几何距离指标提升最为显著：在所有四个数据集上，ST-DiffEye 在带时长权重的指标（\(\text{SM}^\dagger\)、\(\text{SS}^\dagger\)、\(\text{SSS}^\dagger\)）以及 DFD、DTW 上均全面超越仅用扫描路径训练的 ScanDiff（例如在 COCO-TP 上 DTW 从 219.855 降至 196.631，\(\text{SSS}^\dagger\) 从 0.089 提升至 0.134）。这直接证明了连续眼动轨迹所蕴含的高频驻留动态能自然转化为更精准的注视时长估计，而无需像纯扫描路径模型那样直接回归离散时长数值。
时序均匀插值优于空间距离插值，原始标量通道拼接最为稳健：消融实验显示，将注视点索引按时间步均匀线性插值（DTW 196.631）明显优于按空间距离反比加权插值（DTW 219.703），说明保持两次注视之间单调的时间演进顺序比单纯依赖空间接近度更关键；同时，直接将归一化标量 \(\tilde{\rho}_t\) 在原始输入通道拼接显著优于正弦编码、可学习嵌入或 Embedding 空间注入（后者甚至引发训练崩溃，DTW 恶化至 838.854）。
注入位置受原始轨迹噪声水平影响：在轨迹质量较高的 COCO 系列数据集上，原始数据通道拼接效果最佳；但在附录 Table 6 的 MIT1003 消融中，潜空间拼接（Latent-space，DTW 456.985，\(\text{SM}^\dagger\) 0.145）明显优于原始数据通道拼接（DTW 494.392，\(\text{SM}^\dagger\) 0.128），原因是 MIT1003 的原始轨迹在注视点之间存在较多跑出画面边界的噪声点，潜空间投影后再拼接能有效缓冲坐标级对齐的失配。
传统 Mean 协议对确定性模型的偏袒被实验证实：在附录 Table 3（Mean 协议）中，每个刺激仅输出唯一确定性序列的 GazeFormer 在 COCO-TP 上取得了 11 项指标中的 10 项第一，而在考量分布多样性的 CRPS 协议（Table 1）与 Best-of-\(N\) 协议（Table 4）中则大幅落后于 ST-DiffEye，真实印证了作者在二维高斯合成实验中所揭示的 Mean 协议奖励零方差模式坍缩的结论。

亮点与洞察¶

跨尺度模态耦合的极简“相位通道”技巧：离散事件序列（如扫描路径中的注视点）与高频连续采样信号（如 240 Hz 轨迹）由于序列长度相差近百倍，通常需要设计双分支网络与跨尺度注意力才能融合。本文通过“锚点匹配 + 线性插值”将离散事件序列转化为连续的相对进程相位（Fixation Index），仅靠扩充 1 个输入通道便实现了零架构改动的跨尺度协同监督。
推翻生成式视线评测的沿袭惯例：论文用极其清晰的四个合成二维高斯分布（零方差、低方差、中等方差、真实分布）可视化证明了沿用多年的 Mean、Best 和 KLD 三种评测协议各自会被不同的退化生成器“骗过”，并引入无超参的 CRPS 严格适当评分规则，把任意序列相似度算子直接升级为分布级指标。
可迁移的设计思路：这种“将稀疏高层语义里程碑通过锚定与线性插值转化为密集相对进度通道”的思路，可以直接迁移到其他同时具备高层离散结构与底层连续轨迹的任务中，例如机器人轨迹生成（将稀疏关键路径点/子任务目标索引插值拼接到高频关节控制轨迹中）或手写/绘画笔触生成（将笔画段落索引注入连续笔尖轨迹）。

局限与展望¶

长序列带来的高昂计算与采样开销：由于连续轨迹序列长度（\(T = 1500\)）比离散扫描路径（\(M = 16\)）长两个数量级，尽管通道拼接本身没有增加网络分支，但自注意力在长时序 token 上的计算量使得内存占用、训练时间和多步扩散采样开销显著增加。未来可通过时序压缩自编码器、层次化扩散或由粗到细（coarse-to-fine）生成来降低时序长度瓶颈。
对原始眼动仪轨迹噪声与出界伪影敏感：不同于经过清洗聚类的扫描路径，原始高频眼动轨迹常包含眨眼、采样丢失或视线移出图像边界（out-of-frame）等伪影。这不仅会影响锚点对齐质量（如在 MIT1003 上迫使模型退回潜空间拼接），还会导致模型在推理时生成超出图像画幅的失效轨迹（原文 Figure 11）。引入显式的图像边界约束正则或异常眼动片段自动过滤是直接的改进方向。
辅助通道在推理期的利用率受限：模型在解码端同时预测了注视点索引通道 \(\hat{\rho}_t\)，但在推理采样时直接将其丢弃，仍依赖传统的速度/空间聚类算法（Judd et al.）从连续轨迹中提取注视点。若能联合利用预测出的 \(\hat{\rho}_t\) 平台期斜率变化来辅助切分注视与眼跳，有望进一步提升轨迹到扫描路径转换的鲁棒性。

评分¶

新颖性: ⭐⭐⭐⭐ 通过极简的锚点对齐与线性插值通道（Fixation Index）以零架构开销打通离散扫描路径与连续轨迹的联合扩散建模，并引入严格适当的 CRPS 评测体系指出现有协议缺陷。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖视觉搜索（TP/TA）与自由观看三大基准（COCO-Search18、COCO-FreeView、MIT1003），重新处理了原始 EDF 轨迹数据，汇报了 CRPS、Mean、Best、KLD 四套协议共 11 项指标及详尽的四维消融与运动学统计分析。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述切中领域痛点，合成二维高斯实验（Figure 3）对评测指标失效模式的剖析直观深刻，公式符号与图表组织清晰严谨。
价值: ⭐⭐⭐⭐ 为眼动与视觉注意力生成提供了兼顾高层语义与底层动力学的简洁范式，所提出的 CRPS 评测准则对整个随机序列生成社区具有广泛的参考价值。