SurgVista: Long-Horizon Surgical World Modeling with Plausible Instrument-Tissue Dynamics¶

会议: NeurIPS 2026
arXiv: 2606.19889
OpenReview: https://openreview.net/forum?id=YK5GDKKF4q
领域: 医学图像
关键词: 手术世界模型、形变一致性、自回归漂移自适应、器械组织交互、长程仿真

一句话总结¶

SurgVista 针对手术视频生成中器械与组织接触缺乏空间形变一致性以及长程自回归模拟中时间保真度崩溃的两大顽疾，提出了基于点轨迹对比学习的形变一致性正则化与结合在线自残差和光度扰动的漂移自适应训练，在长达 800 帧的复杂手术任务仿真中实现了显著优于 SOTA 的物理真实感与稳定性。

研究背景与动机¶

自主机器人手术具备减轻外科医生工作负荷、提升操作一致性并普及高质量手术医疗的巨大潜力。然而，在真实临床环境中扩展基于交互的手术策略学习极其困难，不仅高质量专家示教数据的采集代价高昂，而且在活体内进行试错探索会带来不可承受的患者安全风险。手术世界模型（Surgical World Models, SWMs）通过以初始视觉观察和预定的手术器械动作轨迹为条件，在仿真环境中自回归预测高保真的未来场景演变，为低风险、可扩展的策略研发与安全评估提供了理想范式。

尽管近期已有工作尝试将通用的基础视频 Diffusion Transformer（DiT）迁移至手术内窥镜领域，并引入文本指令或空间几何先验（如光流、深度或掩码）以增强控制力，但现有手术世界模型在面对真实临床需求时仍普遍受制于两大关键瓶颈。其一是空间交互不一致性（Spatial Interaction Incoherence）：标准视频生成模型主要拟合像素分布，缺乏显式的跨帧运动连续性与物理接触约束，当内窥镜画面中出现明显的器械碰触组织时，接触区域往往无法诱导符合生物力学特性的局域组织形变；粗粒度的全局几何先验（如深度估计）也无法提供局部精细的运动对应关系。其二是时间保真度崩溃（Temporal Fidelity Collapse）：手术操作通常跨越数分钟乃至数十分钟，当模型自回归地以自身生成的历史帧作为下一阶段条件时，微小的预测残差随时间累积并急剧放大，导致生成画面在数十秒后陷入过度曝光、对比度漂移、组织纹理模糊及解剖结构崩溃。

造成这一困境的核心矛盾在于：模型在训练阶段接触的全部是完美的无噪真实历史帧，但在长程推理阶段却只能面对自身输出的有缺陷帧（即严重的训练-推理暴露偏差），加之内窥镜场景中反光、烟雾及非刚性大形变的干扰，使得传统的通用漂移抑制策略迅速失效。本文的切入角度是：一方面通过追踪跨帧稀疏-密集场景点轨迹，在隐空间构建物理运动拓扑约束以保证局部接触形变；另一方面让模型在训练阶段就前瞻性地暴露于自身在线生成的残差分布和长程特征光度畸变中，从根源上适应并纠正漂移。核心 idea：通过在隐空间点轨迹上施加形变一致性正则化（DCR）锚定器械-组织接触力学，并结合在线预测残差与光度退化扰动的漂移自适应训练（DAT）弥合自回归暴露偏差，构建兼具局部交互真实感与 800 帧长程稳定性的手术世界模型。

方法详解¶

整体框架¶

SurgVista 基于预训练潜空间视频 DiT 骨干（Wan2.1-1.3B）构建，采用 Flow Matching 范式建模手术动力学演变。给定首帧内窥镜图像 $\mathbf{s}_0 \in \mathbb{R}^{H \times W \times 3}$ 和预定的器械动作关键点轨迹 $\mathbf{a}_{1:T} = \{\mathbf{p}_{1:T}^k\}_{k=1}^K$，模型目标是生成动作条件下的未来视频序列 $\hat{\mathbf{s}}_{1:T}$。

在输入表征阶段，通过无辅助模块的潜动作编码（Latent Action Encoding）将像素级轨迹映射到时空隐空间网格，并将首帧特征复制到目标位置构建动作潜张量 $\mathbf{M}$，与加噪潜变量 $\mathbf{z}_\tau$ 通道拼接；首帧 $\mathbf{s}_0$ 编码为参考潜特征作为条件前缀注入序列。在训练管线中，SurgVista 引入了两大协同机制：形变一致性正则化（DCR）在潜空间利用场景点追踪轨迹进行对比学习，迫使接触发生时器械和组织的局部表征在时间轴上保持拓扑一致；漂移自适应训练（DAT）则在条件帧注入在线探测到的自身预测残差或物理光度退化扰动，驱动模型学会从受损上下文恢复清晰帧。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入：首帧观察 s₀ + 器械动作轨迹 a₁:ᴛ"] --> LatEnc["潜动作编码<br/>轨迹映射与首帧隐特征复制 M"]
    LatEnc --> DiT["Flow Matching 视频 DiT<br/>预测连续速度场 v_θ(z_τ, c, τ)"]
    DiT --> DCR["形变一致性正则化 (DCR)<br/>单步 Euler 预估潜变量 + 轨迹时序对比学习"]
    DiT --> DAT["漂移自适应训练 (DAT)<br/>在线预测残差注入 + 光度退化代理扰动"]
    DCR --> Out["输出：长程物理一致的连续手术仿真视频"]
    DAT --> Out

关键设计¶

1. 潜动作编码：免辅助模型的轻量级空间引导

以往手术世界模型多依赖外部语义分割网络、稠密光流估计器或预渲染轨迹图作为动作条件，这不仅引入了显著的额外计算开销与累计推断延迟，而且容易受分割边界抖动的干扰。SurgVista 将输入动作精简为器械关键点坐标序列 $\{\mathbf{p}_{1:T}^k\}_{k=1}^K$。在映射时，将像素坐标除以 VAE 空间下采样倍率 $f_s$，并将连续 $f_t$ 帧划归为单个隐空间帧，得到潜空间轨迹 $\{\hat{\mathbf{p}}_{1:T_z}^k\}$。接着，直接将首帧隐特征在对应关键点初始位置的特征向量 $\mathbf{z}_{\text{first}}[\hat{\mathbf{p}}_1^k]$ 复制写入后续隐帧的目标坐标处，未命中的网格位置全置为零，构建出动作潜张量 $\mathbf{M} \in \mathbb{R}^{T_z \times H_z \times W_z \times C}$： $$ \mathbf{M}\left[\hat{t}, \hat{\mathbf{p}}{\hat{t}}^k\right] = \mathbf{z} > 0 $$ 该设计无需额外可学习参数或重型感知模型，即可为 DiT 提供空间对齐的强几何与运动导向。}}\left[\hat{\mathbf{p}}_1^k\right], \quad \forall k, \hat{t

2. 形变一致性正则化：隐空间轨迹对比约束局部交互

针对器械接触组织却不见局部形变的“物理失真”问题，SurgVista 指出单纯依靠像素级重建损失无法惩罚跨帧运动的不协调。本文利用现成的点追踪器（CoTracker3）从训练视频中提取覆盖刚性器械与柔性软组织的稠密网格轨迹 $\{(\mathbf{q}_t^j, o_t^j)\}_{t=1}^T$（其中 $\mathbf{q}_t^j$ 为坐标，$o_t^j$ 为可见度）。为了避免将潜变量解码至像素空间所带来的显存暴涨，DCR 创新性地完全在潜空间执行。

在每次训练迭代中，从 Flow Matching 的当前加噪状态通过单步 Euler 推断获得预测的去噪潜变量 $\hat{\mathbf{z}}_1 = \mathbf{z}_\tau + (1-\tau) v_\theta(\mathbf{z}_\tau, \mathbf{c}, \tau)$。随后，通过可微采样器在各可见帧的时间切片上提取对应点坐标的潜特征，并经过一个两层轻量 MLP $\phi$ 映射为归一化描述子 $\mathbf{f}_t^j \in \mathbb{R}^d$。对于每条轨迹 $j$，计算其在可见帧集合 $\mathcal{O}^j$ 上的时序原型 $\bar{\mathbf{f}}^j = \frac{1}{|\mathcal{O}^j|} \sum_{t \in \mathcal{O}^j} \mathbf{f}_t^j$。通过 InfoNCE 损失拉近同轨迹描述子与原型的距离，推开不同轨迹原型的距离： $$ \mathcal{L}{\text{DCR}} = -\frac{1}{|\mathcal{Q}|} \sum}} \log \frac{\exp\left(\mathbf{ft^j \cdot \bar{\mathbf{f}}^j / \gamma\right)}{\sum $$ 正样本项强行要求无论组织如何拉伸形变或器械如何移动，属于同一物理质点的表征必须具有时序连续性，负样本项防止特征空间坍缩，从而促使扩散模型真正掌握接触所诱发的组织顺应性形变。}^J \exp\left(\mathbf{f}_t^j \cdot \bar{\mathbf{f}}^{j'} / \gamma\right)

3. 漂移自适应训练：双重代理对抗长程自回归退化

为了根除自回归展开中的暴露偏差，传统的“误差重用（error recycling）”通常重放历史缓存的残差，但这存在误差分布滞后、与当前模型权重不同步的弊端。DAT 提出了由“模型内生代理”与“模型无关光度代理”构成的双重训练策略： - 模型内生代理（Online Prediction Residuals）：在每次前向反向传播前，采样独立的流时间步 $\tau'$ 与全新高斯噪声 $\mathbf{z}_0'$，利用当前权重执行一次无梯度的单步前向预测，得到模型对首帧的实时估计 $\hat{\mathbf{z}}'_{1,0}$。由此计算实时预测残差 $\boldsymbol{\delta} = \hat{\mathbf{z}}'_{1,0} - \mathbf{z}_{\text{first}}$。将该残差即时加注到条件潜变量 $\tilde{\mathbf{z}}_{\text{first}} = \mathbf{z}_{\text{first}} + \boldsymbol{\delta}$，并同步将去噪目标潜变量扰动为 $\tilde{\mathbf{z}}_\tau = \mathbf{z}_\tau + (\hat{\mathbf{z}}'_1 - \mathbf{z}_1)$。这保证了模型始终在自身最新、最真实的自回归预测误差分布下学习恢复干净真值。 - 模型无关光度代理（Rollout-Calibrated Photometric Augmentations）：随着训练收敛，单步隐空间残差 $\boldsymbol{\delta}$ 会自然衰减，但自回归长时间累积的反复 VAE 编解码仍会引入不可逆的显像退化。统计分析显示，长程手术视频在亮度、对比度、清晰度与高频噪点上呈现单调偏离。DAT 据此设计了曝光偏移、对比度抖动、锐度衰减与高斯噪声混合四种受控扰动 $\mathcal{T}_{\text{img}}$，将首帧在像素空间扰动后重新编码作为条件 $\tilde{\mathbf{z}}_{\text{first}} = \mathcal{E}(\mathcal{T}_{\text{img}}(\mathbf{s}_{\text{first}}))$。结合固定首帧作为锚点（Anchor Frame）提供全局视觉基准，DAT 使模型具备了强大的长程容错与自校正能力。

损失函数 / 训练策略¶

训练时，系统以概率 $p_{\text{probe}}$、$p_{\text{aug}}$ 和 $p_{\text{clean}}$ 随机在内生残差条件、光度退化条件及原始清晰条件之间切换，但始终以无污染的真实未来潜变量 $\mathbf{z}_1$ 为去噪回归目标： $$ \mathcal{L}{\text{DAT}} = \mathbb{E}0} \left[ \left| v\theta\left(\tilde{\mathbf{z}}\tau, \tilde{\mathbf{c}}, \tau\right) - (\mathbf{z}1 - \mathbf{z}0) \right|^2 \right] $$ 最终整体优化目标为加权联合损失函数： $$ \mathcal{L} = \mathcal{L} + \lambda}}} \mathcal{L $$ 其中超参数 }$\lambda_{\text{DCR}}$ 平衡两个任务，DCR 轨迹默认采样 64 条覆盖器械与组织全景。

实验关键数据¶

SurgWorld-Bench 基准设置¶

为解决现有评估仅覆盖单类手术、序列长度不足 80 帧以及混淆器械运动与组织力学评估的缺陷，论文提出了 SurgWorld-Bench，汇集了前列腺切除术（GraSP）、猪腹腔镜手术（SurgToolLoc22）和胆囊切除术（CholecTrack20）三类真实临床手术。设立短程（80 帧，111 段视频）与长程（800 帧，21 段视频，长达原基线 10 倍）两大评测区间。除常规指标（PSNR、SSIM、LPIPS、平滑度 Smoothness）外，创新性地结合分割与点追踪，解耦评测器械运动精度与组织响应保真度的平均 Jaccard 指标（AJ）与可见点平均位置精度（$\delta_{\text{avg}}^{\text{vis}}$）。

主实验：多维度性能对比¶

下表展示了在 SurgWorld-Bench 短程（80 帧）与长程（800 帧）设定下与通用视频生成模型及专业手术控制模型的全面对比：

评估时程	模型方法	器械运动 AJ ↑	器械运动 $\delta_{\text{avg}}^{\text{vis}}$ ↑	组织响应 AJ ↑	组织响应 $\delta_{\text{avg}}^{\text{vis}}$ ↑	PSNR ↑	SSIM ↑	LPIPS ↓	平滑度 ↑
短程 (80帧)	SVD	3.62	7.19	8.69	16.22	13.80	0.42	0.48	96.61
短程	CogVideoX1.5-5B	4.34	8.24	15.21	26.46	13.14	0.42	0.46	96.91
短程	HunyuanVideo-1.5	4.80	9.89	18.93	30.91	16.35	0.51	0.36	99.14
短程	Wan2.2-TI2V-5B	5.83	10.40	19.93	32.32	15.63	0.51	0.40	98.77
短程	Wan2.1-Control	39.34	52.08	36.19	49.51	19.08	0.62	0.26	99.03
短程	SurgSora	19.41	27.00	19.51	30.51	15.12	0.43	0.49	98.50
短程	SurgVista (本文)	45.76	58.43	41.68	55.29	19.85	0.64	0.24	99.14
长程 (800帧)	SVD	1.61	2.46	3.55	5.54	7.99	0.23	0.76	96.26
长程	CogVideoX1.5-5B	2.69	4.06	7.65	11.41	10.44	0.39	0.67	96.75
长程	HunyuanVideo-1.5	1.56	3.73	5.63	11.76	14.24	0.41	0.57	99.07
长程	Wan2.2-TI2V-5B	1.94	3.15	5.91	9.57	11.87	0.39	0.65	98.74
长程	Wan2.1-Control	18.92	28.30	19.91	31.90	16.35	0.50	0.42	99.51
长程	SurgSora	5.36	7.57	6.08	9.37	8.95	0.28	0.79	98.55
长程	SurgVista (本文)	27.13	39.61	24.15	38.19	17.35	0.55	0.37	99.53

消融实验：核心模块与长程漂移策略¶

1. 核心组件消融（800 帧长程设定）

配置方案	器械 AJ ↑	器械 $\delta_{\text{avg}}^{\text{vis}}$ ↑	组织 AJ ↑	组织 $\delta_{\text{avg}}^{\text{vis}}$ ↑	说明
基线模型 (Baseline)	19.45	29.09	20.00	32.20	仅使用基础潜动作条件与标准 Flow Matching
+ 仅 DCR	20.57	31.10	21.18	33.67	施加跨帧隐空间轨迹对比约束，提升局域运动精度
+ 仅 DAT	26.54	38.83	24.10	37.96	注入漂移扰动，大幅抑制自回归长程崩溃
完整 SurgVista (DCR + DAT)	27.13	39.61	24.15	38.19	空间形变与时间长程抗漂移协同发挥最优性能

2. 长程漂移模拟策略消融（800 帧长程设定）

漂移训练机制	器械 AJ ↑	器械 $\delta_{\text{avg}}^{\text{vis}}$ ↑	组织 AJ ↑	组织 $\delta_{\text{avg}}^{\text{vis}}$ ↑	机制剖析
仅纯净数据 (Clean only)	22.11	33.64	21.87	35.16	配备首帧 Anchor，但未暴露于任何输入退化
误差重用 (Error recycling)	24.15	35.96	23.35	36.76	重用历史 batch/旧 checkpoint 缓存误差，分布滞后
DAT – 仅内生潜空间残差	26.09	38.55	24.09	37.74	实时无梯度单步探测，动态适应当前权重
DAT – 潜空间残差 + 像素光度	27.13	39.61	24.15	38.19	兼顾结构性预测误差与物理视觉退化，达到最佳抗漂移表现

3. DCR 监督区域与采样数量消融（短程 80 帧设定） - 监督区域选择：仅监督器械时，器械 AJ 达 44.91 但组织仅 38.39；仅监督组织时，组织 AJ 达 41.23 但器械略低；全域联合监督达成了最优协同（器械 45.76 / 组织 41.68）。 - 轨迹采样条数：从 32 条（器械 44.65 / 组织 41.07）增至 64 条（器械 45.76 / 组织 41.68）带来显著增益；继续增加至 128 条指标基本饱和（器械 45.74 / 组织 41.70），因此默认采用 64 条以兼顾计算开销。

关键发现¶

优势随时程单调扩大：在 80 帧短程时，SurgVista 相比于次优模型 Wan2.1-Control 在器械 AJ 上领先 6.42 个点，组织 AJ 领先 5.49 个点；而在长达 800 帧的极限推断下，Wan2.1-Control 与 SurgSora 分别出现严重漂移失真或完全解体，SurgVista 在器械与组织 AJ 上分别保持 8.21 和 4.24 个点的断层式优势，证明了 DAT 在压制误差累积上的决定性作用。
解耦指标揭示现有模型假象：通用大模型（如 HunyuanVideo、Wan2.2）虽然具备较高的图像质量（PSNR 15-16），但在器械和组织跟踪指标上近乎归零（AJ < 6），说明画面虽精美但器械根本不听动作指挥；Wan2.1-Control 能够很好跟踪器械，但在接触发生时组织完全静止；SurgVista 则是唯一实现高精度运动控制与物理形变真实联动的模型。

亮点与洞察¶

隐空间对比学习规避 VAE 解码瓶颈：DCR 巧妙地在单步去噪潜变量上执行点轨迹特征采集与 InfoNCE 约束，既规避了反传时必须通过重型 VAE 空间解码所带来的显存爆炸，又赋予了模型强大的非刚性生物力学感知。
在线探测驱动的动态残差模拟：DAT 摒弃了传统 Error Recycling 的离线缓存机制，通过单步无梯度探测直接从当前权重中提取自预测残差，使得训练扰动永远与模型的当前缺陷精确同频共振。
解耦式手术基准的诊断价值：提出的 SurgWorld-Bench 将器械运动忠实度与组织力学响应剥离评测，为手术世界模型的评估树立了具备生物力学解释性的新标准。

局限与展望¶

极端大形变与撕裂切割挑战：论文在讨论中坦承，当发生大范围组织解剖性位移、深层脏器翻转或伴随组织切割与出血分离等拓扑结构突变时，基于点轨迹的连续性假设会受到破坏，生成质量有所下降。
缺乏力学与触觉模态反馈：当前模型输入仅基于运动学位置轨迹，尚未将手术机器人主控端的触觉反馈（Haptic feedback）与交互接触力（Interaction force）融入条件生成空间，无法指导基于力控的手术策略。

领域分类研判依据¶

预设分类: medical_imaging (医学图像)
最终分类: medical_imaging (医学图像)
判定理由: 本文的核心研究对象是机器人微创手术视频仿真与内窥镜下器械-软组织生物力学交互，所使用的训练与评测基准 SurgWorld-Bench 涵盖 GraSP、SurgToolLoc22 和 CholecTrack20 等典型临床外科腹腔镜手术数据集；其基线对照方法（如 SurgSora、Medical World Model、HieraSurg）均为医学图像与 MICCAI 领域代表作。尽管方法涉及视频生成与世界模型，但其核心问题定义、数据形态、解剖组织交互建模与临床评估目标均归属于医学图像与手术辅助（Medical Imaging）领域，无需重分类。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [隐空间点轨迹对比学习与在线残差-光度自适应训练的设计高度精巧]
实验充分度: ⭐⭐⭐⭐⭐ [提出覆盖3类手术、解耦评测、长达800帧的全新权威基准，实验详实]
写作质量: ⭐⭐⭐⭐⭐ [逻辑严密，图文呼应，问题与方法动机阐述极具说服力]
价值: ⭐⭐⭐⭐⭐ [为真实可信的手术机器人策略离线训练与仿真验证迈出了坚实一步]