Constructing and Interpreting Digital Twin Representations for Visual Reasoning via Large Language Models and Reinforcement Learning¶
会议: ECCV 2026
论文: ECCV 官方
领域: 多模态VLM
关键词: 数字孪生表示 / 视觉推理 / 强化学习 / GRPO / 多模态智能体
一句话总结¶
DT-R1 提出了一个统一的纯强化学习（GRPO）框架，训练单一大语言模型自主规划视觉基座模型以构建结构化数字孪生（DT）表示，并通过显式思维链与可执行 Python 代码对其进行几何与时序推理，终结了多样化视觉推理任务对特定模型架构与监督微调的依赖。
研究背景与动机¶
具身智能与交互系统要求模型能够理解图像与视频输入，并针对高度隐式的自然语言查询做出响应，涵盖从像素级分割掩码、目标边界框到自然语言摘要与问答等多模态输出格式。传统视觉推理研究主要集中于推理分割（如根据“分割用来盛放热饮的物体”这一隐式指令定位咖啡杯），但现实场景（如视障辅助描述、高效目标定位）对推理视觉任务（Reasoning Visual Tasks, RVTs）的多样化输出形式有着刚性需求。然而，现有方法深陷于三个层面的结构性局限：其一，LISA、VISA 等主流方法大多将视觉特征粗暴切片为离散视觉 token 输入多模态大模型，割裂了连续的时空几何与物理拓扑，导致模型在处理需要精细度量与时序追踪的推理时性能大幅下滑；其二，几乎所有现存模型均依赖特定任务的有监督微调（SFT），不仅无法生成可解释、可归因的显式推导链，而且在面对域外未见分布时泛化能力剧烈退化；其三，现有方法严重碎片化，分割、定位、描述与问答各自采用孤立的专用网络结构与定制微调流程，缺乏统一的感知-推理范式。
尽管近期即时数字孪生（Just-in-Time Digital Twins, JiT）的尝试证明了用显式结构化数字孪生表示替代 token 嵌入能保留精细的时空连续性，但该方法完全基于纯零样本启发式提示，无法自主优化推理策略且单次查询推理耗时极其高昂（超 15 秒/次）。这种感知表示与推理学习之间的脱节催生了一个核心研究问题：能否跳过对带标注推理轨迹与像素级解码器的微调依赖，仅通过规则奖励驱动的纯强化学习，教会纯文本或轻量语言模型自发规划视觉基座工具来构建数字孪生，并在其上完成全类型视觉推理？
本文的切入角度是打破将视觉特征编码为神经 token 的教条，将现实物理场景转化为包含结构化几何、深度统计与实例掩码路径的显式数字孪生 JSON 表示，并让大语言模型作为认知中枢。核心 idea：提出 DT-R1 强化学习框架，利用 GRPO 与兼顾语法结构完整性、有向无环图合法性、代码可执行性与答案精度的混合规则奖励，端到端训练单一 LLM 自主生成视觉基座模型规划 DAG、构建数字孪生表示、按需编写可执行 Python 代码进行多步时空推理，并自适应决定任务类型输出标准答案。
方法详解¶
整体框架¶
DT-R1 将复杂的视觉推理任务规范化为一个统一的结构化自回归序列生成过程。给定隐式文本查询 \(Q\) 与视觉输入序列 \(X = \{I^{(1)}, I^{(2)}, \dots, I^{(T)}\}\)（单图对应 \(T=1\)，视频对应多帧），模型无需针对不同下游任务切换模型架构，而是通过一系列显式特殊标记驱动的迭代展开序列（Rollout Sequence）完成从任务解析、工具编排、表示构建到代码计算和答案生成的全流程。其核心流向包括四个阶段：首先在 <think> 中解析查询的隐式意图并制定感知需求；接着在 <dt_plan> 中输出视觉基座模型的有向无环图（DAG）编排计划，调用外部工具并将执行得到的紧凑 JSON 格式数字孪生表示插入 <dt_rep>；随后进入多轮认知迭代，在 <think> 链中审视表示并按需在 <execute> 中生成 OpenCV/Python 代码计算空间距离或时序位移；最终在 <task> 确定任务类型后于 <answer> 输出对应格式的确定性解。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入：隐式文本查询 + 图像/视频"] --> B["阶段1：查询解析与意图推断<br/>think 标签内分析信息需求"]
B --> C["阶段2：数字孪生构建规划 DAG<br/>dt_plan 选择基座模型与依赖边"]
C --> D["外部基座工具执行与数字孪生组装<br/>生成分层 JSON 注入 dt_rep"]
D --> E["阶段3：交替式代码增强迭代推理<br/>think 分析与 execute 执行 OpenCV 代码"]
E -->|未达到终止条件| E
E -->|完成多步推理| F["阶段4：任务类型自适应识别<br/>task 指定分割/定位/摘要/VQA"]
F --> G["最终答案格式化输出<br/>answer 输出掩码路径/边界框/文本"]关键设计¶
1. 结构化展开序列与认知编排机制：将多模态多任务推理统一为标准自回归符号流
针对现有视觉推理方案中不同输出格式（像素掩码、坐标框、文本）需要不同架构外挂解码器的弊端，DT-R1 将整个求解轨迹形式化为带有明确语义边界的结构化标记序列：
$$
\mathcal{Y} = \Big\langle \texttt{</dt_plan> 时，语言模型自动暂停生成，外部执行引擎根据 \(\mathcal{G}\) 调度基座模型并发处理视觉数据，将提取出的结构化多层级数字孪生 \(\mathcal{D}\) 封装入 <dt_rep>；随后模型基于 \(\mathcal{D}\) 展开 \(m\) 轮交替思考与代码执行（\(\mathcal{C}_i\) 与 \(\mathcal{O}_i\)），最终自主断言任务类别 \(\mathcal{T} \in \{\text{segmentation}, \text{grounding}, \text{summarization}, \text{VQA}\}\) 并生成目标输出 \(\mathcal{S}\)。若目标为分割，\(\mathcal{S}\) 输出实例名称与对应掩码的文件绝对路径；若为定位，输出归一化边界框；若为问答或摘要，输出自然语言文本。
2. 基于 DAG 的数字孪生表征构建：保留连续几何物理信息的轻量级分层语义抽象
传统 MLLM 采用离散 token 编码丢失了几何距离与时序一致性，而全量点云或密集特征图又对 LLM 造成极重计算开销。DT-R1 让 LLM 学习规划一个紧凑的 DAG \(\mathcal{G}=(V, E)\)，动态调度专用视觉专家：利用 SAM2 提取多帧候选实例掩码集合 \(\mathcal{M}(t) = \{m_i^{(t)}\}\)，调用 DepthAnything2 生成密集深度图 \(Z(t)\)，并驱动下游统计节点计算各实例掩码区域内的深度均值 \(\mu_i^{(t)} = \frac{1}{|m_i^{(t)}|}\sum_{p \in m_i^{(t)}} Z^{(t)}(p)\) 与标准差，同时调度 Qwen2.5-VL 提取实例与帧级语义，利用 OWLv2 提取目标先验。最终组装出的数字孪生 JSON 表示包含三层拓扑： - 视频级（Video-level）：记录全局时空流描述与跨帧事件摘要； - 帧级（Frame-level）：按时间戳记录场景布局与局部环境上下文； - 实例级（Instance-level）：严格记录各物体的掩码存储路径、3D 深度统计分布 \(\mu_i^{(t)}\)、时序连续位移轨迹及细粒度语义属性。 该 JSON 体积极为紧凑（单视频通常小于 1MB，折合语言 token 仅约 2000 个），极大降低了长视频推理的计算复杂度。
3. 工具驱动的交替式 Python 代码推理：借助符号运算消除空间时序幻觉
针对语言模型在心算精确空间坐标、相对几何距离和复杂时空变动轨迹时频发的数量级幻觉，DT-R1 允许模型在推理轮次 \(\mathcal{R}_i\) 中识别出定量计算需求后，直接在 <execute> 标记内编写原生 Python 脚本。脚本可调用 OpenCV 及科学计算库，直接对 \(\mathcal{D}\) 中的结构化字段进行数值计算（如根据两目标掩码质心与均值深度 \(\mu_i^{(t)}\) 计算真实空间三维欧氏距离、追踪某一物体跨越多个时间戳的速度与加速度变化）。沙箱执行器捕获输出后剥离包含环境路径的冗余堆栈（verbose traceback），仅保留最后一行简明报错或计算结果 \(\mathcal{O}_i\) 回填至 <results> 供下一轮思考决策，使模型获得自愈与纠错能力。
4. 结构合规与性能引导的双重规则奖励机制：脱离神经奖励模型的纯强化学习闭环
为杜绝训练庞大神经奖励模型（Reward Model）带来的巨大开销与奖励作弊风险，DT-R1 设计了纯规则制导的混合奖励函数 \(R(\mathcal{Y}) = \alpha \cdot R_{\text{format}}(\mathcal{Y}) + \beta \cdot R_{\text{accuracy}}(\mathcal{Y})\)： - 格式完备性奖励 \(R_{\text{format}}(\mathcal{Y}) = R_{\text{token}}(\mathcal{Y}) + R_{\text{dag}}(\mathcal{G})\)：\(R_{\text{token}}\) 校验所有成对标签的出现与时序嵌套正确性（全对则给 \(+1.0\)，错漏则重罚 \(-1.0\)）；\(R_{\text{dag}}\) 进一步验证图定义的合法性： $$ R_{\text{dag}}(\mathcal{G}) = \mathbb{I}[\text{Valid Format}] \cdot \mathbb{I}[\text{Acyclic}] \cdot \mathbb{I}[\text{Valid Dependencies}] - 0.5 $$ 仅当 DAG 格式合法、严格无环且仅调用环境公开的受支持专家模型时赋予 \(+0.5\)，否则为 \(-0.5\)。 - 准确性与执行力奖励 \(R_{\text{accuracy}}(\mathcal{Y}) = R_{\text{exec}}(\mathcal{C}) + R_{\text{task}}(\mathcal{T}) + R_{\text{result}}(\mathcal{S})\)：若 Python 代码执行报错则 \(R_{\text{exec}} = -0.5\)，成功执行为 \(0\)；任务类别判定正确时 \(R_{\text{task}} = +0.25\)（错误为 \(0\)）；最终结果奖励 \(R_{\text{result}}\) 对正确答案给 \(+1.0\)、错误给 \(-1.0\)（对于分割与定位，以预测区域与真实标签之间的 \(\text{IoU} > 0.5\) 作为命中判定；对于开放式问答与摘要，采用 LLM-as-a-judge 校验语义与事实准确度）。
一个完整示例¶
以视频推理分割任务为例：“请分割站在格纹毯子上伸手抓取物体、随后静止吠叫的小狗部位”：
1. 意图分解 (<think>)：模型分析出“格纹毯子”、“伸手抓取”、“静止吠叫”是关键时间定位与动作属性，需要实例掩码、连续时序跟踪与深度信息。
2. 生成规划 (<dt_plan>)：输出 DAG 依赖 JSON：{"SAM2": [], "DepthAnything2": [], "DepthStats": ["SAM2", "DepthAnything2"], "SemanticAnalysis": ["SAM2"]}。
3. 构建数字孪生 (<dt_rep>)：外部系统执行基座模型，生成包含视频级描述、帧级属性和多组候选掩码路径（puppy_front_paw_mask.png 等）与深度序列的结构化 JSON。
4. 代码演算与验证 (<execute> & <results>)：模型写出 Python 代码计算 puppy 各部位在前段与后段视频中的纵坐标高度差与速度，经沙箱执行返回 front_left_paw: max_vertical_displacement = 42.6px, barking_frames = [85..120]。
5. 任务收束 (<task> & <answer>)：判定任务为 reasoning segmentation，并输出最终小狗爪部的掩码绝对路径。
损失函数 / 训练策略¶
DT-R1 采用 Group-Relative Policy Optimization (GRPO) 算法，以 DeepSeek-R1-Distill-Qwen-7B 作为语言基座。对于每一个输入三元组 \((X, Q, T)\)，策略模型 \(\pi_\theta\) 采样生成一组候选输出序列 \(\{ \mathcal{Y}_1, \mathcal{Y}_2, \dots, \mathcal{Y}_K \}\)（采样数 \(K=8\)），依据各自的标量奖励 \(R(\mathcal{Y}_k)\) 计算组内相对优势值并更新策略参数。为避免模型在训练中对不可控的外部环境产生拟合，外部生成的数字孪生表示内容 \(\mathcal{D}\)（<dt_rep> 内部）以及代码执行结果 \(\mathcal{O}_i\)（<results> 内部）的上下文 token 在反向传播中全部被屏蔽，不计算策略梯度损失。训练采用 LoRA（rank=16），批大小 32，在 16 张 NVIDIA RTX 4090 (24GB) GPU 上基于 DeepSpeed 与 TRL 库完成，学习率设为 \(5 \times 10^{-5}\)，8 个 epoch 内快速收敛。
实验关键数据¶
主实验¶
DT-R1 在涵盖图像与视频模态的 6 个标准学术基准（ReasonSeg、ReVOS、LLM-Seg40K、JiTBench、RVTBench 全集）上进行了详尽评估。以下为主流视频推理分割（JiTBench 跨难度评测）与跨模态通用推理（RVTBench 视频多任务、ReasonSeg 图像分割、ReVOS 视频分割）的对比表现：
| 评估基准 / 任务 | 评估指标 | DT-R1 (本文) | 前最佳基线 (JiT / GroundMore / LISA-13B) | 性能提升 |
|---|---|---|---|---|
| JiTBench Level 1 (Basic) | 区域相似度 \(\mathcal{J}\) / 轮廓精度 \(\mathcal{F}\) | 0.837 / 0.850 | 0.792 / 0.806 (JiT) | +4.5% / +4.4% |
| JiTBench Level 2 (Intermediate) | 区域相似度 \(\mathcal{J}\) / 轮廓精度 \(\mathcal{F}\) | 0.808 / 0.845 | 0.766 / 0.801 (JiT) | +4.2% / +4.4% |
| JiTBench Level 3 (Advanced) | 区域相似度 \(\mathcal{J}\) / 轮廓精度 \(\mathcal{F}\) | 0.785 / 0.816 | 0.747 / 0.777 (JiT) | +3.8% / +3.9% |
| RVTBench 视频分割 Level 1 | 区域相似度 \(\mathcal{J}\) | 0.688 | 0.515 (JiT) / 0.466 (LISA-13B) | +17.3% |
| RVTBench 视频分割 Level 4 (Expert) | 区域相似度 \(\mathcal{J}\) | 0.609 | 0.448 (JiT) / 0.411 (LISA-13B) | +16.1% |
| RVTBench 视频定位 Level 1 | cIoU / gIoU | 0.670 / 0.651 | 0.515 / 0.497 (GroundMore) | +15.5% / +15.4% |
| RVTBench 视频定位 Level 4 (Expert) | cIoU / gIoU | 0.602 / 0.583 | 0.466 / 0.448 (GroundMore) | +13.6% / +13.5% |
| RVTBench 视频问答 (VQA) Level 4 | BLEU-4 / CIDEr | 0.642 / 0.789 | 0.462 / 0.712 (Video-R1-7B) | +18.0% / +0.077 |
| ReasonSeg 图像分割 (Long Query) | gIoU / cIoU | 0.812 / 0.834 | 0.683 / 0.701 (JiT) | +12.9% / +13.3% |
| ReVOS 视频推理分割 (Reasoning) | 区域相似度 \(\mathcal{J}\) / 轮廓精度 \(\mathcal{F}\) | 0.814 / 0.805 | 0.618 / 0.652 (JiT) | +19.6% / +15.3% |
消融实验¶
在 JiTBench 难度 Level 2 上对 DT-R1 提出的规则奖励函数各个关键组成部分进行逐级剔除与严格消融：
| 实验配置 | 格式奖励 (\(R_{\text{token}}, R_{\text{dag}}\)) | 代码执行奖励 (\(R_{\text{exec}}\)) | 任务与结果奖励 (\(R_{\text{task}}, R_{\text{result}}\)) | \(\mathcal{J}\) 分数 | \(\mathcal{F}\) 分数 | 训练成功率 (%) |
|---|---|---|---|---|---|---|
| 完整 DT-R1 模型 | ✓ | ✓ | ✓ | 0.808 | 0.845 | 94.2% |
| 移除格式奖励 (w/o Format rewards) | ✗ | ✓ | ✓ | 0.412 | 0.438 | 31.5% |
| 移除 DAG 依赖校验 (w/o DAG validation) | 部分 (仅保留 token) | ✓ | ✓ | 0.687 | 0.712 | 78.3% |
| 移除代码可执行性奖励 (w/o Code execution) | ✓ | ✗ | ✓ | 0.724 | 0.756 | 85.7% |
| 移除准确性奖励 (w/o Accuracy rewards) | ✓ | ✓ | ✗ | 0.523 | 0.548 | 62.1% |
| 仅保留任务准确性 (Only task accuracy) | ✗ | ✗ | ✓ | 0.298 | 0.315 | 22.8% |
此外，针对视觉基座模型池的消融显示：从框架中移除 SAM2 会导致 \(\mathcal{J}\) 骤降 12.8%（至 0.684），移除 DepthAnything2 下降 5.6%（至 0.756），移除 OWLv2 下降 8.0%（至 0.732），移除 Qwen2.5-VL 下降 3.4%（至 0.778），证明各感知专家模块均不可或缺。
关键发现¶
- 格式约束是强化学习稳定收敛的基石：完全去除格式奖励后，训练成功率暴跌至 31.5%，模型频繁陷入生成畸形 DAG、标签错配死循环；而 DAG 校验单独带来超过 12 个百分点的 \(\mathcal{J}\) 提升，验证了对依赖拓扑进行精确规则奖惩的必要性。
- 自适应终止与极高推理效率：虽然允许最大推理轮次 \(m=10\)，但分析表明性能在 \(m=5\) 轮时即达到饱和，模型在训练后学会自适应终止，平均仅使用 3.8 轮推理。得益于结构化数字孪生将密集视觉特征大幅压缩至小于 1MB（~2000 tokens），DT-R1 推理耗时仅 1.54 秒/查询，相比零样本提示基线 JiT 的 15.24 秒/查询实现了近 10 倍的速度飞跃。
- 域外与多任务泛化极其坚挺：在未参与训练的 LLM-Seg40K 域外图像评测中，DT-R1 仍录得 0.641 的 gIoU（大幅压制 JiT 的 0.485 和 LISA-13B 的 0.392）；在未对视频定位模型进行任何专用微调的前提下，在 RVTBench-grounding 上完胜专用 SOTA 模型 GroundMore，展现了符号化数字孪生推理的通用本质。
亮点与洞察¶
- 解耦感知表征与认知推理并用纯强化学习桥接：将连续时空场景交由专用基础模型提炼为结构化数字孪生，让通用语言模型完全聚焦于符号推演与算法规划。这一设计避免了多模态大模型在图像 token 化后造成的物理几何信息毁灭。
- 排除外部上下文梯度的反向传播防护机制：在 GRPO 训练更新中，将
<dt_rep>内部的外部数字孪生数据与<results>内部的代码执行输出完全阻断在反向传播损失之外，只针对模型自身生成的思维链、DAG 编排和 Python 代码计算策略梯度，有效避免了策略被不可微环境噪声污染。 - 纯规则奖励驱动多模态复杂任务：无需高成本收集人工标注的“推导链”，也无需训练易受作弊影响的神经奖励模型，通过由浅入深的格式合法性校验与最终结果指标结合，成功激发了复杂多步工具编排能力。
局限与展望¶
- 基座视觉模型的级联误差瓶颈：作者在 ReVOS 失败案例分析中指出，68% 的推理失误源于模糊的空间相对代词，而 32% 直接受制于 SAM2 在严重遮挡与密集人群场景下生成的破损残缺掩码；若底层感知基座未检测到目标，后续所有推理代码均无力回天。
- 多模型前向推断开销仍然存在：构建完整的数字孪生仍需在一台配备 RTX 4090 的机器上运行 SAM2、DepthAnything2 等多个大模型，单视频处理需耗时约 0.3 分钟，未来需要探索针对高频视觉专家的轻量化蒸馏或多任务统一视觉主干。
- 感官模态覆盖局限：目前数字孪生表示仅支持视觉与空间几何模态，尚未纳入现实复杂场景中极度关键的环境音频、惯导物理量及触觉传感器信号。
相关工作与启发¶
- vs LISA / VISA (端到端专有模型)：LISA/VISA 依靠增加
<seg>token 与专有掩码解码器进行监督微调，严重依赖标注数据且容易发生灾难性遗忘，难以统一不同输出格式；DT-R1 将解码下放给 SAM2 等通用工具，模型自身通过纯 RL 学习编排与推理，单一模型统一 4 种输出格式并展现出强悍的跨域泛化能力。 - vs JiT (即时数字孪生)：JiT 确立了利用数字孪生保持时空连续性的概念，但其完全基于手工 prompt 的启发式零样本推理，缺乏端到端策略演化，查询耗时高达 15.24 秒；DT-R1 通过 GRPO 强化学习让模型自主生成紧凑 DAG 与代码，将单次查询耗时降至 1.54 秒，且各难度指标全面超越 15% 以上。
- vs Seg-Zero / Seg-R1 (视觉 RL 推理)：Seg-Zero 与 Seg-R1 仅将强化学习局限在单一的图像分割任务上；DT-R1 将纯 RL 的应用边界拓宽到跨图像/视频模态以及涵盖分割、定位、问答和摘要的多任务统一推理。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将强化学习（GRPO）与结构化数字孪生表征相结合，提出 DAG 规划与交替代码生成的统一视觉推理范式。
- 实验充分度: ⭐⭐⭐⭐⭐ 评测覆盖图像与视频两大模态、6 个权威基准、4 类推理任务，并包含严谨的组件与基座模型消融实验。
- 写作质量: ⭐⭐⭐⭐⭐ 概念界定清晰，公式符号严谨，实验图表详实且剖析深入。
- 价值: ⭐⭐⭐⭐⭐ 为具身智能与大模型多模态视觉推理摆脱端到端黑盒微调提供了具有极高可复现性与扩展潜力的全新路线。