EndoCoT: Scaling Endogenous Chain-of-Thought Reasoning in Diffusion Models¶

会议: ECCV2026
官方论文: 4214
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/4965.pdf
项目: EndoCoT
领域: 多模态推理
关键词: 潜在思维链、扩散模型、视觉逻辑推理、语义对齐、测试时计算

一句话总结¶

EndoCoT 让扩散模型中的多模态编码器递归更新连续思维状态，以终端文本监督和分阶段视觉监督训练推理与生成的配合，在任务专用训练下取得论文所报 92.1% 平均准确率，比 DiffThinker 高 8.3 个百分点，而不是简单增加去噪步数。

研究背景与动机¶

将多模态大语言模型接入扩散模型，并不意味着生成过程自然获得了多步推理能力。以 Qwen-Image-Edit-2511 为例，编码器可以把图像和指令压成条件表示，扩散 Transformer（DiT）再据此画出结果；但迷宫路径、数独填空等任务不仅要求图像合理，还要求每一步满足离散约束。论文观察到，普通去噪可能很早就确定错误答案，后续只是把错误答案画得更清晰。

作者据此区分两个瓶颈：编码器只执行一次前向传播，未必能形成足够深的约束推理；即便条件表示包含有用信息，一次性静态注入也难以支持复杂空间结构的逐步求解。层级激活敏感性与跨模态注意力熵分析为这一判断提供了经验依据，但这些诊断不是证明模型内部推理位置的严格因果实验。本文要改变的不是图像输出格式，而是条件表示形成和受监督演化的方式。

核心 idea：在多模态编码器的连续隐藏空间中反复更新思维状态，用中间视觉目标教会它逐步求解，再以文本答案锚定最终状态，让推理预算与昂贵的图像去噪预算分开控制。

方法详解¶

整体框架¶

输入是一张任务图像及文字要求，输出是表达解答的图像，例如标出路线的迷宫或填完的数独。EndoCoT 基于 Qwen-Image-Edit-2511，保留多模态编码器与 DiT 的生成框架，同时对两者进行 LoRA 微调；贡献不在模型压缩，而在连续思维链如何学习以及如何引导视觉求解。

训练中的三项设计依次是：迭代思维引导产生逐步变化的条件状态，终端思维锚定用正确文本解约束最后的思维状态，渐进式训练先学完整轨迹、再集中提高最终答案质量。下面展示训练侧的关系；中间视觉目标监督的是对应状态下的生成任务，并不是额外输入给下一轮的图像反馈。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["任务图像与指令"] --> B["迭代思维引导"]
    B --> B
    B --> C["终端思维锚定"]
    G["正确文本解"] --> C
    C --> D["渐进式训练"]
    H["中间及最终视觉目标"] --> D
    D --> E["训练后的推理生成模型"]

推理时则更简单：根据指定预算递归计算连续思维状态，最后用终端状态运行图像生成。论文明确说明可以不解码中间图像，因此不能把该方法理解为“每多想一步，都重新完成一次 DiT 去噪”。训练所监督的多步视觉轨迹和部署时实际生成的图像数量是两件事。

关键设计¶

1. 迭代思维引导：将一次性条件编码变成可递归更新的连续状态

首先把文字提示和输入图像编码为固定前缀。每轮将上一轮思维向量直接拼接到此前缀之后，送入去掉嵌入层与输出投影层的多模态语言骨干，取对应末位置的隐藏状态作为新思维。关键在于上一轮状态直接进入网络第一层，不需要先选成一个离散词、再查词嵌入表；前缀保持不变，持续变化的是承载推理进展的高维状态。

这种递归不是不断把生成图像读回模型，也不是显式输出一长串方向词。它给编码器重复组织约束的机会，同时避开本文显式词元变体中出现的重复文本和误差累积。需要注意，这些实验支持连续状态在当前训练设置下更有效，并不能推出所有显式思维链都不适合视觉推理。

论文用当前思维状态作为 DiT 的条件，并为不同推理轮次准备对应的中间视觉目标，例如正确迷宫路线的一段。训练通过条件流匹配，让不同状态对应不同求解进展。这里有两个时间轴：推理轮次描述“想到了哪里”，扩散内部时间描述“从噪声还原到图像的进度”；两者不可混同，也不是每个内部去噪步都必然更新一次思维状态。

2. 终端思维锚定：用正确文本解限制连续状态漂移

只有视觉监督时，图像输出即使局部像答案，也不一定迫使隐藏状态保持完整的逻辑含义。作者把正确的文字推理步骤和原任务输入送入编码器，得到参考思维状态，再用 L2 语义损失拉近最后一轮思维与该参考。这个约束只在终端启用：中间状态仍可逐步探索，最后必须收束到与正确答案一致的语义位置。

因此，文本解在这里是训练监督，不是推理时提前提供的答案，也不是调用外部求解器生成提示。将锚定放在终点，还避免了要求每个连续状态逐一对应人工规定的文字句子。本文仍需要可靠的文本解和中间视觉目标；“潜在推理”不等于“不需要过程监督”。

本地 PDF 文本的公式排版有丢符号，以下按正文关于终端 L2 对齐及其权重的说明整理为机制示意，而非逐字复原原式：

\[ \mathcal L_{\mathrm{total}}^{\tau} =\mathcal L_{\mathrm{FM}}^{\tau} +\mathbf 1_{\{\tau=T\}}\lambda_{\mathrm{align}} \lVert h_T-h_{\mathrm{ref}}\rVert_2^2, \qquad \lambda_{\mathrm{align}}=1. \]

其中，\(T\) 是最终推理轮次，\(h_T\) 是模型自行递归得到的终端思维，\(h_{\mathrm{ref}}\) 来自正确文本解；\(\mathcal L_{\mathrm{FM}}^{\tau}\) 是对应轮次视觉目标的流匹配损失。重点是终端指示项，而非给所有中间思维施加相同的答案表示。

3. 渐进式训练：先形成求解轨迹，再巩固最终输出

探索中间解与生成干净的最终答案不完全是同一个目标。第一阶段监督所有推理轮次的视觉目标，并在终端加入语义锚定，使模型学到连贯的求解进展；如果只看最终图片，递归状态可能没有动力承担有意义的中间计算。

第二阶段保留中间推理前向过程，但不对中间步骤传播梯度，仅优化最终输出及终端对齐。作者采用较短的第二阶段微调，以减少对已学轨迹的破坏。这是训练梯度路径的调整，不是删掉中间思维，也不是在推理时只执行最后一步编码。

两阶段都依赖编码器与 DiT 的配合：前者负责形成有用的约束表示，后者把条件落实为空间结果。只调一边的消融明显较差，但正文没有独立给出“移除第二阶段”的数值表，因此不能把整套系统相对基线的提升全部归功于分阶段训练。

一个完整示例¶

以一张迷宫图为例，训练首先拥有正确路线及其分段渲染目标。早期思维状态对应部分路线，后续状态逐渐对应更完整的路径；DiT 的流匹配训练让这些状态能被落实为相应图像。最终思维还要贴近“正确方向序列与原迷宫”形成的参考表示，防止局部路径看似合理但整体走错。

部署时，同一迷宫与指令构成固定前缀，模型只递归更新思维状态，到预算用完后生成最终路线图。论文推理预算实验中的 Maze-32，在 2 步时准确率为 11%，50 步时为 90%；这不是单个样例的成功轨迹，而是对应预算下的测试集统计。可视化中间图片可用于观察过程，但并非每次推理都必须支付的开销。

损失函数 / 训练策略¶

流匹配部分学习从噪声到目标图像的向量场，各轮使用各自的中间或终端视觉目标。第一阶段汇总所有轮次的视觉损失并加入终端锚定；第二阶段只保留最终轮的优化信号，上面的终端权重设为 1。

正文报告 LoRA rank 为 32，学习率为 \(1\times10^{-4}\)，训练 5 个 epoch，任务图像渲染为 \(512\times512\)。当前缓存未附正文所指的超参数附录，不能进一步确定两阶段各占多少训练迭代、全部 LoRA 目标层及运行硬件；这些复现实务不宜补猜。

实验关键数据¶

主实验¶

论文区分零样本、任务专用训练和统一训练。下表只在同一训练协议内比较 EndoCoT 与 DiffThinker；准确率越高越好，差值为百分点。Maze 的后缀表示迷宫尺寸，TSP 表头区分问题规模，Sudoku 后缀在正文表中作为难度规模使用；缓存未明确给出其具体计数定义，故不擅自解释为待填格数。Avg 沿用原表汇总，不另行推定加权方式。

协议与指标	EndoCoT 准确率（%）↑	DiffThinker 准确率（%）↑	差值（百分点）
任务专用 / Avg	92.1	83.8	+8.3
任务专用 / Maze-32	90	65	+25
任务专用 / TSP-18	73	59	+14
任务专用 / Sudoku-35	95	55	+40
任务专用 / Sudoku-30	64	13	+51
统一训练 / Avg	84.2	77.1	+7.1
统一训练 / Maze-32	52	66	-14

因此，“平均提升”不能改写为“所有设置都更优”。统一训练下 Maze-32 反而低于 DiffThinker，且任务专用模型与覆盖全部任务的单个模型不是同一种部署条件。

消融实验¶

以下来自原文表 2、表 3，均选 Maze-32。Path Repetition 是生成路径与正确路径的重叠比例，越高越好，不是“错误绕圈次数”；正文未写清重叠比例的分母及具体栅格匹配规则，因此保留作者报告值，不补造精确计算式。

配置	准确率（%）↑	Path Repetition（%）↑	说明
完整模型	90	98.13	连续思维与终端语义监督
去掉语义损失	14	67.24	缺少终端文本锚定
显式词元	0	0.08	用离散自回归文本代替连续思维
MLLM-Only	0	0.20	只优化多模态语言侧的消融
DiT-Only	18	80.96	只优化 DiT 侧的消融

去掉语义损失使准确率下降 76 个百分点，说明当前设置非常依赖文本锚定。DiT-Only 仍有 80.96% 的路径重叠率，却仅有 18% 准确率，也说明“多数路径位置接近”与“整条解答成立”差别很大。

第三个表保留推理预算分析。时间为秒、越低越好；这些值来自原文表 4，不与表 1 的 DiffThinker 数字混用，因为原文未解释两表基线结果不同的原因。

配置	Maze-32 准确率（%）↑	Path Repetition（%）↑	时间（秒）↓
DiffThinker	56	73.74	15.72
EndoCoT，2 步	11	45.26	16.02
EndoCoT，5 步	27	63.90	16.54
EndoCoT，10 步	49	82.33	17.52
EndoCoT，20 步	74	96.47	19.27
EndoCoT，50 步	90	98.13	24.81

关键发现¶

增加潜在推理预算可改善难迷宫，但并非免费加速：少步配置甚至弱于 DiffThinker，达到高准确率需要更多时间。
文本终端锚定和双侧协同微调都有强消融支持；分阶段训练本身缺少单独量化，证据强度应区别对待。
普通 VSP 多项接近满分，难迷宫与难数独更能显示方法差异；图像编辑结果主要为定性展示，不能据此声称通用编辑质量全面领先。

亮点与洞察¶

把推理深度与去噪深度分开。 额外计算主要增加连续思维更新，而不要求为每轮重复昂贵的 DiT 解码，这使预算控制有了不同于增加采样步数的操作空间。
视觉过程监督与文本终端监督分工明确。 前者教状态如何对应可执行的空间进展，后者约束最终逻辑落点，而不是让一个像素损失同时承担所有职责。
同时报告解答成立与路径相似。 这能识别“图像看起来几乎正确，但约束仍失败”的情况，避免仅凭视觉接近程度评价推理。

局限与展望¶

作者明确承认需要手动选择推理步数，并依赖高质量中间监督数据；自动深度控制与更广泛任务迁移仍是尚待验证的方向。
本文主要证据来自结构化视觉谜题，统一训练并不在每个子任务上胜出，不能把任务内优势直接外推成通用视觉推理能力。
当前缓存的若干公式字符损坏，附录细节未包含，Path Repetition 的精确实现及表 1、表 4 基线差异没有充分说明；这些限制影响独立复现与细粒度成本比较。

评分¶

新颖性: 4/5 — 将连续潜在推理、终端语义锚定和扩散视觉监督组织成明确的训练与推理方案。
实验充分度: 4/5 — 多任务、统一训练和关键消融较完整，但缺少分阶段策略独立消融及充分的通用任务证据。
写作质量: 3/5 — 两类瓶颈与设计关系清楚，部分训练/推理措辞及表格协议仍需更明确区分。
价值: 4/5 — 为研究扩散模型如何使用推理预算提供了具体方案，适用边界仍受过程监督与任务结构限制。