Probing Visual Planning in Image Editing Models¶

会议: NeurIPS 2026
arXiv: 2604.22868
代码: https://github.com/spatigen/amaze
领域: 图像生成
关键词: 图像编辑, 视觉规划, 扩散模型, 自回归模型, 空间推理

一句话总结¶

提出了 Ear（Editing-as-Reasoning）范式与程序化生成的抽象空间基准 Amaze，系统探究并评测了图像编辑模型将视觉规划压缩为单步图像变换的内在空间推理能力与泛化规律。

研究背景与动机¶

空间推理与视觉规划是人类智能的基石，人类在面对迷宫导航或空间约束布局等问题时能够凭直觉进行全局规划。然而在机器学习领域，这一本质上属于视觉模态的推理难题长期被“以文本为中心”（verbal-centric）的方法所主导——研究者普遍依赖大语言模型将视觉状态转化为文本符号序列，或者利用视觉语言模型（VLM）通过文本思维链（Chain-of-Thought, CoT）进行多轮文字推导。近年来虽然出现了直接在图像空间规划的探索，但多采用逐步逐帧生成的规划范式，推理开销极大且容易在多步级联中积累误差；与此同时，能够以极低推理步数完成高质量图像生成的现代图像编辑模型，其内部是否内化了端到端的视觉规划先验、能否直接作为空间推理器，仍然缺乏系统深入的探索。

现有方法在评估与探究视觉规划时面临核心矛盾：在自然图像和真实复杂场景中，视觉感知与识别（如物体纹理、几何形变、遮挡解析）与内在的高阶逻辑规划紧密纠缠，导致模型在规划上的失败往往无法归因于“看不清”还是“想不对”；而且传统的 VLM 评测偏向主观语义打分，GAN/扩散模型常用的保真度指标（如 FID、LPIPS）只关注图像纹理真实感，根本无法自动判定规划路径是否穿墙、空间约束是否真正被严格满足。

本文的切入角度是：将视觉规划剥离繁杂的低阶感知干扰，抽象为单步确定性图像变换任务，通过完全解耦感知与推理来探究图像生成模型的内在规划潜力。核心 idea：提出 Ear（Editing-as-Reasoning）范式将多步规划压缩为单步编辑变换，并构建无感知混淆项的纯符号空间基准 Amaze（涵盖局部连续规划的迷宫与全局离散组合规划的 N 皇后），建立像素保真度与拓扑逻辑有效性双重自动评测体系。

方法详解¶

整体框架¶

Ear 将视觉规划任务严格重构为“条件图像编辑”过程：给定包含初始问题状态（如空迷宫及出入口、空棋盘及障碍区块）的输入图像 \(I_{in}\) 以及文本推理指令 \(T\)（如标明起点终点的连线要求或无冲突皇后摆放约束），图像编辑模型直接在像素空间输出绘制有完整解的图像 \(I_{out}\)。该范式摒弃了离散的多轮推理链与逐步自回归生成，将复杂的规划动力学隐式交给扩散模型或自回归模型的单次生成去噪过程。

为精确探究该能力，配套基准 Amaze 包含两大互补范式任务：局部约束连续规划（Maze）与全局约束离散组合规划（Queen）。评测机制引入解耦的自动双指标，同时评估物理级像素保真度与数学级逻辑约束满足度。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入题目图像 + 简洁编辑指令"] --> B["Ear 单步图像编辑推理<br/>将规划过程折叠进单次去噪生成"]
    B --> C["Amaze 双范式规划任务基准<br/>连续路径搜索 vs 离散全局约束"]
    C --> D["双重解耦自动评估指标<br/>拓扑逻辑有效性 + 像素保真度"]
    D --> E["模型表现与泛化分析输出"]

关键设计¶

1. Ear 单步编辑推理范式：将视觉规划折叠进原生图像去噪轨迹

以往端到端视觉规划通常依赖多步循环生成（Step-by-step Generation），计算开销高昂且存在不可逆的误差传播。Ear 范式提出将完整的规划搜索过程委托给生成模型内部的扩散去噪演化动态。在扩散模型中，图像从纯高斯噪声开始逐步去噪，前期的低频宏观去噪阶段自然对应全局解路径轮廓的形成，而后期的高频细节去噪阶段则对应局部路径拐角的微调与避障修正。通过消除显式分步建模的归纳偏置，Ear 能够直接探测模型在单次前向扩散/生成过程中所蕴含的隐式空间规划与拓扑连通先验。

2. Amaze 纯净抽象基准构建：双重互补规划范式与几何尺度覆盖

针对传统真实场景图像中感知与逻辑纠缠的痛点，Amaze 采用完全程序化（Procedural Generation）的生成方案，剔除自然纹理与物体辨识的干扰，专注于纯粹空间结构的推理。基准涵盖两类数学属性截然不同的空间问题： - Maze 任务（局部约束的连续序列规划）：采用深度优先（DFS）和广度优先（BFS）算法生成，尺度从 \(3\times 3\) 跨越至 \(16\times 16\)。为探索模型的几何拓扑不变性，引入了 4 种截然不同的网格流形几何：正方形（Square, □）、六边形（Hexagon, ⎔）、三角形（Triangle, △）和同心圆形（Circle, ○）。每种几何和尺度生成 50 个迷宫，共计 2,800 个测试样本。 - Queen 任务（全局约束的离散组合优化）：基于 N 皇后问题的空间变体，棋盘不仅要求同行、同列无冲突，还包含不规则着色区域的独立互斥约束。尺度涵盖 \(4\times 4\) 至 \(10\times 10\)，共 350 个测试样本。

3. 逻辑有效性与像素保真度双重自动判定：解耦几何执行与拓扑正确性

生成图像在视觉上看起来“像一条路”并不等同于逻辑上“正确解出”。Amaze 利用程序化真值掩码自动提取模型预测解区域 \(P\) 与真值解区域 \(G\)、非解可行区及障碍边界，设计了一套完全规则驱动的自动指标： - 逻辑有效性（Logical Validity）：定义两项核心比率： - 违规率（Violation Rate, %）：解路径或标记非法侵入禁行区/障碍墙的像素比例或违反棋盘规则的冲突比例。 - 覆盖率（Coverage Rate, %）：正确解区域被模型生成的解所重叠覆盖的比例。 - Pass@k：在 \(k\) 次独立采样中，至少有一次输出同时满足“无违规穿越障碍且完全贯通起点至终点（或摆满满足全局互斥条件的全部皇后）”的成功率。 - 像素保真度（Pixel-wise Fidelity）：计算解区域内部均方误差（MSE-In）与非解区域保持均方误差（MSE-Out），确保模型在正确规划的同时没有篡改原始环境背景，避免通过全图泛白或过饱和涂抹等作弊手段提高覆盖率。与人类专家打分评测显示，该自动指标与人类判断的一致性高达 98%。

损失函数 / 训练策略¶

在监督微调（SFT）阶段，统一采用最简基础规模数据：\(3\times 3\) 迷宫（四种几何各 800 个样本）与 \(4\times 4\) 皇后（800 个样本）。模型采用标准扩散 Flow Matching 损失或自回归交叉熵损失，仅微调最多 8 个 epoch，并在独立验证集上依据 MSE plateau 触发早停机制，以严格探测模型从极小规模向大尺度和未见几何的跨域零样本迁移能力。

实验关键数据¶

主实验¶

论文评测了顶级商业闭源模型（GPT-Image-1、NanoBanana-Pro、Seedream-4.5）以及开源代表模型（Flux-Kontext-Dev、Qwen-Image-Edit、Bagel、Janus-Pro-7B）。

模型类别	模型名称	Maze Violation (↓)	Maze Coverage (↑)	Maze Pass@1 (↑)	Queen Violation (↓)	Queen Coverage (↑)	Queen Pass@1 (↑)
商业闭源	GPT-Image-1	62.88%	58.97%	5.40%	62.91%	37.09%	0.00%
商业闭源	NanoBanana-Pro	47.76%	64.21%	4.82%	32.56%	67.43%	30.35%
商业闭源	Seedream-4.5	16.90%	25.67%	2.14%	76.86%	23.14%	2.86%
开源零样本	Flux-Kontext-Dev	23.84%	30.24%	0.36%	78.63%	21.37%	0.92%
开源零样本	Qwen-Image-Edit	19.37%	28.51%	1.43%	69.52%	30.47%	2.86%
开源零样本	Bagel (扩散)	28.91%	27.15%	0.00%	61.57%	38.43%	0.00%
开源零样本	Janus-Pro (自回归)	5.41%	1.85%	0.00%	84.24%	15.76%	0.00%
微调 (SFT)	Bagel (微调)	12.21%	51.02%	11.54%	68.27%	31.73%	14.57%
微调 (SFT)	Janus-Pro (微调)	35.60%	23.33%	1.43%	16.07%	83.93%	12.57%
微调 + CoT	Bagel (微调+CoT)	15.24%	44.65%	17.90%	64.22%	35.78%	14.08%
微调 + CoT	Janus-Pro (微调+CoT)	31.23%	25.12%	2.79%	18.52%	81.48%	11.20%

跨几何与跨尺度泛化分析¶

以微调后的 Bagel 为主体，探究在极小尺度（\(3\times 3\) 或 \(4\times 4\)）训练向大尺度和未见拓扑几何的迁移表现：

训练设置	测试几何/尺度	Pass@5 / 表现描述	迁移规律与核心原因分析
\(3\times 3\) 六边形 (⎔)	三角形 (△)	40.14%	呈现非对称迁移优势，六边形动作空间是矩形和三角形的超集
\(3\times 3\) 六边形 (⎔)	正方形 (□)	30.00%	超过了同等正方形自域训练基线，证明学到与几何解耦的路径连通逻辑
\(3\times 3\) 迷宫训练	扩展至 \(16\times 16\) 迷宫	保持非零成功率	在大尺度迷宫中两端路径完美，但中段长程依赖断裂导致失败
\(4\times 4\) 皇后训练	扩展至 \(7\times 7 \sim 10\times 10\)	0.00% 成功率	出现完全过拟合与记忆化，小尺度皇后无法提供尺度不变推理先验
\(7\times 7\) 皇后训练	扩展至更大尺度	显著提升泛化	全局组合约束必须在大规模配置下暴露多样解空间才能学会推理

关键发现¶

商业模型零样本能力极其脆弱：商业模型在迷宫任务中最高仅获得 5.4% 的 Pass@1。GPT-Image-1 违规率高达 62.88%，频繁穿墙；Seedream-4.5 违规率虽然较低（16.90%），但实际上是因为过度保守而“几乎不画”（Coverage 仅 25.67%）；NanoBanana-Pro 在 Queen 上取得 30.35% 的高分，推测在其训练预料中包含类似棋盘益智图。
扩散架构在视觉推理上显著优于自回归架构：在 \(3\times 3\) 微调后，基于扩散的 Bagel 在 Maze 上从 0% 跃升至 11.54%（超越最强闭源商业模型），而自回归的 Janus-Pro 仅达到 1.43%。自回归模型的光栅扫描（Raster-scan）局部因果生成严重缺乏全局结构前瞻，而扩散模型的全局渐进式去噪表现出自然的“粗粒度轮廓成型 \(\to\) 细粒度试错纠错”的规划演变。
文本思维链（CoT）并非万灵药：在零样本下 CoT 几乎完全无效；唯有在模型经过 SFT 微调内化了任务的空间规则后，CoT 才能带来有限增益（Bagel Pass@1 由 11.54% 提升至 17.90%）。
人机推理效率鸿沟：在单块 NVIDIA RTX 5090 显卡上，模型单次画图推理平均耗时约 7.5 秒，且在时间预算扩充下的成功率几乎不增长；而人类志愿者的成功率随着思考时间的增加呈强正相关。相关性分析显示，模型在局部迷宫上的行为模式最接近 18 岁成熟人类，但在全局离散约束的皇后问题上仅相当于 6 岁幼儿水平。

亮点与洞察¶

将视觉规划压缩为单步图像编辑：首次系统确立了“Editing-as-Reasoning”理念，论证了去噪扩散过程本身即可承载隐式空间规划，避开了自回归序列化生成的高延迟与累积误差。
高复杂流形朝低复杂流形的非对称迁移：发现六边形（六通量）迷宫训练能带来最强的跨几何泛化，其动作空间作为超集能够泛化至正方形和三角形，揭示了模型内化拓扑导航策略的数学机理。
数据与算力的强耦合缩放律：在数据量扩展超过 1600 样本后迷宫任务迅速饱和，而增加训练算力 step 则能在后期带来持续陡峭的性能爬升，证明空间规划能力的瓶颈主要受限于优化能力与全局表征吸收。

局限与展望¶

长程空间依赖在超大尺度下严重衰减：在 \(16\times 16\) 以上大迷宫中，模型能在起点与终点两端生成完美的局部可行子路径，但中间区域由于长程依赖丢失而发生断头或无法缝合。
全局组合约束泛化难度远高于局部序列规划：Queen 任务在小尺度学习后几乎无法零样本外推，离散全局约束对连续像素表征依然构成严峻挑战。
未来方向：探索测试时搜索（Test-time Scaling / MCTS）与连续潜空间规划的融合，引入拓扑约束损失指导扩散逆向过程，增强跨大尺度拼接的能力。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将视觉空间规划形式化为单步图像编辑任务，揭示了扩散去噪过程中的规划动力学。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7 个主流闭源与开源模型、4 类几何网格、跨尺度跨几何评测及与多年龄段人类的严格对照实验。
写作质量: ⭐⭐⭐⭐⭐ 概念清晰，任务抽象严谨，实验图表和失败案例剖析极具说服力。
价值: ⭐⭐⭐⭐⭐ 为探索非语言、具身直觉式的纯视觉空间大模型推理开辟了全新评测体系与范式。