PRISM: A Benchmark for Programmatic Spatial-Temporal Reasoning¶
会议: NeurIPS 2026
arXiv: 2605.19382
OpenReview: https://openreview.net/forum?id=XbNjlZYLho
代码: https://github.com/positionprivacy/PRISM
领域: 多模态推理
关键词: 空间时序推理, 程序化视频生成, 大语言模型评测, Manim, 布局规划
一句话总结¶
针对大语言模型在程序化视频生成中“代码能运行但画面布局崩塌”的盲区，本文提出包含 10,372 个高质量中英文图文代码对的大规模基准 PRISM 与四维漏斗型渲染评测体系，揭示了执行成功率到空间合格率断崖式下跌 41% 的“执行-空间鸿沟”。
研究背景与动机¶
基于扩散模型的像素级视频生成虽然能生成视觉逼真的画面，但在科学展示、教育动画与知识可视化等知识密集型任务中，极度缺乏几何精确性、符号控制力与长时程逻辑一致性。与之相对，以 Manim 为代表的程序化视频生成通过 Python 脚本显式定义物体对象、绝对坐标、空间变换与时序演化，为高保真、结构可解释的动态视觉内容生成提供了高精度的符号化生成路径。然而，要真正规模化推进程序化视频生成，核心前提是严谨验证当前大语言模型（LLM）是否具备将复杂的教学逻辑大纲准确合成为兼具可执行性与时空几何正确性的动态程序。
以往的视觉代码生成基准大多局限于静态单帧输出（如网页 HTML/CSS、图表 Plot2Code/ChartMimic、矢量图 SVG 或科学绘图 TikZ），完全忽略了连续长序列动画中物体空间几何关系在时间维度上的动态演进与约束累积；而在程序化视频领域，已有数据集规模极小（通常仅数百个样本），严重缺乏真实知识场景的多样性。更关键的痛点在于评测机制的严重脱节：社区普遍将代码是否抛出异常（代码可执行性）视作唯一核心指标，或依赖粗粒度的 VLM-as-Judge 进行整体视觉印象打分；前者完全无法感知画面局部穿模、文字出界与遮挡，后者在长视频细粒度时空感知与严谨几何度量上频频发生幻觉。
要突破这一评测壁垒，必须将评估从表层的代码语法编译深入到连续渲染时间线上的精确几何约束。核心 idea：构建包含 10,372 个经过专家校准的高质量中英文程序化视频基准 PRISM，并设计由可执行性、全时程空间推理（重叠/越界/泄漏）、提示感知动态视觉复杂度（PADVC）和时序密度（TD）组成的四维漏斗型确定性几何渲染评测框架，精确量化与诊断大模型在程序化时空推理中的执行-空间断层。
方法详解¶
整体框架¶
PRISM 将程序化时空推理形式化为带约束的代码生成任务 \(f_\theta: \langle S, X \rangle \rightarrow (C, V)\)，其中环境约束 \(S\) 与教学大纲文本 \(X\) 作为输入，模型输出 Manim 脚本 \(C\) 及其渲染动画序列 \(V\)（执行失败则为 \(\bot\)）。由于长序列渲染中的几何失效（如局部越界、瞬时重叠）往往只在特定关键帧爆发，PRISM 摒弃了不可靠的纯神经网络裁判，完全基于渲染引擎底层解析构建确定性漏斗型评测体系。评测从外层的代码可执行性准入开始，向下深入到基于连续帧几何基元的空间约束审计，最后由 PADVC 和 TD 两个正态对齐维度对动态表达与时序节奏展开细粒度诊断。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
IN["教学大纲与约束输入<br/>⟨S, X⟩ (中/英双语 437 个学科类别)"] --> M["大语言模型代码生成<br/>f_θ 预测 Manim 脚本 C"]
M --> C1["代码级可靠性门控<br/>执行成功率判定 & 6类错误归因"]
C1 -->|编译/运行报错| F1["执行失败并终止 (记录运行开销)"]
C1 -->|执行通过| C2["全序列空间推理审计<br/>逐稳定帧几何检测 (重叠 / 越界 / 泄漏)"]
C2 -->|违背几何约束| F2["空间失败 (累积空间合格率判定)"]
C2 -->|空间检测全通过| S["空间合格样本"]
C2 -.-> D1["提示感知动态视觉复杂度<br/>PADVC: 几何演化 vs 文本负担"]
C2 -.-> D2["时序密度诊断<br/>TD: 帧间视觉变化速率与节奏"]关键设计¶
1. 渲染引擎底层解析与人机协同分级清洗：从海量候选提炼高保真时空数据 为了让基准覆盖丰富多样的真实教学场景，构建流程从各学科大纲片段出发，首先通过智能体生成草稿、标注员修订和专家初筛产出逾 30,000 个原始候选 Manim 脚本。为了保证基准中每道题目的金标准真值绝对精准，PRISM 建立了三阶段过滤管线：第一阶段直接对 Manim 渲染管线进行插桩，利用低级接口直接提取每一帧所有视觉对象的底层坐标与几何包围盒，自动化硬规则剔除任何在单帧发生几何越界或非法遮挡的代码；第二阶段构建 3,000 个专家标注的黄金子集，标定免除误报的拓扑与语义容差阈值（例如合法的网格对齐、背景高亮矩形等设计被正确识别保留）；第三阶段辅以语义人工抽检，剔除内容与动画演示不匹配的样本。最终筛选保留出 10,372 对极高质量的中英文任务数据，涵盖 437 个学科大类，平均参考代码 93 行（32 次对象构建、62 次 API 调用）。
2. 基于层次感知场景图的全序列空间约束审计：精准捕捉三类互斥几何失效 可运行的 Manim 脚本极易在连续时间线发生视觉崩溃，为此空间推理指标在动画动作切换点自动化截取关键帧快照，提取几何点集、边界框与层次依赖。空间审计将错误严格解耦为三类互斥的失效模式：布局重叠（Layout Overlap），即非故意层叠导致信息受损的元素相互遮挡；越界放置（Out-of-bounds Placement），即图元主体超出默认可视窗口导致的物理信息丢失；局部泄漏（Layout Leakage），即几何延伸突破其容器边界（如公式数字脱离矩阵括号、段落文字溢出文本框）。通过层级感知基元解析器自顶向下递归展开场景图，并由拓扑抑制模块免除故意覆盖，只有完整序列中每一处经过审计的稳定帧均无任何违规，样本才计入空间合格（Spatial Pass），对长时程时空衰减极其敏感。
3. 提示感知动态视觉复杂度与时序密度诊断：解耦动态表达失衡与时序节奏 为了诊断模型陷入“PPT 幻灯片式静态死板”或“过度装饰导致空间失控”的两极失效，评估框架引入了 PADVC 指标。PADVC 遵循两大原则：模型在文本显示之外的核心价值体现在非文本几何图元的演进与关系组织上；多步平滑渐进展开优于单次突兀呈现。原始 PADVC 综合各动画事件的几何演变能量、全片峰值文本负担及提示词视觉密度计算： $$ \mathrm{PADVC}{r}=\frac{\sum $$ 其中 }\left(E_{\mathrm{geo}}^{(k)}\right)^{p}}{\log(\mathrm{PVD}+e)\cdot\left(1+\left(E_{\mathrm{text}}^{\max}\right)^{p}\right)\(p=0.7\) 为奖励渐进多步展开的凹指数，\(E_{\mathrm{geo}}^{(k)}\) 通过帧差正向显现像素并结合 OCR 掩膜排除文本后计算所得，\(E_{\mathrm{text}}^{\max}\) 为峰值文本边缘能量，\(\mathrm{PVD}\) 为提示词结构复杂度。由于动态过低（单调死板）与动态过高（冗余动作）均属缺陷，PADVC 与时序密度 TD 均通过参考真值分布的高斯对齐转换为居中得分（\(\mathrm{PADVC}_c\) 与 \(\mathrm{TD}_c\)），从而为时空节奏提供客观参照。
损失函数 / 训练策略¶
作为纯评测基准，PRISM 评估各大模型在零样本约束下的代码生成能力，统一采用 Manim CE v0.19.0 作为渲染沙箱，模型推理温度固定为 0.7，并在具备推理/长思考功能（Thinking Mode）的模型上开启深度推理。基准不引入任何模型微调训练目标，所有评测严格基于 20% 统一随机分层抽样集展开。
实验关键数据¶
主实验¶
PRISM 对 7 款代表性前沿模型进行了独立的中英文评测（涵盖 4 款闭源与 3 款开源模型）。核心发现是各模型均存在触目惊心的执行-空间鸿沟（Execution-Spatial Gap）：代码可执行并不代表画面布局正确，从执行成功率到空间合格率的全模型平均跌幅高达 41.24 个百分点（95% 置信区间 [40.41, 42.11]）。
| 语言子集 | 模型 | 模型类型 | Exec. (%) | Spatial (%) | PADVC_c | TD_c | Overlap (%) | Leak (%) | OOB (%) |
|---|---|---|---|---|---|---|---|---|---|
| 英文 (English) | GPT-5.4 | Closed | 94.5 | 35.8 | 0.86 | 0.82 | 41.2 | 22.8 | 35.4 |
| 英文 (English) | Gemini 3.1 Pro Preview | Closed | 77.8 | 47.6 | 0.78 | 0.88 | 23.5 | 14.2 | 18.7 |
| 英文 (English) | Kimi K2 Thinking | Closed | 79.7 | 40.8 | 0.81 | 0.83 | 29.8 | 19.4 | 26.1 |
| 英文 (English) | Claude Sonnet 4.6 | Closed | 80.2 | 34.1 | 0.82 | 0.81 | 37.6 | 23.5 | 31.9 |
| 英文 (English) | GLM-5 | Open | 71.9 | 36.9 | 0.79 | 0.84 | 31.4 | 18.7 | 27.5 |
| 英文 (English) | DeepSeek-V3.2 | Open | 79.7 | 37.2 | 0.80 | 0.83 | 32.6 | 21.0 | 28.4 |
| 英文 (English) | Qwen3.5-397B-A17B | Open | 53.0 | 26.5 | 0.75 | 0.82 | 28.1 | 16.5 | 21.8 |
| 中文 (Chinese) | GPT-5.4 | Closed | 90.2 | 32.4 | 0.84 | 0.81 | 43.6 | 24.1 | 38.2 |
| 中文 (Chinese) | Gemini 3.1 Pro Preview | Closed | 75.2 | 45.1 | 0.76 | 0.87 | 24.8 | 15.1 | 20.3 |
| 中文 (Chinese) | Kimi K2 Thinking | Closed | 73.6 | 38.5 | 0.79 | 0.82 | 31.2 | 20.6 | 28.5 |
| 中文 (Chinese) | Claude Sonnet 4.6 | Closed | 60.1 | 28.7 | 0.78 | 0.79 | 40.1 | 25.2 | 34.6 |
| 中文 (Chinese) | GLM-5 | Open | 63.8 | 33.7 | 0.77 | 0.83 | 33.8 | 19.9 | 29.1 |
| 中文 (Chinese) | DeepSeek-V3.2 | Open | 63.7 | 31.0 | 0.77 | 0.81 | 35.2 | 22.8 | 31.4 |
| 中文 (Chinese) | Qwen3.5-397B-A17B | Open | 47.9 | 23.8 | 0.73 | 0.80 | 29.5 | 17.8 | 23.2 |
(注：数据采自原文 Table 1 与正文统计分析，加粗表示各列最优指标)
消融实验¶
代码端编译失败根因细分分析表明，模型代码编译崩溃的主要原因并非基础 Python 语法错误或排版污染，而是集中在 Manim 专用 API 误用（API Misuse）、API 幻觉（Hallucination）以及中文文字渲染异常（Text Render）：
| 语言 | 模型 | 执行失败率 Exec. Fail (%) | API 幻觉 (%) | API 误用 (%) | 文本渲染错误 (%) |
|---|---|---|---|---|---|
| 英文 (EN) | GPT-5.4 | 5.5 | 0.3 | 1.6 | 1.1 |
| 英文 (EN) | Gemini 3.1 Pro Preview | 22.2 | 7.2 | 6.5 | 5.6 |
| 英文 (EN) | Kimi K2 Thinking | 20.3 | 1.2 | 5.7 | 2.6 |
| 英文 (EN) | Claude Sonnet 4.6 | 19.8 | 4.5 | 3.7 | 1.2 |
| 英文 (EN) | Qwen3.5-397B-A17B | 47.0 | 6.6 | 34.7 | 2.3 |
| 英文 (EN) | GLM-5 | 28.1 | 6.7 | 15.1 | 3.0 |
| 英文 (EN) | DeepSeek-V3.2 | 20.3 | 1.3 | 4.7 | 3.8 |
| 中文 (ZH) | GPT-5.4 | 9.8 | 0.6 | 1.0 | 2.6 |
| 中文 (ZH) | Gemini 3.1 Pro Preview | 24.8 | 6.4 | 8.0 | 4.7 |
| 中文 (ZH) | Kimi K2 Thinking | 26.4 | 2.0 | 5.5 | 14.1 |
| 中文 (ZH) | Claude Sonnet 4.6 | 39.9 | 2.5 | 4.5 | 6.3 |
| 中文 (ZH) | Qwen3.5-397B-A17B | 52.1 | 7.2 | 33.9 | 6.1 |
| 中文 (ZH) | GLM-5 | 36.2 | 4.8 | 10.2 | 14.1 |
| 中文 (ZH) | DeepSeek-V3.2 | 36.3 | 2.8 | 12.6 | 12.6 |
长思考（Thinking Mode）消融研究显示：开启深度思考并未带来稳定的空间规划增益。对于 Claude Sonnet 4.6，英文空间通过率提升 7.3%，但在中文上完全持平，且执行成功率在两门语言上变化方向相反；GLM-5 增加了 5 分钟推理延迟，空间表现仅微调 1.3%。案例分析揭示思考模式促使模型做出更激进的排版动作（如放大文字字号、增加多层嵌套容器），反而直接引爆了重叠与越界异常。
关键发现¶
- 代码可执行性掩盖了严重的几何空间崩溃：GPT-5.4 展现了最强的代码编译能力（英文执行成功率 94.5%），但其空间通过率骤降至 35.8%，两项相差近 60 个百分点；而 Gemini 3.1 Pro Preview 虽然代码编译通过率排中间（77.8%），但其空间通过率以 47.6% 登顶全场，空间违规比例最低，表现出严谨的空间规划自律性。
- 开源模型深受 API 误用困扰：Qwen3.5-397B-A17B 超过 33% 的样本因为 Manim API 参数调用错误而崩溃，而中文环境下的字体渲染兼容性（中文字符排版与 LaTeX 编译报错）使得 Kimi、GLM-5 与 DeepSeek 的文本渲染失败率急剧飙升至 12%~14%。
- 动态过载与文本膨胀成为空间失效的双重诱因：原始 PADVC 最高的前 10% 样本中空间通过率仅为 32%（低动态区间为 60%）；同时，过度增加屏幕非必要说明文本（TextExpand 前 20% 分位）导致中文空间通过率从 59.5% 暴跌至 32.1%。
亮点与洞察¶
- 跳出静态代码评测盲区，首创时空动态几何约束框架：PRISM 将视觉程序评测从单帧静态 SVG/HTML 拓展到具有长时程时序累积约束的动态物理视频流，揭示了“可执行不等于可看”的本质痛点。
- 去神经网络化的确定性评测漏斗：避开了当前 VLM-as-Judge 容易产生的空间幻觉与敏感性陷阱，直接插桩渲染管线提取绝对坐标与场景拓扑图，保证了评测的高可重现性与客观性。
- 解耦认知与执行瓶颈：实验证明单纯增加语言层面的 Chain-of-Thought（Thinking Mode）无法直接转化为二维平面的几何自律，空间隐式规划是大模型生成多模态物理交互内容的关键瓶颈。
局限与展望¶
- Manim 专用语法偏置：当前基准仅采用 Manim CE 作为程序化渲染媒介，虽然评测范式理论上与引擎解耦，但对其他渲染后端（如 Processing、Three.js、Blender Python）的代码泛化性仍待进一步拓展验证。
- 缺乏人在回路的多轮交互评测：当前评测采用一次性前向生成（first-attempt），未考察模型基于编译器报错信息或视觉反馈帧进行自错自纠（Self-Debugging）的闭环能力。
- 未来方向：可利用 PRISM 标注的高质量代码对训练具备隐式几何空间感知与自我反思校验的专用视频代码大模型。
相关工作与启发¶
- vs VisualEDU / TheoremExplainAgent: 以往 Manim 数据集规模小（仅数百篇）、评测手段仅查可运行性或粗粒度人工打分；PRISM 在数据规模上扩充了 20 倍（10,372 篇），且首次提出了针对长时程动画的像素与几何双重严格审计。
- vs Design2Code / ChartMimic / GeoGramBench: 此类静态代码基准仅评估单帧静态布局，无需考虑图元随时序动作变换时的碰撞与累积；PRISM 填补了连续动态时空约束生成的基准空白。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统揭示并形式化程序化视频生成的“执行-空间鸿沟”，提出多维度确定性时空审计体系。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7 款顶尖主流模型、万级中英双语题库、细粒度错误归因及长思考模式消融。
- 写作质量: ⭐⭐⭐⭐⭐ 概念界定清晰、公式推导严密、问题与图表叙事连贯。
- 价值: ⭐⭐⭐⭐⭐ 为大模型走向精确几何可控的动态视觉内容生成与具身推理提供了极具指导性的评测地标。