PPTArena: A Benchmark for PowerPoint Editing¶

会议: ECCV2026
论文: ECCV 原文
代码: https://github.com/michaelofengend/PPTArena
领域: 多模态 VLM / LLM Agent
关键词: PowerPoint 编辑、结构感知、工具路由、双裁判评测、跨页一致性

一句话总结¶

PPTArena 将真实演示文稿的原位编辑变成同时检查结构正确性和视觉质量的基准，并以混合代码/OOXML 执行及反思校验的 PPTPilot 获得全量 IF/VQ 2.57/2.69，但距离可靠完成复杂编辑仍有明显差距。

研究背景与动机¶

实际工作中的演示文稿往往不是从空白页面生成，而是在旧报告、已有模板和多人积累的素材上持续修改。用户说“统一副标题字号并对齐两个标志”时，期待的是对正确对象做局部修改，同时保留未提及的内容、布局和主题关系。只把幻灯片当图片看，会丢失文本段落、对象层级、占位符、叠放顺序和母版继承等可编辑语义。只把任务当作文本到幻灯片生成，又容易允许模型重新排版整个页面，掩盖它是否真正理解了原文件。因此，生成一张好看的图与可靠地编辑一套可继续使用的演示文稿，是不同的能力要求。

已有 PPTC-R、T2US 等工作提供了演示文稿任务，但本文认为其短操作序列或模板化场景不足以揭示文档级依赖。例如，将集中在某页的讲稿分配给正确页面，再删除暂存页，必须先识别内容对应关系，不能仅检查目标文本是否出现。翻译文字也可能改变文本框占用空间，即使语义准确，最终页面仍会发生遮挡或溢出。反过来，一套视觉整齐的幻灯片也可能把正确内容放在错误页面，或遗漏用户要求的修改。这使评测既需要原生结构证据，也需要渲染后的视觉证据，而不能把两者压成单一的相似度。

PPTArena 的切入点是为真实文稿建立原文件、人工目标文件、编辑指令和逐样本评分约束之间的对应关系。有了这些可检查的目标，模型不仅要解释页面，还必须通过工具改变页面背后的结构，并承担误改其他内容的后果。配套的 PPTPilot 则检验一个更具体的假设：接口选择和执行后的验证，比让同一个模型始终使用一种编辑方式更重要。 核心 idea：把 PowerPoint 编辑评测建立在原生文档结构与视觉成品的双重约束上，再用按任务路由的混合编辑接口减少精细控制与跨页批处理之间的冲突。

方法详解¶

整体框架¶

本文包含两层贡献：PPTArena 定义编辑任务及其评价方式，PPTPilot 提供可在该任务上执行的结构感知智能体。基准侧的输入是一套原始 PPT、自然语言修改要求，以及供评测使用的人工目标 PPT 和样式目标。智能体侧读取用户指令与原文稿的结构、内容和截图，经路由器选择代码编辑或直接 OOXML 编辑，输出修改后的 PPT。随后，验证器可以依据原始指令检查渲染结果并反馈错误，让智能体继续修订。最终评分阶段才将预测文稿与原始/目标文稿进行结构和视觉比较，分别生成指令遵循与视觉质量分数。

这里必须区分“用于执行的状态”与“用于评价的参考答案”：人工目标文稿和评分约束是基准构建与裁判的重要输入。第 4 节描述的路由器输入则是指令、截图和文稿内容，不能据此说编辑器直接获得目标文稿。中间表示包括保留布局、样式、内容信息的 JSON 摘要，以及可精确修改文稿属性的 OOXML。截图补充这些表示难以直接呈现的视觉关系，例如遮挡、对齐和整体布局平衡。这是基准与工具执行系统的设计，不是新增视觉编码器或训练一个端到端幻灯片生成网络。

关键设计¶

1. 原生编辑任务：以文稿状态变化定义正确答案

作者从超过 18000 套网络演示文稿中抓取素材，转换为记录布局、样式和内容元数据的 JSON 轨迹，再做自动过滤。在超过 500 套人工审查的候选中，结合研究人员及艺术设计学生贡献的内部材料，最终选出 100 套文稿。候选集合还包含作者从头制作的 25 套文稿，因此不能把最终集合简单描述成全部来自网络的自然文稿。最终覆盖 2125 张幻灯片，表 5 给出的独立编辑总数为 1340。任务同时提供原始状态、人工目标状态、结构化文本指令，以及涉及布局、字体、颜色和内容的评分要求。这种设计让“把文字搬到错误页面”与“完成了同样的文字变化”可以被明确区分，而不是仅比较字符串集合。参考答案用于约束修改目的，也为保持原文稿中不应变化的结构提供依据。

编辑类型被组织为内容、布局、样式、交互和结构 5 个大类，共 16 种具体操作。覆盖范围包括文字、形状、图片、表格、图表、SmartArt、音视频，以及母版、动画、超链接、备注和无障碍属性。一个案例可以带多个类别标签，所以表 2 的 144 是标签计数，不是 144 套独立文稿。表 3 报告平均每次编辑有 13.4 个操作、涉及 8.3 张幻灯片，强调较长的修改程序而非孤立动作。跨页案例要求至少两页协调修改；高难案例则涉及跨页依赖或较强的视觉文本推理，如图表重映射和翻译。图 2 的讲稿整理任务要求先将暂存页的文字放入各页正确的演讲者备注，再删除暂存页，顺序本身就是正确性的一部分。这些任务之所以难，不只是操作数量多，而是对象识别、跨页对应和执行顺序必须同时成立。

2. 结构/视觉双裁判：把改对内容与做好版式分别检查

指令遵循分数 IF 衡量用户要求在语义和逻辑上是否完成，包括目标对象、格式修改和复杂命令中的子任务。视觉质量分数 VQ 衡量布局、对齐、字体、配色和成品的专业性，而不把“看起来不错”当作指令已经完成。两项均由裁判给出 0 至 5 的整数分，其中 0 表示失败、5 表示完美；结果表报告平均分，并非成功率。评分依据不是一个适用于所有页面的泛化提示，而是逐样本的 style target，即明确本次编辑应满足的样式与内容约束。作者将原始文稿和人工目标文稿的 JSON 摘要及截图交给 GPT-5 生成这些约束，再逐一人工核验其正确性与忠实性。同时提供修改前后状态，可让约束强调此次变化，而不是单纯复述目标页面上已有的全部元素。因此，自动生成裁判提示并不等同于完全自动构造可信标注，人工验证仍是这里的重要成本。

IF 裁判接收原始、预测、人工目标之间的结构化差异，如 JSON/XML 摘要，侧重内容变化和逻辑完成度。 VQ 裁判接收预测和人工目标的渲染截图，侧重视觉执行效果；二者都结合任务的样式目标。两名裁判是分开的调用/角色，可以使用同一种基础模型，而不是必须来自两个不同模型系列。为避免跨页任务的视觉上下文过长，系统用结构相似性指标 SSIM 筛出显著变化的页面，再送给视觉裁判。 SSIM 在这里负责筛选待检查页面，不是最终质量分数，更不能代替 IF 对语义正确性的判断。主实验使用 GPT-5.2 裁判，并通过独立 Gemini 3.1 Pro 复评和专家评分检查稳定性。结构化差异约束“改了什么”，渲染图约束“改后看起来怎样”，这种证据分工比只增加裁判提示长度更有针对性。

3. 混合编辑路由：让操作接口适配修改粒度

PPTPilot 首先理解指令及文稿结构，包括母版、占位符、对象树、文本和视觉内容，再规划语义编辑操作。轻量路由模型综合指令、截图和内容，决定采用程序化工具还是直接处理 Office Open XML（OOXML）。图 4 给出的路由模型示例是 GPT-5 nano 或 Gemini-3.0 flash，编辑调用使用 GPT-5.2。程序化分支利用 python-pptx 生成并执行代码，适合跨页查找替换、翻译和批量规范化等重复操作。它的优势是把文档级重复工作交给程序循环，避免模型对很多页逐段生成冗长 XML。但高层 API 不一定暴露所需的母版、主题或精细结构控制能力，因此不能覆盖所有修改。

直接 XML 分支读取、解析并改写底层 OOXML，如幻灯片和主题对应的 XML 部件。这使模型可以直接处理对象位置、主题颜色槽、字体属性和母版级变化，而不受高层 API 表达能力的完全限制。代价是上下文长且格式严格，一次不合法的改写就可能损坏文稿，跨很多页的修改尤其容易累积错误。引言描述的严格 schema、XML 验证和确定性补丁旨在限制执行格式；它们并不保证模型选中的对象或修改语义必然正确。路由的作用正是把“批量内容修改”与“精细结构操作”交给各自较合适的接口，而不是宣称 XML 总优于代码。正文报告 66% 的编辑路由至程序化分支、34% 至 XML 分支；更细的统计引用了本缓存未包含的补充材料。这个比例描述当前任务分布下的使用情况，不应被固定成未来系统的路由配额。

4. 反思校验：把一次编辑变成可纠错的状态更新

完成候选修改后，系统临时生成并渲染 PPT，让验证器对照原始指令检查结果并反馈失败之处。编辑器利用这些反馈更新下一次修改，因此后续操作是围绕当前文稿状态修复，而不是重新生成一套无关的幻灯片。这一过程补足了静态结构检查的局限：合法的 XML 仍可能导致错位、遮挡、遗漏或错误的跨页对应。反思环节与最终双裁判不同，前者是执行过程中的纠错工具，后者是带参考目标的评测协议。不能把最终裁判的参考答案输入自动推定为反思验证器可访问的信息。表 7 比较无修订混合执行和 3 次循环版本，说明增加检查与修订确实能改善平均结果。

作者观察到多数修正发生在第二遍，但正文没有提供逐遍完整曲线，因而这里只保留该定性结论。表 6 报告单遍 PPTPilot 用时 1.5 分钟、3 次循环用时 3 分钟，体现了推理时成本与可靠性的交换。这些是各系统原始环境中的端到端耗时，不是统一硬件、模型和工具预算下的纯算法速度比较。反馈循环也可能反复围绕错误的对象判断修补，因此不能把多轮验证等同于文档级正确性证明。本文给出的具体失败是：当修改只应作用于局部页面时，PPTPilot 有时过度修改母版 XML。在这种场景中，ChatGPT Agent 的 GUI 操作可借助 PowerPoint 原生行为处理母版、页脚及分节，未必更差。

损失函数 / 训练策略¶

论文没有提出新的训练损失，也未在已读正文中报告对基础模型进行专门微调。核心改动发生在推理时的上下文组织、工具路由、格式约束以及验证反馈，而不是参数优化。人工目标文稿用于基准构建和评测，不应写成训练该智能体的监督数据。模型名称沿用正文和图 4；它们是作者实验配置的记录，本笔记未独立核验相应产品版本。正文多处将详细提示、预算、路由审计和完整消融引向补充材料，当前全文缓存只包含正文及参考文献。

实验关键数据¶

主实验¶

下表摘自原文表 5，第 13 页：全量 100 套文稿、1340 项编辑，使用 GPT-5.2 双裁判；IF/VQ 均为 0 至 5 分，越高越好。类别标签存在重叠，因此不能通过累加各类别的编辑数量重建独立任务总数。

系统	IF	VQ	比较范围
PPTPilot	2.57	2.69	全量基准
Gemini CLI	1.21	1.98	全量基准
ChatGPT	2.07	2.22	全量基准

相对 ChatGPT，PPTPilot 的 IF 高 0.50 分、VQ 高 0.47 分；这是评分差，不是任务成功率增加了相应百分点。由于闭源产品的限额和成本，更多系统仅在共同的 25 套文稿、206 项编辑子集上比较，子集由 20 个最难案例和 5 个补充案例组成。表 4（第 12 页）中，PPTPilot 为 1.87/1.91，ChatGPT Agent 为 1.68/1.60，MiniMax Agent 为 1.04/0.84，数值顺序均为 IF/VQ。这个子集刻意偏难，不能把其中的代理分数与表 5 的全量分数直接拼成一张统一排行榜。

消融实验¶

下表摘自原文表 7，第 14 页，上半部分改变裁判配置，下半部分改变 PPTPilot 执行器；两个实验块不能混为同一次模块移除实验。表 7 的标题与正文未在当前缓存中明确给出该表的具体样本数，完整设置被指向补充材料，因此不将它冒称为表 5 同配置的全量复现。

实验块	配置	IF	VQ
裁判	单个 VLM 裁判，全部信号	2.31	4.26
裁判	双裁判，无结构差异	3.76	4.54
裁判	双裁判，有结构差异	2.36	2.40
执行器	仅 XML	0.95	2.85
执行器	仅 python-pptx	2.06	2.73
执行器	混合执行，无修订	2.36	2.69
执行器	混合执行，加 3 次循环	2.84	3.21

同一执行器实验块内，加入循环使 IF 从 2.36 提高到 2.84、VQ 从 2.69 提高到 3.21，分别增加 0.48 和 0.52 分。仅 XML 的 IF 最低，但 VQ 并不最低，说明漂亮或整齐的修改仍可能偏离指令，不能仅凭视觉分数判断编辑可靠性。裁判实验中移除结构差异后评分显著变高，作者据此认为评测变得宽松；这种分数上涨不能解释为智能体能力提高。原表中“有结构差异双裁判”的 VQ 是 2.40，而“无修订混合执行”的 VQ 是 2.69，本笔记保留两者，不擅自统一。

关键发现¶

全量结果仍只有 2.57/2.69，显著低于满分 5；总体领先不意味着编辑任务已经解决，也不意味着每个类别均领先。
表 5 中 Styling 的 IF 为 PPTPilot 2.32、ChatGPT 2.41，Interactivity 的 IF 分别为 3.00、3.25，提供了总体结论的重要边界。
表 8（第 14 页）的分层 10% 子集由 25 名专家评分，人工与裁判的 Pearson 相关为 IF 0.72、VQ 0.81。
相同输入重复裁判 5 次时，多数一致比例为 IF 78%、VQ 95%；这支持稳定性，但仍不是逐项判断全部正确的证明。
独立 Gemini 3.1 Pro 复评下，PPTPilot 全量 IF/VQ 为 2.45/2.74，仍领先，但裁判改变会影响绝对分数。

亮点与洞察¶

最值得迁移的是把文档状态变化作为评测对象，而不是只看最终图片是否好看。这样可以把“改了错误对象”“破坏了母版继承”和“产生视觉遮挡”分开诊断，避免用一个模糊总分解释所有失败。

混合接口的价值来自表达能力与执行可靠性的互补，而不是接口数量本身。本文消融提示，增加一种底层控制手段只有在它被路由到合适的任务上时，才可能转化为更好的指令遵循。

双裁判的关键是证据隔离与逐样本约束，而不只是调用两次大模型。这为表格、网页和其他结构化可视文档提供了可复用的评测思路：结构证据检查操作目的，渲染证据检查实际呈现。

局限与展望¶

作者明确指出，含视觉、空间与跨页推理的长程编辑仍脆弱，未来需要处理含糊意图下的对话修订和跨应用流程。实时图表、从其他文档合成幻灯片以及高度专业化领域，也超出了当前基准已充分覆盖的范围。

从评测设计看，100 套来源文稿限制了版式与工作流多样性，1340 项编辑不能视为来自同等数量独立文稿的样本。 Interactivity 在表 5 中仅涉及 4 套文稿和 30 项编辑，因此其类别排名尤其需要谨慎解读。 SSIM 页面筛选可能遗漏视觉变化不大却语义重要的细节，这是读者对筛选机制的风险判断，不是本文已报告的失败率。

当前缓存不含补充材料，无法进一步核实表 7 的样本范围、完整提示及预算控制。部分数据集表格在文本抽取中排版交错；本文只采用正文或清晰表行可相互核对的数据，不猜补缺失字段。代码链接来自论文，未在本次阅读中联网验证；也未找到可确认的本文 arXiv ID，因此不补写。

评分¶

新颖性: 4/5。原生编辑任务、逐样本目标及双证据评测的组合清晰，智能体组件本身主要是已有机制的针对性组织。
实验充分度: 4/5。包含全量、匹配困难子集、执行器/裁判消融与人工对齐，但部分消融设置需依赖未包含的补充材料。
写作质量: 4/5。任务痛点与接口权衡解释具体，主结果和消融之间的配置对应仍可写得更明确。
价值: 4/5。适合研究真实办公文档智能体，且保留了远未达到可靠可用水平这一关键结论。