SVGEval: A Vision-Grounded Framework for Perceptual-Quality Benchmarking and Evaluation in Text-to-SVG Generation¶

会议: ECCV 2026
论文: ECCV 2026
领域: LLM 评测 / 多模态 VLM
关键词: SVG 生成评测 / 多模态大模型 / 视觉对齐 / 可解释评分器 / 基准构建

一句话总结¶

SVGEval 把 text-to-SVG 的评测对象从「SVG 代码」改成「人真正看到的渲染结果」，用涵盖美学、语义、空间布局、几何结构四个维度的评分协议构建了 500 例二值诊断 + 500 例 1–5 打分的双任务基准（标注经多轮人工标注与专家裁决），并据此蒸馏训练出一个「看渲染图 + 读代码」、同时输出分维度分数与证据化理由的可解释评分器，MAE 从最强通用模型的 0.71 降到 0.58、±1 邻域准确率从 66.6% 提到 72.0%。

研究背景与动机¶

可缩放矢量图形（SVG）以 path、图元与层级 group 组成结构化程序，分辨率无关、体积紧凑、高度可编辑，因此在图标、图表、UI 设计与信息图这类「几何保真度与可复用性优先」的场景里是基础格式。近两年多模态大模型直接推动了 text-to-SVG 生成——StarVector、OmniSVG、LLM4SVG、SVGThinker 等已经能从自然语言指令产出复杂矢量图形。但生成能力跑得很快，评测没有跟上：text-to-image 那边有被广泛接受的量化指标与协议，SVG 这边却始终没有一个统一可靠的评判标准，结果是不同方法之间的比较常常不在同一把尺子上，某个设定下报告的「提升」未必对应人类感知到的质量。

当前最常见的做法是把 SVG 栅格化成位图，然后套用图像生成指标——MSE、LPIPS、FID、CLIPScore——来衡量保真度与 prompt 对齐。这套栅格中心的范式与 SVG 的本质是错位的。SVG 的质量主要由结构化的几何与空间构图决定，而不是局部纹理；那些对矢量图形真正致命的感知差异——轻微的几何形变、错位的间距、被破坏的对称性、不一致的路径结构——在像素误差和深层特征相似度上要么反映很弱、要么干脆被忽略。反过来，栅格化本身引入了一堆任意因素（分辨率、抗锯齿、描边渲染、采样方式），它们可以在 MSE/LPIPS/FID 上占主导，却完全不对应底层矢量结构的实质变化。CLIP 类相似度的问题则是另一个方向：它主要捕捉图像级的粗粒度语义对齐，对细粒度布局合理性与几何正确性并不敏感，而这恰恰决定了 SVG 的可用性与观感。已有的 SVG 基准又大多是任务导向的（理解 / 编辑 / 生成是否完成），能告诉你「做没做对」，很少能诊断「哪里画得不好」。

本文的切入角度是换掉评判的锚点：SVG 终究是被人用眼睛看的，那评测就该以渲染后的视觉结果为第一评判对象，同时保留矢量代码里的结构线索。核心 idea：定义一套四维（Aesthetic / Semantic / Spatial / Structural）评分协议，用「显式错误先归因、Aesthetic 只做残差」的层级归因消解维度重叠；让评测模型同时拿到 prompt、渲染图和 SVG 代码、但 gold 标签只对人看到的结果定义；在这个基准上既系统体检现有 MLLM，又用「给定人工分数反推证据」的推理蒸馏训练一个能给出分数 + 理由的可解释评分器。

方法详解¶

整体框架¶

SVGEval 由三部分咬合而成：一套四维评分协议（含层级归因原则）、一个难度递进的双任务基准（Part I 二值诊断 500 例 + Part II 1–5 分质量评估 500 例），以及一个建立在同一批数据上的可解释评分器。基准的构造链路是：先从 StarVector 与 SVG Repo 的真实 SVG–文本语料出发，用 LLM 抽取主题描述符并聚类，得到经验主题分布后按分布做分层采样，取出 1,000 条覆盖从简单图标到复杂图表的 prompt；再把这些 prompt 喂给若干能力不同的 LLM/MLLM 生成 SVG，与语料中的真实 SVG 混合成约 10k 样本的候选池，形成从严重破碎到接近正确的连续质量梯度；最后按两种任务格式分别策展与标注。评测时，模型同时看到 prompt、渲染图和 SVG 源代码，而所有 gold 标签都只针对渲染结果定义。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["四维评分协议与层级归因<br/>四个互补维度 + 显式错误优先"] --> B["以渲染结果为第一评判对象<br/>prompt + 渲染图 + SVG 代码"]
    B --> C["难度递进的双任务基准<br/>Part I 二值诊断 + Part II 1–5 评分"]
    C --> D["分数条件下的推理蒸馏<br/>教师按人工 gold 分数补证据"]
    D --> E["可解释评分器<br/>分维度分数 + 依据"]
    E --> F["基准与评分器评测<br/>Accuracy / MAE / Adj. Acc."]

关键设计¶

1. 四维评分协议与层级归因：把「画得好不好」拆成可归因的四个方面

单一「质量分」的做法没法回答「到底哪里不好」，所以 SVGEval 定义了四个互补维度：Aesthetic（视觉清晰度与整体呈现质量，含色彩和谐、构图、风格一致性与精致度，管的是「好不好看」而非「对不对」）、Semantic（与文本 prompt 的概念对齐，只看概念对不对、不管画得好不好）、Spatial（画布上二维布局的正确性，含每个元素的绝对位置、元素之间的相对位置，以及整体布局的空间和谐）、Structural（几何完整性与构造精度，含路径闭合、连续性、形状完整性、几何的工程级正确性，以及复杂度与整洁度之间的平衡）。这四个维度是刻意设计成可以互相分离的：一个几何上完美的形状仍可能语义错误（Structural 高、Semantic 低），两个各自正确的物体也可能被摆在错误的位置（Structural 高、Spatial 低），因此失败可以被归因到具体的感知面向上。值得注意的是，「路径是否闭合、坐标是否异常」这类矢量合法性问题并没有被单列成一个「代码合法性」维度，而是被收进了 Structural——本文关心的是合法性问题在渲染后是否造成了看得见的几何缺陷。

维度的独立性在感知层面并不天然成立：破碎的形状与混乱的布局会连带拉低整体观感，Aesthetic 很容易变成什么都往里装的垃圾桶。为此基准采用一条层级归因原则——显式错误优先：如果某个负面观感可以明确归因于几何缺陷（缝隙、断裂的描边、未闭合的路径）或空间缺陷（非预期重叠、出画布），扣分先记到 Structural 或 Spatial 上；Aesthetic 只做残差定义，留给那些无法被结构 / 空间正确性解释的属性，比如风格成熟度、配色是否悦目、线条是否干净流畅、整体完成度。这条原则同时被写进后续评分器的蒸馏 prompt，让教师模型的理由与基准的标注逻辑保持同一套诊断口径。

2. 以渲染结果为第一评判对象的三模态输入：gold 看画面，判断可查代码

「vision-grounded」在这篇论文里的具体含义需要拆成两半看，否则容易误解成「把 SVG 渲染一下再套图像指标」——那恰恰是它反对的做法。第一半是标签锚点：尽管 SVG 以程序形式表示，感知到的生成质量终究由渲染结果决定，因此所有评测准则都定义在人从最终图像里看到的东西上，而不是 SVG 的语法合法性或代码优雅度；Aesthetic/Semantic/Spatial/Structural 四个维度的分数都是人对着渲染图打出来的。第二半是输入可见性：真实工作流里模型往往既能拿到渲染图、也能拿到背后的结构表示，所以 SVGEval 允许评测模型同时看到 (i) 文本 prompt、(ii) 栅格化渲染图、(iii) SVG 源代码，让视觉证据（断裂描边、非预期重叠）与代码线索（未闭合路径、异常坐标、图层顺序）可以互相交叉验证——这与纯代码中心的 SVG 评测形成直接对立。这个不对称设计是有实验支撑的：把渲染图拿掉、只留代码时（noimg），MAE 从 0.5772 恶化到 0.9557、Adj. Acc. 从 71.95% 掉到 57.75%，模型退化成在模仿输出格式而分数校准极不稳定；只拿掉代码（nosvg）则只掉 0.045 MAE，但 Spatial / Structural 两个维度掉得更明显（Spatial 0.5167 → 0.6400）。也就是说渲染图是感知判断的必要条件，代码是 SVG 特有维度上的补充线索。

3. 难度递进的双任务基准：用两种输出格式分别探「看得见」与「评得准」

基准刻意做成两个部分、各 500 例，因为「察觉到某个缺陷」和「给出校准的序数分数」是两种不同能力，混在一种题型里测不出来。Part I 是感知 / 是–否任务：针对关键 SVG 属性构造二值诊断问题，由多模态模型在给定 prompt、渲染图与代码的情况下先提出候选问题与初步答案，再由人工标注者修订并确认问题与 Yes/No 标签的正确性与清晰度；为了消除 LLM 在答案上的倾向性偏置（倾向答 Yes 或倾向答 No），数据集被显式策展到正负样本比例接近 1:1。Part II 是质量评估 / 打分任务：对四个维度各打一个 1–5 的 Likert 分；为了让基准在不同质量区间都有区分度，从候选池抽样时把真实 SVG 与模型生成 SVG 的比例调成 1:4，使每个维度的分数在各分数桶上的分布相对均衡；每条样本由多位标注者独立打分，分歧由专家裁决，得到最终 gold 分数。两部分还服务于两个明确目的：用均衡的监督信号抵消模型特有的作答偏置，以及用高质量人工标注支撑细粒度诊断。

两部分的评测指标也不同，且都按序数尺度来设计。Part I 是二分类，直接报 Accuracy（可整体报、也可按问题类型分别报）。Part II 预测的是序数分数 \(S_{\text{pred}} \in \{1,\dots,5\}\)，因为主观评分存在天然的轻微分歧，所以同时报两个互补指标——平均绝对误差衡量平均偏离幅度，邻接准确率把 ±1 以内的预测也视为可接受：

\[\text{MAE}=\frac{1}{N}\sum_{i=1}^{N}\left|S_{\text{pred}}^{(i)}-S_{\text{gt}}^{(i)}\right| \qquad \text{Adj. Acc.}=\frac{1}{N}\sum_{i=1}^{N}\mathbb{1}\!\left(\left|S_{\text{pred}}^{(i)}-S_{\text{gt}}^{(i)}\right|\le 1\right)\]

⚠️ 缓存全文里这两个公式的排版已被抽取破坏，上面是按定义与论文中的描述（「预测落在人工 gold 分数 ±1 内即计为正确」）重建的，符号细节以原文为准。主结果里两部分都同时给出整体性能与四个维度的拆解，以便观察诊断粒度。

4. 分数条件下的推理蒸馏：先让教师按人工分数反推证据，再把它蒸进学生

人工标注天然只给 gold 分数，几乎不会附带结构化的评价理由，而一个只说分数不给依据的评分器既不可审计也不可诊断——实验证实，只用分数做监督收益有限，模型会退化成一个诊断能力很弱的黑箱回归器。SVGEval 的解法是分数条件下的理由化（score-conditioned rationalization）：在给定 prompt、渲染图、SVG 代码、目标维度及其人工 gold 分数的条件下，让教师模型（Qwen3-VL-235B-A22B）扮演分析者，指令是「该维度上的分数是 \(s\)（由人类专家给出），请按评分细则找出支持这个分数的具体视觉 / 代码证据」，由此合成图像–理由–分数三元组。之所以要「给定分数」而不是让教师自由评分，是为了把教师的推理锚定到人工判断上，而不是引入教师自己的评分偏差。同时为了避免维度之间的串扰——比如给 Semantic 写理由时顺手抱怨画得难看——蒸馏 prompt 施加维度约束：生成 Semantic 的理由时明确要求忽略视觉精致度（Aesthetic）与几何 / 布局缺陷（Structural / Spatial），只谈与 prompt 的概念对齐；理由还被要求遵循基准的层级归因原则，使合成理由与基准的标注逻辑同源。学生在 Qwen3-VL 30B A3B 骨架上做监督微调，损失同时覆盖理由文本的生成与分数 token 的生成，推理时只给（prompt, 渲染图, 代码, 维度）就能同时吐出该维度的分数与理由。

一个完整示例¶

以论文 Table 4 中的一个真实样例走一遍蒸馏与推理。输入是一条要求「黑色蓝牙符号：一个由重叠对角线构成的风格化 B、粗实线描边」的 prompt，配一张渲染图与对应的 SVG 代码，目标维度 Spatial、人工 gold 分数 5/5。蒸馏阶段，教师拿到这四项后必须在「分数已知为 5」的条件下找证据，于是写出「蓝牙符号……空间一致性极佳……构成 B 的两条对角线……符合一个设计良好的蓝牙图标应有的样子」这类理由——注意它找的是支持 5 分的证据（对角线的相对位置、符号的对称结构），而不是泛泛夸好看。这个三元组进入 SFT 数据后，学生学到的映射就从「图像 → 分数」变成了「图像 + 代码 + 维度 → 分数 + 支撑该分数的证据」。推理阶段学生只看到（prompt, 渲染图, 代码, "Spatial"），输出形如「Score: 5」加一段理由。同一张表里还能看到另外两种典型输出：一张语义基本对但咖啡杯「只是个模糊的杯状」的图，Semantic 拿到 3/5，理由明确指出「咖啡杯没有被清晰地描绘出来」——分数之所以是中档被证据支撑，而不是随手给个中间值；另一张城市天际线被 Structural 打 4/5，理由是「透视线整齐收敛到中心消失点……但阴影略显粗糙，降低了结构精度」，展示出层级归因下「轻微结构缺陷扣分但不致命」的口径。

损失函数 / 训练策略¶

评分器在合成数据上做标准监督微调，训练目标是最小化理由文本与对应分数 token 的生成损失，让模型在给出校准分数的同时产出忠实、对齐评分细则的解释；教师侧使用 Qwen3-VL-235B-A22B，学生骨架选择 Qwen3-VL 30B A3B——这个选择本身是被基准结果驱动的：先跑完 SVGEval 的整体评测，再挑其中表现最强的开源模型作为底座，使「用基准指导模型选型、再用训练反哺评测能力」形成闭环。⚠️ 缓存全文未给出学习率、训练轮数、批大小、数据规模等超参细节，以原文 / 附录为准。

实验关键数据¶

主实验¶

基准在两个任务上评测了 12 个代表性通用多模态模型，再加本文训练的评分器。Part I 报二值准确率，Part II 报 MAE 与 ±1 邻域准确率；SVGEval-Scorer 只面向多维度打分任务设计，因此不参与二值诊断（记为「—」）。

模型	二值诊断 Acc. (%) ↑	打分 MAE ↓	打分 Adj. Acc. (%) ↑
Gemini-3 Flash	89.40	0.7720	62.80
Gemini-3 Pro	88.00	0.7068	66.57
Claude Sonnet 4.5	83.80	0.8980	57.90
Doubao-Seed 1.6 Vision	82.20	1.2120	46.20
GPT-5	80.76	0.9137	57.13
Qwen3-VL-235B	78.40	0.9860	53.90
InternVL3.5	77.40	1.1200	50.50
GPT-5.2	76.80	0.9520	55.50
GLM-4.5V	75.95	1.2740	44.79
Grok-4.1-Fast	74.55	1.3614	42.47
Gemini-2.0 Flash	69.94	0.9640	54.90
GPT-4o-mini	69.20	0.9060	56.80
SVGEval-Scorer（本文）	–	0.5772	71.95

分维度拆解则暴露出通用模型的短板集中在哪两个维度上（Table 3，MAE 越低越好）：

模型	Aesthetic ↓	Semantic ↓	Spatial ↓	Structural ↓
Gemini-3 Pro	0.7623	0.6160	0.8400	0.6111
Gemini-3 Flash	0.6210	0.7760	0.9120	0.7778
GPT-5	0.7661	0.7840	1.2258	0.8800
Claude Sonnet 4.5	0.7903	0.8080	1.0960	0.8968
Qwen3-VL-235B	0.9758	0.7920	1.1520	1.0238
GLM-4.5V	1.6967	0.8017	1.4628	1.1360
Grok-4.1-Fast	1.7419	0.8720	1.4715	1.3651
InternVL3.5	0.9919	0.7840	1.6080	1.0952
GPT-4o-mini	0.8790	0.7280	0.9600	1.0556
SVGEval-Scorer（本文）	0.5935	0.6129	0.5167	0.5840

消融实验¶

三个消融分别砍掉理由监督、SVG 代码输入与渲染图输入，验证三种成分各自的贡献：

配置	MAE ↓	Adj. Acc. (%) ↑	Spatial MAE ↓	Structural MAE ↓	说明
完整评分器	0.5772	71.95	0.5167	0.5840	视觉 + 代码 + 理由监督
w/o reasoning (nothink)	0.8330	60.30	0.8750	0.8790	去掉理由生成目标，掉 0.256 MAE / 11.7 点，且失去可审计性
w/o SVG input (nosvg)	0.6220	70.40	0.6400	0.6349	只掉 0.045 总体 MAE，但 Spatial / Structural 掉得更明显
w/o image input (noimg)	0.9557	57.75	0.9187	0.9841	只剩代码，掉 0.379 MAE / 14.2 点，为最严重退化

关键发现¶

「看得见缺陷」与「评得准」不是同一种能力。 12 个通用模型在 Part I 上拿到 69.2–89.4% 的准确率，看起来已经不错；但 Part II 的 MAE 落在 0.71–1.36、Adj. Acc. 只有 42.5–66.6%，两者并不完全相关。最直接的证据是 Gemini-3 Flash 与 Gemini-3 Pro：Flash 的二值诊断准确率最高（89.40% vs 88.00%），打分 MAE 却明显更差（0.7720 vs 0.7068）。能识别离散缺陷不等于能产出校准的序数评分。
两个 SVG 特有维度是系统性短板。 几乎所有模型在 Spatial 与 Structural 上的误差都显著大于 Aesthetic 与 Semantic，其中 Spatial 最常成为最难维度，反映布局 / 拓扑推理的持续困难；而相对更强的 Semantic 与 Aesthetic 恰好是多数栅格中心多模态基准的主攻方向，说明这两类感知技能被研究得更充分、也在稳步进步。也正因为如此，栅格指标才会「漏报」最影响 SVG 可用性的失败模式。
逐模型的难度排序并不完全一致。 Gemini-3 Pro 的 Structural MAE（0.6111）反而是它四个维度里最好的一个，优于其 Aesthetic（0.7623）；而 GPT-5 的 Spatial MAE（1.2258）比它的 Structural（0.8800）差得多。总体上 Spatial / Structural 更难，但具体到单个模型仍有例外，单看总体 MAE 会掩盖这种结构差异。
缺模态的伤害不对称，且能定位到维度。 noimg 是最大退化的来源（MAE +0.379、Adj. Acc. −14.2 点），模型退化为格式模仿、分数校准频繁出现大偏差；nosvg 总体只掉 0.045 MAE，但 Spatial 从 0.5167 恶化到 0.6400、Structural 从 0.5840 到 0.6349——正好印证「渲染图主导感知判断、代码提供 SVG 特有维度的互补结构线索（路径闭合、异常坐标、图层顺序）」。nothink 除指标下降外还让评分器变得不可审计：分数即使对也可能是蒙对的，失败无法被归因。
本文评分器在四个维度上全面领先（MAE 0.5772，比最好的通用模型低 0.13），且增益在 Spatial 与 Structural 上最大（Spatial 0.5167，是所有模型所有维度中的最低 MAE），说明显式视觉对齐 + 代码线索 + 理由监督这套组合补的正是通用模型最缺的那一块。

亮点与洞察¶

把评测锚点从「代码」换成「渲染结果」是这篇论文最有力的一步。 它没有否定渲染图的作用，而是重新定义了评判对象：gold 只看画面，输入才给代码。这个不对称设计（标签锚在感知、输入含结构）同时避开了纯代码评测的盲目和纯图像指标的错位，是可迁移的评测设计范式。
「显式错误先归因、Aesthetic 做残差」是一条便宜好用的消歧规则。 多维打分天然存在维度重叠，与其让标注者反复权衡，不如给一条可执行的口径把 Aesthetic 从垃圾桶里救出来。这条规则还被同步写进了蒸馏 prompt，使合成理由与基准标注同源——协议、标注、训练三处用同一套逻辑，是这套框架自洽的关键。
分数条件下的理由蒸馏比单纯分数监督更值钱。 让教师按已知 gold 分数反推证据，等于把「为什么是这个分」的推理过程显式化；消融显示去掉它掉 0.256 MAE，更重要的是保住了可审计性——正确分数若没有证据支撑就无法被信任，这在评测器本身被当训练信号时尤为致命。
模态消融的设计值得借鉴： 分别砍掉图像与代码，而不是只做一个「全模态 vs 纯文本」的对比，才能看出代码的增益集中在 Spatial / Structural 这两个矢量特有维度上。要论证某个模态「提供了互补线索」，就必须证明它的增益不是均匀分布、而是有结构地落在它该起作用的地方。
可迁移方向：同一套「渲染 + 代码双通道 + 维度化归因 + 证据蒸馏」的模板可以直接搬到其他结构化生成物的评测上，例如图表（chart）生成、LaTeX 公式渲染、CAD / 流程图生成——它们的共同点是「程序表示 + 人看的画面」，也都面临栅格指标对结构性缺陷不敏感的问题。

局限与展望¶

没有做与已有指标的相关性校准。 论文主张 MSE/LPIPS/FID/CLIPScore 对 SVG 结构缺陷不敏感，但实验里只报了模型打分与人工 gold 的 MAE / Adj. Acc.，没有给出「这些栅格指标与人工分数（或与 SVGEval 分数）的相关系数」这一最直接的反证。目前的论证是分析性的（图 3 与各维度对比支持），而非对照实验性的，这是最值得补的一块。
gold 分数只对固定栅格化管线下的渲染结果定义。 作者自己承认，个别情况下微妙的栅格化瑕疵会影响模型对结构精度的判断。也就是说「以渲染为准」在带来感知对齐的同时，引入了一个潜在的偏置来源：Structural 维度的分数可能被渲染器而非矢量结构影响。作者提出的改进方向是更显式的图像–SVG 交叉引用评测策略。
主观性问题未被建模。 1–5 Likert 的细粒度判断（尤其是美学）本质上带主观性，边界样本上分歧难以完全消除。作者提出可以把人工标注建模为期望感知方差来减少主观噪声，这目前只是一个方向而非已实现的机制。
基准规模与划分信息不足。 每个部分 500 例、prompt 池 1,000 条、候选池约 10k，规模在同类基准里偏小；缓存全文也没有说明训练 / 测试划分方式、是否存在 prompt 泄漏（评分器训练数据与基准 prompt 同源），而这直接影响 Table 2 中「本文评分器 vs 通用模型」这一对比的公平性——通用模型是零样本作答，评分器则可能见过同分布的合成数据。
评分器的训练细节缺失。 学生骨架、教师模型与「理由 + 分数 token 联合损失」讲清了，但学习率、轮数、是否做指令混合与防过拟合措施均未给出，复现门槛偏高。
可改进之处：补充与 LPIPS / FID / CLIPScore 及人类偏好的相关性对照；公开基准与标注协议；把「同一 prompt 下多个候选 SVG 的排序」加入任务格式，用成对比较降低绝对打分的主观噪声。

评分¶

新颖性: ⭐⭐⭐⭐ 第一个把 SVG 质量评测锚定在渲染结果、并配四维归因协议与可解释评分器的框架，但 rubric 评测与推理蒸馏都是已有范式的迁移。
实验充分度: ⭐⭐⭐ 覆盖 12 个通用模型 + 三个模态 / 监督消融，但缺少与已有栅格指标和人类偏好的相关性对照，规模偏小、划分与训练超参未交代。
写作质量: ⭐⭐⭐⭐ 评测原则（目标、四维度、层级归因）讲得清楚自洽，问题在于公式在抽取版本中损坏、部分实现细节缺失。
价值: ⭐⭐⭐⭐ 补上了 text-to-SVG 缺失的质量评测环节，评分器可直接用作生成侧的反馈信号，「渲染 + 代码双通道 + 证据蒸馏」的设计可迁移到其他结构化生成任务。