A Matched-Budget Audit Framework for Recaptioned Image-Text Supervision Distributions¶

会议: NeurIPS 2026
arXiv: 2610.00952
OpenReview: https://openreview.net/forum?id=JobgYHJvPo
代码: https://github.com/BootsofLagrangian/audit-recap-t2i
领域: 多模态VLM
关键词: 图像文本重标注、监督分布审计、受控基本单元 (CBU)、匹配文本预算、文生图对齐

一句话总结¶

本文将视觉语言模型 (VLM) 重新标注的图文语料形式化为受标注策略、生成模型与源数据决定的监督分布，提出了固定文本预算下的五维审计框架与 CBU 原子视觉声明体系，并开源了约 4.9 亿规模的审计后多源重标注语料库。

研究背景与动机¶

随着 DALL-E 3 等模型展示出密集合成描述在提升文生图 (T2I) 提示词跟随能力上的巨大威力，利用视觉语言模型 (VLM) 对网络海量稀疏图文对进行重标注（recaptioning）已成为现代 T2I 预训练的标准范式。社区相继发布了 Recap-DataComp-1B、PixelProse、ShareGPT4V 等大规模合成标注数据集。然而，VLM 标注器不可避免地会引入特定偏置与描述腔（describe-style frames），例如大量以第三人称套话（如 "The image shows..."、"This is a photo of..."）作为开头，或者采用结构化罗列编号（如 "1. ... 2. ..."）。这些固化的文本脚手架完全脱离了真实用户提示词（user prompts）的语域分布，不仅浪费了宝贵的文本编码器上下文窗口，还给模型在推理时的可控性带来了严重的训练-推理分布差距。

现有的评估方法面临严重的诊断盲区：社区往往只以简单的平均文本长度来衡量标注丰富度，或者直接依赖下游文生图评测基准（如 T2I-CompBench、GenEval）。这种下游端到端评估将重标注语料与下游训练的优化器设置、文本编码器截断长度、数据增强策略以及测试集语域紧密纠缠在一起，无法在耗费海量算力训练生成模型之前独立归因并审查训练语料本身的监督质量。虽然此前已有局部的单模态统计指标或视觉问答 (VQA) 幻觉检测工具，但从未有人在统一、公平的预算约束下，将图文重标注语料作为独立的监督分布进行系统性解耦审计。

针对这一问题，本文将图文重标注数据形式化为由标注策略 $\pi$、标注模型 $V_c$ 与源图像语料 $C$ 共同诱导的联合监督分布 $\mathcal{D}_{\pi, V_c, C}$。本文提出在训练生成模型之前，通过匹配文本预算消除长度偏差，对该监督分布展开全方位体检。核心 idea：构建一个基于固定文本预算（$B=64$）的五维审计框架，引入跨模态共享的受控基本单元 (CBU) 将提示词覆盖度、图像忠实度与文本表面健康度打通，并提出从主体到场景构图仿照用户提示词语域的生成策略。

方法详解¶

整体框架¶

本文提出的匹配预算审计框架是一个独立于生成模型训练的通用算子。给定标注策略 $\pi$、标注模型 $V_c$ 与源图像集合 $C$，其诱导的联合监督分布为： $$\mathcal{D} = \mathcal{D}_{\pi, V_c, C} = \{(c, x): x \in C, c \sim V_c(x; \pi)\}$$ 整个审计框架在固定文本预算 $B$（基准设为 $B=64$ 词/词汇单元）下运行，通过四个串行处理流程，系统分解出覆盖度（Coverage）、忠实度（Faithfulness）与表面健康度（Surface Health）三大核心属性，最终报告横跨五大维度的综合档案。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["图文重标注监督分布<br/>D(π, Vc, C)"] --> B["文本预算截断与标准化<br/>固定窗口 B=64 词汇单元"]
    B --> C["提示词语域与表面健康度审计<br/>前缀聚合度、Distinct-3、JSD 与覆盖率"]
    B --> D["CBU 原子视觉声明提取<br/>8 大语义类型结构化解析"]
    D --> E["双模型跨家族图像忠实度裁判<br/>Qwen Judge 与 Gemma Judge 协同判定"]
    C --> F["输出五维审计画像与长密集前沿分析"]
    E --> F

关键设计¶

1. 文本预算截断与标准化：消除长度混淆的公平度量

传统评估常误将文本更长等同于描述更丰富，但长文本容易掩盖信息密度低下、有效视觉元素稀疏的问题，且会受到文本编码器硬截断（如 CLIP 的 77 token 限制）的干扰。为此，框架在输入阶段将所有待审描述严格截断至固定预算 $B=64$。在文本统计维度，采用基于 Unicode 规范化后的正则词汇单元（lexical units），独立于任何特定模型的 BPE 或 SentencePiece 分词；在声明提取阶段，则取前 $B$ 个空格分隔的单词窗口 $c_{\leq B}$。该预算既能覆盖中短型开源基准的平均长度，又在可控计算开销内保证了信息密度的横向可比性。

2. 表面健康度与提示词池对齐：剥离描述套话偏置

针对 VLM 标注器惯用的套话脚手架，框架设计了三组针对文本表面的低开销诊断指标： - 前缀聚合度：包括 Top-100 原始前缀占比与剔除冠词、介词、套话词（如 "image", "photo", "shows"）后的 Top-100 内容前缀占比，直接量化描述腔集中度； - 语料级三元组多样性 (Distinct-3)：统计整个语料库中独立 3-gram 的比例，衡量表达重复性； - 提示词池支持度与 JSD 散度：收集覆盖 FLUX、Stable Diffusion、SDXL 及 Pick-a-Pic 的 7 个真实用户提示词池，计算标注文本对真实提示词 $n$-gram 的质量覆盖率，并评估两者的 Jensen-Shannon 散度（JSD），从而衡量标注语料与真实推理语域的距离。

3. CBU 原子视觉声明提取体系：构建细粒度语义评测桥梁

为了精确度量文本中的视觉控制信息密度，本文定义了受控基本单元（Controllable Basic Unit, CBU）。每个 CBU 代表一个原子级的视觉断言，划分为 8 大语义类别：实体对象（object）、属性特征（attribute）、空间/动作关系（relation）、数量统计（count）、艺术风格（style）、相机视角（camera）、光照环境（lighting）以及文字渲染（text-rendering）。提取器 $\phi$ 在纯文本上无外部知识运行，提取窗口内的有效声明集合。声明密度计算公式为每条描述的声明均值以及每 100 词汇单元的声明产率： $$\mathrm{CBU/cap}(D_c, B) = \mathbb{E}_{c \sim D_c}[|\phi(c_{\leq B})|], \quad \mathrm{CBU/100\,lex}(D_c, B) = \frac{100 \cdot \mathbb{E}_{c}[|\phi(c_{\leq B})|]}{\mathbb{E}_{c}[\ell(c_{\leq B})]}$$

4. 跨模型家族的图像验证与风险度量：解耦幻觉与支持收益

提取出的每个 CBU 自动转换为标准化的确定性 VQA 问题（例如 Is the visual claim '<TARGET>: <UNIT>' supported by the image?）。框架引入独立的开源大权重视觉语言模型作为裁判（Judge $V_J$），严格根据图像证据返回 supported、unsupported 或 uncertain。为防止单一模型家族的自利偏差（self-preference bias），裁判体系同时采用基于 Qwen 家族的 Qwen3.5-397B 与独立训练的 Google Gemma-4-31B-IT，两者达成跨家族共识。由此定义支持声明收益 $\mathbb{E}[s(c, x)]$ 与未支持风险率 $\rho$： $$\rho(D_{cx}) = \frac{\mathbb{E}[u(c, x)]}{\mathbb{E}[|\phi(c)|]}$$ 该指标成功实现了在不训练任何图像生成器的情况下，客观量化图文对的真实对齐质量与幻觉引入风险。

5. 提示词导向的重标注策略与大规模语料生产：源头重塑生成分布

在语料生成端，本文提出了一种全新标注策略 $\pi^\star$，摒弃传统的客观解说员视角，强制 VLM 严格按照用户书写提示词的心理结构生成文本：从视觉主导主体/核心动作出发，逐步外延扩展至服饰道具、场景布局、光照氛围与相机景别；文字渲染内容仅在清晰可见时作为追加块提供，严禁使用任何编号列表、Markdown 标题或第三人称套话。基于此策略与 Qwen3.5-35B-A3B 模型，在 8 卡 H200 集群上消耗约 12.7k GPU-hours，完成了涵盖 9 个数据源家族、约 4.9 亿唯一图像的高质量标注语料库生产。

实验关键数据¶

主实验¶

在固定预算 $B=64$ 下，将本文释放的高质量标注语料（Ours）与各开源基线在四大跨语料对上进行配对比较。两款裁判模型在约 5,000 对随机抽样样本上对全部 CBU 进行逐条检验。

数据集	标注表面 (Ref → Ours)	平均词汇长度	提取 CBU/cap	提示词池胜出	Qwen 支持数 ↑	Qwen 风险率 ↓	Gemma 支持数 ↑	Gemma 风险率 ↓
DataComp	Recap-DataComp → Ours	50.9 → 175.5	10.44 → 14.45	6 / 7	8.49 → 13.73	0.177 → 0.035	8.00 → 12.94	0.219 → 0.081
LAION-pop	LAION-pop-Llama → Ours	180.3 → 182.9	11.91 → 14.82	5 / 7	10.80 → 14.22	0.077 → 0.031	10.22 → 13.61	0.113 → 0.060
PD12M	PD12M released → Ours	39.7 → 189.1	9.78 → 15.02	7 / 7	8.61 → 14.29	0.103 → 0.034	8.23 → 13.53	0.131 → 0.066
Danbooru	Danbooru-Florence → Ours	43.6 → 164.5	8.18 → 14.33	7 / 7	6.38 → 12.74	0.217 → 0.058	6.15 → 11.85	0.235 → 0.094

消融实验¶

为了严格证明性能提升源自提示词导向的标注策略而非单纯更换更强的 VLM 底座，作者固定标注模型为 Qwen3.5-35B-A3B，并在相同解码配置下对比本文策略与传统朴素指令（"Please generate a detailed caption..."）。

数据集	标注策略	提取 CBU/cap	CBU/100lex	Qwen 支持 CBU ↑	Qwen 风险率 ↓	Gemma 支持 CBU ↑	Gemma 风险率 ↓
CC12M	本文策略 (Ours)	15.21	23.16	14.60	0.030	13.82	0.066
CC12M	朴素指令 (Naive)	11.32	17.26	11.03	0.022	10.61	0.045
DataComp	本文策略 (Ours)	14.60	22.23	13.90	0.036	13.07	0.080
DataComp	朴素指令 (Naive)	10.95	16.66	10.56	0.026	10.07	0.057

此外，CC12M 上针对长短文本前沿的对比实验（Table 8）显示：短标签型数据 CC12M-Qwen3-VL 拥有极高效率（55.84 CBU/100lex）与极低风险率（0.014），但单条有效信息极其有限（6.44 CBU/cap）；PixelProse 虽长但因强行固定 "This image displays:" 开头导致风险率高达 0.129/0.161；本文策略在 64 词窗口内实现了 15.21 条 CBU 与 14.60 条支持数，兼顾了高信息产率与极低幻觉率。

关键发现¶

策略是决定信息产率的核心驱动力：在保持 VLM 底座与解码参数完全一致的控制变量实验中，仅凭提示词导向策略就使支持 CBU 净增 +3.0 至 +3.6，同时消除了朴素描述中高达 33% 的内容前缀集中度。
长度匹配下优势依然显著：在与 LAION-pop-Llama 长度完全对齐的实验中（182.9 vs 180.3 词汇），本文策略依然斩获了 +3.4 条支持 CBU，并将风险率由 0.077 压降至 0.031，彻底击碎了"长描述即丰富"的误区。
人工复核高度印证机器裁判：7 位盲审标注员在 CC12M 上对 217 项断言的裁决与两款裁判模型达到了 84.2%~84.8% 的极高共识率；在人工审核中，本文语料的明确否定率（Explicit No）为 0.0%，显著优于 LLaVA-NeXT (4.3%) 与 PixelProse (15.4%)。

亮点与洞察¶

训练前置审计视角的转换：传统方案必须训练完整的生图扩散模型才能检验语料好坏，本文将评估锚点前移至数据生产侧，构建了开销仅需数十至百卡时、可复现、标准化的监督分布诊断接口。
CBU 统一声明桥梁的精妙性：以往研究中幻觉检测与多样性评估互不兼容，本文通过 8 类 CBU 使得文本声明密度、图像支持收益与未支持风险三者共享同一套事实单元。
提示词语域向标注侧的逆向渗透：巧妙地将推理端的用户提示词结构逆向应用于训练数据的 VLM 标注策略中，从源头上抹平了 T2I 预训练面临的语法与语义鸿沟。

局限与展望¶

单向声明审计的召回盲区：目前的审计框架是"自文本向图像"（text-to-image）的核验逻辑，能够准确识别文本声明中的幻觉与错误，但无法衡量标注文本遗漏了图像中的哪些关键视觉元素（需要 image-first 的清单审计）。
细粒度计数与文字渲染的共识边界：在数量统计（count）和密集文字渲染（text-rendering）两个声明类别上，Qwen 与 Gemma 裁判的一致率相对偏低（分别为 85.1% 与 87.6%），未来需要引入专用 OCR 与计数小模型进行辅助裁判。
下游生成效果的间接影响：该审计衡量的是监督信号纯度，最终生成画质仍会受到文本编码器截断长度（如 CLIP 的 77-token 上限）、扩散步数以及图像分辨率过滤等多种超参的交织影响。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出图文重标注语料的匹配预算审计框架与 CBU 事实评测体系，立意深刻。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 大语料库配对审计、两款跨家族裁判模型检验、严格人工双盲标注与同模型策略消融。
写作质量: ⭐⭐⭐⭐⭐ 形式化推导严谨，图表完备，对诊断指标和实验协议的刻画极其详实规范。
价值: ⭐⭐⭐⭐⭐ 开源了近 4.9 亿规模的优质重标注语料及完整的审计工具包，对后续扩散模型训练具有深远参考价值。