ClearText-Video: A Large-Scale Text-Centric Video Dataset Bridging Video Restoration and Scene-Text Enhancement¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/3992
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/4006.pdf
代码: https://github.com/jinlong17/CTVid-Bench
领域: 视频理解
关键词: 场景文字、视频恢复、配对质量评测、时空问答、置信度校准

一句话总结¶

ClearText-Video（CTVid）用同一视频的高清、退化和恢复版本连接低层视觉恢复与高层文字问答，在 4,639 段视频上表明“看起来更清楚”并不保证“读得更准确”，而数据集内微调也可能提高准确率却降低不确定性感知指标。

研究背景与动机¶

真实视频中的文字既是图像纹理，也是不能随意改写的语义证据。超分辨率模型把自然纹理补得更锐利，通常能改善观感；但把一个字符的笔画补错，可能直接改变路牌、店名或提示语。传统恢复榜单主要衡量像素误差、感知相似性与自然度，难以说明恢复后的文字是否仍然表达原意，更不能直接代表下游问答能否答对。

另一方面，EgoTextVQA、NewsVideoQA 和 ViTXT-GQA 等资源推动了场景文字、视频推理与时空定位评测，但大多没有为同一段内容系统提供不同质量的版本。若用不同视频分别测试清晰与模糊输入，结果差异可能来自场景、问题难度或文字内容，而非质量本身。CTVid 的主要贡献因此不是一种新的恢复网络，而是把高清采集、人工文字标注、可复现退化和问答协议组织成受控数据资源。

核心 idea：保持视频内容、文字真值和问题答案不变，只改变输入质量，并同时检查图像观感、文字保真度与时空问答表现，从而检验恢复是否真正保住了推理所需的文字证据。

方法详解¶

整体框架¶

CTVid 先构建带逐帧文字框、转录和描述的高清视频，再为同一内容生成低分辨率或模糊版本，并调用已有模型得到恢复版本。另一条标注链从相同文字真值生成空间与时间问题，最终让同一问答集在 HQ（高清）、DQ（退化）与 RQ（恢复）输入上接受测试。

下图表示数据构建与评测流程，而不是论文提出的神经网络。人工真值一方面进入问答构建，另一方面作为恢复质量的参照；恢复模型不能通过更改答案来掩盖文字失真。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["文字密集视频"] --> B["人工核验文字真值"]
    B --> C["同内容质量配对"]
    B --> D["空间与时间问答"]
    C --> E["联合保真与可靠性评测"]
    D --> E
    E --> F["恢复指标与问答表现"]

关键设计¶

1. 人工核验文字真值：把识别器建议和评测答案分开

作者主要使用 Sony A7R V 配合 28–70 mm f/3.5–5.6 FE 镜头采集视频，并引入 15% 的在线文字视频扩展场景。每段原始视频长 10 秒，截取中间 4 秒形成片段，提取 120 帧进行文字标注。16 名标注者从超过 6.4K 个候选视频出发，经过两轮标注与核验，最终保留 4,639 段 HQ 视频、550K+ 帧、1.6M 个文字实例和 220K+ 个问答对；训练与测试分别包含 4,327 和 312 段视频。

PaddleOCR 只先给出粗检测候选，标注者再使用 Labelme 修正文字框并核验转录。随后复查视频、框、文字和问答的对应关系，删除歧义问题、纠正答案，并筛查隐私敏感内容。因此，后续 OCR 评测不是拿同一个识别器的输出充当真值。测试集含 74% 线下采集与 26% 在线视频，各来源内部平衡中英文；问题难度按易、中、难划分为 46%、37%、17%。这些比例描述测试分布，不能与全量在线来源比例混用。

2. 同内容质量配对：让质量成为可以单独比较的变量

HQ 视频是高质量参照，表 1 列出的分辨率为 1920×1080。超分任务用双三次插值进行 4 倍下采样，图像 SR 逐帧恢复，视频 SR 则可利用相邻帧的信息。数据提供逐帧 caption；需要语义条件的视频恢复方法可取中间帧 caption 作为片段描述，但这只是可用条件，不代表全部基线实际都使用了 caption。

去模糊的退化构造不是简单叠一层静态模糊核：先用 RIFE 做 16 倍插帧，把 30 fps 片段变为 480 fps，再沿时间融合每 65 帧以模拟相机或物体运动造成的曝光模糊。原文未在此给出融合权重、窗口步长或边界处理的完整公式，不能自行补成特定卷积实现。空间问答共用六种输入：HQ、DQ-Low_res、DQ-Blur，以及由 DOVE、MIMO、S3Diff 得到的三种 RQ。DOVE 和 S3Diff 对应低分辨率恢复，MIMO 对应去模糊；比较恢复收益时必须和各自的 DQ 来源对照，不能跨退化类型随意相减。

3. 空间与时间问答：让文字不仅要读对，还要放回视频关系中

空间问题从文字内容、位置、场景及属性元数据出发。规则方法分析文字布局，选择分割位置以形成能隔离特定文字组的区域；GPT-4o 辅助提出问题类型和自然语言表述，规则管线根据已记录文字生成一致答案、填入位置。验证模块检查空间正确性、结构与可回答性，人工再确认问题需要空间关系判断，而不只是从转录列表里匹配字符串。题型包括选择、判断和填空。

时间问题则不依赖语言模型猜测轨迹。对 120 帧内每个文字实例跟踪位置、面积、速度与加速度，再由确定性规则生成五类问题：可见性、随时间变化的位置、运动与轨迹形状、大小与尺度变化、边界交互。人工筛选有意义的问题并修正表述。空间分支和时间分支共用文字标注，却检验不同能力：前者强调文字与区域的对应，后者要求把同一个文字实例跨帧关联起来，因此单纯 OCR 转录并不等同于完成任务。

4. 联合保真与可靠性评测：区分恢复成功、识别成功和推理成功

恢复评测并列使用 PSNR、SSIM、LPIPS、DISTS、FID 等参照型指标，以及 NIQE、MANIQA、MUSIQ、CLIPIQA 等无参照指标；同时固定 PaddleOCR 为文字质量探针。文字检测报告精确率、召回率与二者的调和均值 F1，文字识别报告准确率 Accrec 和归一化编辑距离 NEDrec。NEDrec 在原表明确标为越低越好，但缓存未给出其具体归一化分母，本笔记不补造该定义。固定 OCR 有利于方法间重复比较，但不能消除识别器本身的语言与字体偏差。

空间问答报告准确率 Acc、不确定性感知准确率 UAcc、过度自信比例 OC 和弃答率 Abs。Abs 指模型不作答的问题占比；UAcc 和 OC 联合考察正确性与置信度，原文引用既有工作，却未在缓存中展开阈值或计算式，因此不能把 UAcc 擅自解释为简单的“扣掉错误答案后的准确率”。时间问答表仅报告 Acc，使用五种输入条件，不包含单独的 DQ-Low_res 列；所有条件统一进行 2 倍下采样以满足显存约束，并尽可能少抽帧来保持连续性。空间与时间表不是可直接横向相减的同一协议。

损失函数 / 训练策略¶

本文不提出新的恢复损失函数。监督微调以 Qwen2.5-VL-7B 为底座，使用 CTVid 训练集和官方默认配置，按题型动态加载系统提示；冻结视觉编码器与多模态投影器，以保留预训练视觉表示，在 8 张 NVIDIA A100 上训练 10 个 epoch。

缓存未列出学习率、batch size、优化器细节或显式目标公式，不能据“官方默认”填入某个猜测版本。这个实验检验的是数据集内指令微调能否提高问答表现，不是证明视觉编码器已经学会了新的文字恢复能力，也不是跨数据集泛化实验。

实验关键数据¶

主实验¶

论文报告评测 18 种恢复方法与 16 个空间问答模型配置；恢复表还包含同一方法的不同训练数据版本。下表摘录原表 2 的同任务超分结果，PSNR 单位为 dB，检测与识别列单位为 %，不混入去模糊结果。

超分方法	类型	PSNR ↑	F1det ↑	Accrec ↑	NEDrec ↓
SwinIR	图像	28.18	70.50	36.76	54.96
S3Diff	图像	26.05	77.17	38.42	58.03
RealBasicVSR	视频	28.26	69.23	41.97	59.30
DOVE	视频	30.24	74.53	44.72	63.14

S3Diff 相比 SwinIR 有更高的检测 F1 与识别准确率，却没有更高 PSNR 或更低 NEDrec；DOVE 的 PSNR 和 Accrec 领先此处所列方法，也不能据此宣称所有文字指标领先。正文部分指标名称与原表存在错位，本笔记遵循表头和行值，不沿用“某方法所有文字指标最优”的笼统结论。

下表摘录原表 4，均为空间问答 Acc（%）；RQ 列保留具体恢复来源，以便与相应 DQ 比较。

模型	HQ	DQ-Low_res	DQ-Blur	RQ-DOVE	RQ-MIMO	RQ-S3DIFF
Gemini-2.5-pro	71.67	65.00	60.00	65.00	63.33	70.00
Claude-Sonnet-4.6	70.00	63.33	60.00	65.00	70.00	61.67
Qwen3-VL-8B	50.56	45.43	44.46	47.70	46.91	46.64
Qwen2.5-VL-7B	49.99	40.61	42.16	45.37	44.85	45.00
Qwen2.5-VL-7B-SFT	58.43	50.72	49.79	53.21	52.89	51.31

Claude 的低分辨率输入经 S3Diff 恢复后，从 63.33% 降到 61.67%；同一模型的模糊输入经 MIMO 恢复却从 60.00% 升到 70.00%。这比单看恢复后的绝对分数更直接地说明：收益取决于退化、恢复器和下游模型的组合。

消融实验¶

这是一篇基准论文，没有虚构网络模块可供删除。最直接的训练对照是相同 Qwen2.5-VL-7B 底座有无 CTVid SFT；下表摘录原表 4 的 HQ 条件，全部单位为 %。

配置	Acc ↑	OC ↓	UAcc ↑	Abs
Qwen2.5-VL-7B，未做 CTVid SFT	49.99	21.36	60.66	0.17
Qwen2.5-VL-7B，CTVid SFT	58.43	1.73	43.71	0.08

微调使 HQ Acc 增加 8.44 个百分点、OC 降低 19.63 个百分点，但 UAcc 下降 16.95 个百分点。低分辨率条件的 Acc 则从 40.61% 到 50.72%，增加 10.11 个百分点。结果支持数据集内适配有效，却不支持“微调全面改善可靠性”；没有公式与置信度分布，不能仅凭这些聚合数值断言校准恶化的具体机制。

关键发现¶

原文报告，16 个空间问答配置平均而言，低分辨率相对 HQ 降低 3.14 个百分点，模糊降低 6.05 个百分点。这是平均趋势，不适用于每个模型；例如 Qwen2.5-VL-7B 的低分辨率表现反而低于模糊条件。
原表 5 中，Claude-Sonnet-4.6 时间问答 HQ 为 60.02%，RQ-DOVE 为 60.37%；Kimi-VL-16B 对应为 53.95%、54.18%。可读单帧并不意味着容易完成轨迹与可见性判断。
作者报告 OCR+LLM 明显落后于直接多模态推理，但缓存正文没有该对照的数值表。因此只保留定性结论，不编造差距或把它当作严格排除全部 OCR 架构的证据。

亮点与洞察¶

把语义破坏变成可观察变量。 同内容配对能发现恢复器是否改变了字符，而非把场景难度变化误认为恢复收益；这种评测方式也适合票据、仪表读数等不容语义改写的任务。
文字保真与视觉质量不是一个目标。 超分表中各指标排序不同，说明更锐利、更像自然图像和字符更正确应分别衡量，不能用某个感知分数代替阅读成功率。
适配与可靠性必须分开验收。 SFT 的准确率改善是真实结果，但 UAcc 同时下降；面向实际助手，应同时检查错误答案、置信度和弃答行为。

局限与展望¶

退化覆盖有限，作者明确承认。 主协议采用双三次下采样与合成运动模糊，未系统覆盖曝光变化、滚动快门、传感器噪声、ISP 和复杂压缩。结果不能直接代表所有真实用户视频。
时间跨度与语言范围有限。 4 秒片段和中英文覆盖有助于控制标注成本，但不足以验证长时遮挡、跨镜头文字关联或更广泛书写系统；这是根据数据设计可推知的适用边界。
统计与实现披露仍需补足。 缓存未展示置信区间、闭源模型实际评测样本量细节或 UAcc/OC 完整实现，正文还存在指标错位，因而不宜过度解释小幅榜单差异。
OCR 探针不等于人类阅读上限。 可增加不同识别器与人工字符核验，区分恢复失败和识别器失败；OCR+LLM 对照也应公开输入格式、布局信息和逐题结果。
发布与授权需要区分承诺和现状。 论文称将发布划分、标注、脚本、提示和基线输出；自采视频采用研究许可，受限在线视频仅在允许时分发，否则提供来源与片段信息。本笔记未联网确认仓库当前发布状态。

评分¶

新颖性: 4/5。主要创新在同内容多质量协议和跨层评测，而非模型结构。
实验充分度: 4/5。覆盖恢复、空间问答、时间问答和微调对照，但统计披露与诊断数值仍有限。
写作质量: 3/5。研究问题明确，部分正文与表格指标错位、可靠性定义不够自包含。
价值: 4/5。适合检验文字敏感场景中的恢复收益，真实退化与发布可复现性仍需后续验证。