Back-Tracking from Clarity: Self-Learning to See Text from Afar¶

会议: ECCV 2026
论文: https://eccv.ecva.net/virtual/2026/poster/3551
全文: 官方 PDF
代码: https://github.com/trid2912/BackTrackingText
领域: 目标检测（场景文本检测与识别）
关键词: 远距离文本、反向跟踪、载体跟踪、核心多边形、伪标签自学习

一句话总结¶

本文把视频后段清晰文字的可靠检测反向传播到前段模糊小字，结合点跟踪与载体几何恢复生成伪标签，在不增加学生推理模块的条件下改善早期文本检测与识别；SceneText50 跟踪 AUC 达到 44.71，而 CoTracker3 为 38.65。

研究背景与动机¶

场景文本检测要回答文字在哪里，文本识别还要回答写了什么，二者结合称为文本检测识别（text spotting）。当相机接近路牌或店招时，文字常先以很小的模糊区域出现，之后才清晰可读。只在后一个阶段识别正确，对需要提前获得方向信息的设备仍然不够。现有检测器并非完全不认识这些字，而是缺少同一文字处于远距离退化状态时的有效监督；缩小清晰图像并加模糊，也不一定复现真实拍摄中的透视、背景和运动变化。

视频提供了一个特殊机会：稍后能可靠检测的文字，实际上已经在前面的画面中出现。但把后来的检测框直接交给普通跟踪器，仍会在小字纹理消失时漂移；依赖每帧检测结果关联身份的方法尤其难以补回本来就漏检的区域。本文因此把监督来源和跟踪依据分开：清晰文字决定要追踪什么，承载文字的牌面、面板等物体提供更稳定的运动线索。研究目标是利用未标注视频改善视觉检测与识别，并非跨语言翻译；数据含多种语言，不应因此归入多语言机器翻译。

这种训练允许离线使用未来帧，但部署后的学生不能依赖未来信息，否则所谓“更早读到”只是在事后回看。作者将昂贵的回溯与几何估计全部留在造标签阶段，再训练独立处理单帧的检测器。 核心 idea：从后来清晰可见的文字出发，借助文字所在载体的几何连续性，把可靠监督搬到先前看不清的位置，让学生学会更早发现并读取文字。

方法详解¶

整体框架¶

训练输入是具有远近尺度变化的视频以及已有的可靠文本检测器，输出是覆盖早期小字的伪标签和据此微调的学生模型。整体依次包含“清晰检测与点回溯”“载体几何回溯”“伪标签融合与自学习”：先追踪文字边界点，再用载体掩码及核心多边形恢复困难区域，最后将回溯框与原始检测合并。实际实现使用 DeepSolo、CoTracker3 和 SAM-2，但论文将可靠大字检测器视为可以替换的部分。推理时只输入当前图像，由学生输出文本位置；使用文本检测识别模型时，还输出识别结果。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["未标注视频"] --> B["清晰检测与点回溯"]
    B --> C["载体几何回溯"]
    C --> D["伪标签融合与自学习"]
    D --> E["单帧学生<br/>文本位置与识别结果"]

关键设计¶

1. 清晰检测与点回溯：用后来可靠的观测监督先前的小字

方法不是要求教师在困难帧上强行猜答案，而是先让它处理自己擅长的大而清楚的文字。 DeepSolo 在这些帧中提供文本区域，随后从已定位的文字向更早帧传播边界点。第 3.2 节明确使用 CoTracker3 执行点跟踪，并只保留置信度大于 0.8 的跟踪结果。这相当于利用同一实例的时间连续性，构造“远处难例—近处可靠检测”的监督关系，而不是独立缩放一个清晰框。生成的早期框因此可以包含真实背景混杂、透视变化和模糊，而非只覆盖人工退化的有限形式。

点跟踪适合局部特征仍足够明显的情况，但当几个字符已经缩成相似斑点时，边界点容易滑向背景。置信度筛选可以拒绝一部分不可靠轨迹，却不能凭空补足拒绝后的难例。论文因此不把 CoTracker3 当作完整解决方案，而是引入载体跟踪补充几何约束。原文描述对延伸到序列末帧的实例进一步做载体反向跟踪，并在消融讨论中把载体分支解释为点跟踪失败时的补救。主文没有完整给出两条轨迹逐帧切换的状态机，不能据此杜撰具体重试次数或失败判定阈值。

2. 载体几何回溯：字看不清时，借牌面恢复文本框

载体是文字所附着的对象，例如招牌或车辆面板，而不只是随意扩大的文字裁剪。算法以已检测文本中心为单点提示，调用 SAM-2 得到相邻帧中对应载体的分割掩码。载体往往比字本身大、边界更稳定，因而即使字符细节退化，仍有机会追踪其整体形状。但 SAM-2 输出的是自由形状掩码，不会自动给出两帧文字四边形的角点对应。只知道“这个物体还是同一个”，还不足以知道文字在它上面应怎样旋转、缩放或透视变形。

作者用核心多边形（core polygon）把不规则掩码转为结构更稳定的几何表示。直接使用凸包会遇到顶点数量随帧变化的问题，边界稍有扰动便可能破坏顶点对应。核心多边形通过预设边方向、限制顶点数并外接掩码，让各帧获得可比较的轮廓结构。直观目标是固定拓扑并尽量贴近载体；正式定义允许顶点数不超过给定上限，对非凸包重合顶点施加角度约束。它并不等于“每帧任意取若干均匀像素点”，也不保证恢复载体内部所有像素的真实对应。

取得相邻帧的核心多边形后，算法用 RANSAC 估计单应性，再将已知文本四边形投影到较早帧。真正迁移的是文本框相对载体的几何关系，而非把整个载体掩码当成文字标签。 RANSAC 用于减轻不可靠对应对变换估计的影响；核心多边形则先改善对应本身，两者作用不同。论文用周长比衡量外接多边形相对凸包的松弛程度，并讨论增加顶点数时该比例趋近 1。这里的逼近对象是掩码的凸包，不应扩大解释为任意凹形掩码或实际三维表面的精确恢复。本地全文的定理 1 上界公式提取损坏，因此不重建该公式；上述机制可由第 3.1 节文字独立核实。

3. 伪标签融合与自学习：保留可靠检测，再补早期漏检

原始检测和反向跟踪可能在同一帧覆盖同一区域，如果全部叠加会产生冲突监督。论文采用检测优先策略：已有检测先进入标签集，回溯掩码只有在不与现有检测显著重叠时才加入。这使跟踪主要承担补漏功能，而不是用推测位置覆盖本来可靠的直接观测。主文没有给出“显著重叠”的数值阈值，笔记不将它写成固定 IoU 常数。置信度筛选、载体几何约束和检测优先融合共同决定标签质量，不能把收益简单归结为增加样本数量。

训练阶段冻结图像编码器，只更新解码器，并使用指数移动平均（EMA）稳定模型参数。这不是再设计一个更重的在线视频检测网络，而是把额外计算花在离线监督上。未来帧、CoTracker3、SAM-2、核心多边形和 RANSAC 都只用于伪标签生成，学生部署后不调用这些模块。 “无额外推理开销”的范围是相对原学生架构而言，不包含视频收集、离线跟踪和微调成本。作者的自学习也不是完全无人工知识来源：教师及通用模型已经预训练，免除的是这批适应视频的人工训练标注。

一个完整示例¶

设一段接近店招的视频后部已有可靠文本框，前部同一店招只剩很小的模糊区域；这是流程示意，不是论文新增的定量案例。首先用清晰帧的检测初始化反向点跟踪，保留满足置信度条件的结果。当字符点缺乏稳定纹理时，载体分支利用文字中心提示追踪整块招牌。两帧招牌掩码经核心多边形参数化后，用单应性把清晰帧文本框映射到早期画面。若早期画面中已有可靠检测覆盖该区域，检测优先；否则合格的回溯标签可以补上漏检。用这些样本训练后，学生看到新的早期帧时直接给出预测，不需要先等同一文字走到镜头前。该例说明“训练时回看未来”与“推理时更早发现”并不矛盾，但前提是评测图像未参与生成训练标签。

损失函数 / 训练策略¶

第 3.2 节报告 AdamW、权重衰减 \(10^{-4}\)、EMA 衰减 0.999、批量大小 8，使用单张 48GB NVIDIA RTX A6000。主文没有完整列出检测和识别损失的组合、学习率、训练轮次，也未详细说明字符转写伪标签的过滤流程，因此不补写统一总损失。 SceneText50 从 50 个长视频中抽取 841 个短片段，包含 67,371 个标注帧和 14,263 条文字轨迹（第 4 节）。每个来源视频按时间将前约三分之二片段用于训练、后约三分之一用于测试；人工框用于评测，不作为自学习训练监督。这模拟同一大环境中的适应，不是按国家、城市或来源视频完全隔离的跨域测试。

实验关键数据¶

主实验¶

下表选取原文表 2 的 SceneText50 文本反向跟踪结果，而非端到端识别准确率。所有跟踪器用序列末帧的真实框初始化，再向前追踪；表中数值均越大越好。 AUC 是 IoU 阈值从 0 到 1 的成功率曲线面积，[email protected] 是 IoU 超过 0.5 的帧比例，P@20 是中心误差在 20 像素内的帧比例。

方法	AUC ↑	[email protected] ↑	P@20 ↑
MixFormer	37.77	38.39	66.48
SAM-2	26.43	22.38	56.09
CoTracker3	38.65	44.01	57.02
本文完整方法	44.71	49.23	74.62

相对 CoTracker3，本文 AUC 高 6.06 个百分点；相对这里 P@20 最强的基线 MixFormer，高 8.14 个百分点。这一结果说明回溯定位更可靠，但真实框初始化比离线造标签时的教师预测更理想，不能直接当成伪标签整体准确率。表 2 没有单独注明跟踪测试是否仅限第 4 节定义的测试片段，具体评测划分需以实现为准。

消融实验¶

下表来自表 4，比较点跟踪、载体跟踪与完整组合；指标定义及方向同上。原表未单独写明数据划分，其完整行与表 2 的 SceneText50 行一致，不能据此推定还包含独立跨视频测试。

跟踪配置	AUC ↑	[email protected] ↑	P@20 ↑
仅点跟踪	38.62	44.23	57.44
仅载体跟踪	34.68	36.00	57.66
完整组合	44.71	49.23	74.62

仅载体分支的 AUC 低于仅点跟踪，因此证据支持互补，而不是用载体全面替换字符点。完整组合比仅点跟踪高 6.09 个 AUC 百分点和 17.18 个 P@20 百分点。表 4 的点跟踪数值与表 2 的 CoTracker3 行略有差别，本文保留各表原值，不把两行混作同一基准。

关键发现¶

表 3 中，DeepSolo 使用回溯标签后召回率为 40.27，合成增强为 37.75，但精确率由 52.25 小幅降至 51.88；召回改善不等于所有指标同时上升。
合成增强基线从 ArTVideo 和 DSText 抽帧，缩小至一半并加高斯模糊，共 1,000 张图像；主文没有明确保证与伪标签方案的数据量和全部训练预算匹配。
第 5.3 节在仅载体配置下观察到核心多边形超过 16 个顶点后趋于平台；这不是完整系统必然使用某个唯一最优顶点数的证明。
图 7 报告更好的误报率—平均检测延迟折中，但本地文本没有可可靠读取的曲线坐标，因此不声称减少了多少帧或多少秒。
检测延迟从实例首次出现计至首次正确检出；未检出实例受到最大延迟惩罚，FAR 是全部声明中错误声明的比例。二者均越低越好，检测识别任务还要求读对文字；这不是模型单帧运行耗时。

亮点与洞察¶

监督从容易的时刻流向困难的时刻，而不是只从容易的图像变换出困难图像。真实时间轨迹因此成为小目标监督来源。
文字内容负责确定目标身份，载体结构负责保住位置关系。把语义对象与运动线索的载体分开，是本文比直接接入通用跟踪器更有辨识度的部分。
核心多边形处理的是跨帧对应不稳定，而不只是掩码压缩。几何表示和稳健估计相配合，比单纯换一个更强的分割模型更切中瓶颈。
系统把复杂性留在训练端。对于要求单帧独立预测的设备，这种收益与成本的分离有实际价值。

局限与展望¶

作者明确将当前采集范围限制在拉丁字母文本，尽管来自多个国家和语言；非拉丁文字泛化是扩展方向，不是本实验已经证明的结论。
作者讨论了点漂移和小字外观退化，但主文没有完整的独立局限章节。以下关于适用范围的判断属于读者分析。
方法需要同一文字后来变得足够清晰，也需要载体可追踪；始终模糊、严重遮挡或载体分割错误时，可靠监督可能仍然缺失。
单应性迁移隐含局部几何足够一致的条件，非平面载体、形变或文字相对载体运动可能破坏这一前提；主文没有量化这些失败类型。
同来源视频按时间切分适合环境适应，却不足以证明完全陌生环境下的同等收益。跨来源视频和跨文字系统评测会更清楚地划定泛化边界。
公式提取损坏、精确训练配置及部分标签筛选细节缺失限制了仅凭主文复现的程度；代码链接来自论文，未进行联网可用性验证。

评分¶

新颖性: 4/5。清晰到模糊的监督传播与载体几何对应结合紧密，但基础模型和伪标签自训练均有前作。
实验充分度: 3/5。覆盖多种跟踪器、检测架构和真实消融，训练预算匹配、跨域隔离及细节披露仍有限。
写作质量: 3/5。主要机制清楚，但若干算法接口未写全，本地提取的定理公式也无法直接核验。
价值: 4/5。面向远距离文本的训练数据问题给出实用方案，且学生推理无需追加跟踪器。