TiCRL: Textual Image Classification with Reinforcement Learning-Based Curriculum Learning¶

会议: ECCV 2026
论文: ECCV 2026
领域: 强化学习
关键词: 文本图像分类, 课程学习, 深度强化学习, DDPG, 文档理解

一句话总结¶

TiCRL 提出了一种无需 OCR 的视觉-文本混合难度度量器与基于 DDPG 的动态训练调度器，通过强化学习根据分类器训练反馈自适应调控样本难度门限，在仅用约 58%~82% 训练样本的情况下显著超越全量数据基线与预设课程学习方案。

研究背景与动机¶

随着数字化转型的推进，海量纸质文档被扫描转化为数字图像，文档图像分类成为信息抽取、检索和智能办公等下游任务的关键基石。然而，现实中的文档图像形态极其复杂多变，既包括高度规范的表格、表单和正式合同，也涵盖排版松散、结构多样的宣传广告与非结构化信件。传统卷积神经网络（CNN）在格式规范的文档上表现优异，但在版式多样的长尾类别上容易过拟合或泛化退化；而近年来主流方案多依赖超大参数量的多模态大模型（如 LayoutLMv3、UDOP）或引入高延迟的 OCR 预处理管线，这显著增加了计算负载与部署门槛。

面对多样化版式与文本密度差异，如何在不修改底层骨干架构、不引入额外输入的前提下激发分类器潜能，成为一个关键难题。课程学习（Curriculum Learning, CL）模拟人类由浅入深的学习过程，天然契合结构复杂度差异显著的文档图像场景。然而，现有课程学习方法在文档分类领域面临两大瓶颈：其一，传统难度度量大多依赖特定模型内部的损失或置信度聚类，计算成本高且跨骨干架构无法复用，或依赖启发式先验导致评估偏差；其二，现有的训练调度多为静态函数（如线性递增、开方递增或步进调度）或自步学习（SPL），无法动态感知分类器在当前训练阶段的真实收敛状态与泛化波动，导致在平台期或过拟合边缘依然机械推进样本。

本文的核心切入点是将文档图像分类中的课程调度建模为连续动作空间的强化学习问题，并构建一套解耦于下游分类器的通用版面复杂度度量标准。核心 idea：设计一种融合传统低级视觉统计特征与冻结表征损失的无需 OCR 的混合难度度量器，并构建基于 DDPG 的动态学习状态感知调度器，根据实时泛化收益连续调整难度截断阈值，实现高数据效率与强泛化性的兼顾。

方法详解¶

整体框架¶

TiCRL 的核心流程由两大部分解耦构成：独立的样本难度度量器（Difficulty Measurer）与基于连续动作强化的训练调度器（RL-based Training Scheduler）。首先，难度度量器在离线阶段仅执行一次前向计算，为训练集中的每张文档图像生成一个处于 $[0, 1]$ 之间的综合难度分值，该分值对所有下游骨干模型保持不变且无需 OCR。随后，系统采用两阶段训练范式：在调度智能体训练阶段，DDPG 智能体在多个循环中与可初始化的分类器交互，观察训练/验证损失与准确率等状态，输出连续动作调整难度门限 $d_t$，并以相对性能提升作为奖励更新策略；在课程应用阶段，冻结训练好的 DDPG 调度器，直接引导目标分类器（从头训练的 CNN 或微调的 Transformer）执行高效数据筛选与训练。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入文档图像数据集"] --> B["阶段1：无需OCR的混合难度度量<br/>5类视觉统计特征 + 冻结ResNet预测难度"]
    B --> C["阶段2：MDP建模与状态感知<br/>8维分类器状态 st 映射连续动作 at"]
    C --> D["阶段3：基于DDPG的动态门限调控<br/>连续调整样本截断阈值 dt ∈ [0.001, 1.0]"]
    D --> E["阶段4：自适应子集筛选与策略迁移<br/>仅筛选难度 ≤ dt+1 样本指导下游分类器"]
    E --> F["输出高精度高数据效率分类器"]

关键设计¶

1. 无需OCR的视觉-文本混合难度度量：解耦且跨架构复用的难度基准

传统文档分类若依赖文本，通常需要繁重的 OCR 文字检测与识别，而现有课程学习的难度打分大多绑定特定训练中模型的实时 Loss，导致不同模型间无法共享。为此，TiCRL 设计了四步混合打分机制。第一步，提取五项互补的结构与纹理特征：利用 Canny 算子检测边缘像素数量表征文本密度与结构分割线；利用方向梯度直方图（HOG）的平均梯度幅值捕获文字朝向与排版走向；利用灰度共生矩阵（GLCM）的对比度衡量局部灰度剧烈变化；利用 GLCM 同质性衡量局部像素均匀性；利用 ResNet-50 提取图像全局特征并计算其与对应类别均值中心向量的余弦相似度，衡量类内代表性。第二步，将上述特征归一化后通过对称狄利克雷分布 $\text{Dir}([1, 1, 1, 1, 1])$ 采样的权重向量加权线性求和，得到结构复杂度分值。第三步，为了补充真实模型尺度的判别难度，使用 ImageNet 预训练的 ResNet-18 搭配随机初始化的 16 分类线性头，仅做单次前向传播计算交叉熵损失，完全不更新权重。第四步，将统计特征得分与模型损失分别映射为百分比分位数（Percentile Rank）后取均值，得到最终归一化到 $[0, 1]$ 的样本难度分值。该打分全流程完全独立于后续分类器架构，计算一次即可复用于 CNN、DiT、UDOP 和 LayoutLMv3。

2. MDP建模与多维状态感知：捕捉模型真实学习动态

静态调度器（如线性或开方进度函数）完全忽略分类器的实际掌握程度，在模型遭遇瓶颈时依然强推难样本，易导致梯度剧烈震荡。TiCRL 将课程控制严格形式化为马尔可夫决策过程（MDP）$\mathcal{M} = (S, \mathcal{A}, \mathcal{R}, \mathcal{T}, \gamma)$。状态向量 $s_t \in \mathbb{R}^8$ 全面编码分类器的多维动态：当前难度门限 $d_t$、门限变化量 $\Delta d_t$、训练轮次序号 $e_t$、训练集损失 $L_{\text{train}}$、验证集损失 $L_{\text{val}}$、训练集准确率 $\text{Acc}_{\text{train}}$、验证集准确率 $\text{Acc}_{\text{val}}$，以及门限是否触发截断的布尔标志。动作空间定义为一维连续标量 $a_t \in [-0.01, 0.01]$，用于微调下一轮训练的样本挑选截断门限： $$ d_{t+1} = \text{clip}(d_t + a_t, 0.001, 1.0) $$ 正动作提升门限以纳入更多复杂排版或低对比度样张，负动作收紧门限使模型回撤聚焦于规范排版的基础样本。这一连续微调机制避免了离散档位切换造成的训练冲击。

3. 渐进式双向收益奖励设计：自适应平衡早期收敛与后期泛化

为了引导智能体学会在前期推动快速拟合、在后期强化泛化性能，奖励函数 $r_t$ 必须同时兼顾训练集与未参与梯度反传的验证集表现。TiCRL 设计了随训练进度自适应加权的相对改善度奖励： $$ r_t = (1 - \lambda_t) \cdot \max\left(0, \frac{L_{\text{train}}^{\text{prev}} - L_{\text{train}}}{L_{\text{train}}^{\text{prev}} + \epsilon}\right) + \lambda_t \cdot \max\left(0, \frac{L_{\text{val}}^{\text{prev}} - L_{\text{val}}}{L_{\text{val}}^{\text{prev}} + \epsilon}\right) $$ 其中 $\epsilon = 10^{-6}$ 防止除零，$\lambda_t \in [0, 1]$ 随已选数据比例 $p_t$ 线性增长。在训练初期（$p_t$ 较小，$\lambda_t \to 0$），奖励主要由训练损失的下降幅度驱动，促使智能体优先挑选简单且易拟合的样本构建基础特征表征；随着训练深入（$p_t$ 增大，$\lambda_t \to 1$），验证集损失的降低成为奖励的核心来源，促使智能体智能探索更高难度的文档样本以打破泛化瓶颈，同时抑制过拟合。

4. DDPG调度器两阶段解耦与策略跨域迁移

为确保调度策略既具备探索能力又能在复杂骨干网络间无缝复用，TiCRL 采用两阶段范式。在智能体训练阶段，使用标准 Actor-Critic 架构的 DDPG 算法，引入 Ornstein-Uhlenbeck（OU）时序相关探索噪声（$\theta=0.2, \sigma=0.8$）平滑动作序列，并在 Critic 的目标动作计算中引入截断高斯噪声（借鉴 TD3 思想）抑制 Q 值高估，以软更新系数 $\tau=0.01$ 维护目标网络。分类器在多个大循环（Cycle）间重置权重，使智能体学会从多种初态逐步引导收敛。在应用阶段，完全固定 DDPG 策略网络，仅执行单步前向推理输出 $a_t$ 来调整样本集。由于状态空间仅包含损失、准确率等宏观标量，学得的课程策略表现出极强的跨架构与跨数据集通用性，无需重新训练即可零样本迁移至不同参数量、不同领域规模的数据集中。

损失函数 / 训练策略¶

分类器在筛选得到的子集 $\mathcal{D}_t = \{x_i \in \mathcal{D}_{\text{train}} \mid \text{Score}(x_i) \le d_{t+1}\}$ 上使用标准交叉熵损失更新参数，每个 episode 训练固定轮次 $u$。DDPG Critic 网络通过最小化 Bellman 误差进行参数更新： $$ \mathcal{L}{\text{critic}} = \mathbb{E}')\right)\right)^2\right] $$ 其中目标动作引入平滑截断噪声 }\left[\left(Q(s, a) - \left(r + \gamma Q_{\text{target}}(s', \tilde{a$\tilde{a}' = \mu_{\text{target}}(s') + \text{clip}(\mathcal{N}(0, 0.2), -0.5, 0.5)$。Actor 与 Critic 均采用 Adam 优化器，学习率设为 $3 \times 10^{-4}$。在每个大循环内，若验证损失连续 5 次评估未改善则触发早停；通过追踪策略级指标（Actor Loss 极小点与 Q 值平稳期），挑选出最优泛化智能体（Best Agent，位于第 6 循环 Episode 379）用于后续推理。

实验关键数据¶

主实验¶

实验在标准基准数据集 RVL-CDIP（采样子集共 100,000 张灰度文档图像，涵盖 16 个类别，划分为 64% 训练、16% 验证、20% 测试）上开展，输入分辨率统一为 $224 \times 224$。主实验分为两部分：轻量级 CNN（约 1.35M 参数，从头训练）与大规模预训练 Transformer（DiT、UDOP、LayoutLMv3 微调）。

表1：CNN 架构下不同课程策略性能与训练数据量对比（5 次独立随机种子实验均值 ± 标准差）

方法类型	方法	难度来源	调度策略	测试准确率 (%)	训练样本使用量 (占比)
无课程学习 (全量)	CNN (1.35M)	–	None	80.43 ± 0.33	64,000 (100.0%)
无课程学习 (全量)	ResNet-34	–	None	78.48 ± 0.39	64,000 (100.0%)
无课程学习 (缩减)	CNN (1.35M)	–	None	78.69 ± 0.46	51,200 (80.0%)
无课程学习 (缩减)	ResNet-34	–	None	77.68 ± 0.24	51,200 (80.0%)
预定义课程学习	Linear	预设得分	Linear 函数	74.16 ± 1.43	48,106 (75.17%)
预定义课程学习	Step	预设得分	Step 函数	74.22 ± 0.98	48,528 (75.83%)
预定义课程学习	Root	预设得分	Root 函数	76.96 ± 0.75	53,435 (83.49%)
自动化课程学习	SPL (自步学习)	模型损失	自步更新	69.89 ± 1.82	48,212 (75.33%)
自动化课程学习	ACL (自适应)	教师模型+损失	步长调节	75.84 ± 0.48	46,416 (72.53%)
本文方法	TiCRL (Ours)	混合得分	DDPG 强化学习	83.67 ± 1.61	52,429 (81.92%)

表2：预训练文档 Transformer 架构上的微调对比

模型	微调轮数	调度方式	测试准确率 (%)	平均数据使用比例
DiT	150	标准微调 (80% 数据)	91.07 ± 0.35	80.00%
UDOP	15	标准微调 (80% 数据)	74.00 ± 0.95	80.00%
LayoutLMv3	10	标准微调 (80% 数据)	91.53 ± 0.26	80.00%
DiT + TiCRL	150	TiCRL 动态调度	93.02 ± 2.05	57.66%

消融实验¶

为了严格验证所设计的视觉-文本混合难度度量器中各组件的实际效用，作者在固定随机种子与统一 CNN 架构下执行了逐一移除（Leave-one-out）消融实验。

表3：混合难度度量器各特征组件消融结果

移除组件	测试准确率 (%)	性能下降幅度 (%p)	说明
None (完整 TiCRL)	85.05	–	融合全部 5 类视觉特征与固定网络损失
w/o Canny Edge	81.40	-3.65	去除边缘像素计数（影响文本密度与分栏感知）
w/o HOG	81.63	-3.42	去除方向梯度幅值（影响排版走向与版式结构感知）
w/o GLCM Contrast	81.07	-3.98	去除灰度对比度（下降最大，体现局部灰度反差至关重要）
w/o GLCM Homogeneity	82.35	-2.70	去除同质性（衡量局部纹理平滑程度）
w/o Cosine Similarity	81.23	-3.82	去除类中心余弦相似度（缺失样本典型性先验）

此外，在控制策略维度的消融中： 1. 动作空间维度：尝试 2D 动作空间（同时控制起始门限与数据引入比例），准确率剧烈震荡至 $72.30 \pm 10.18\%$，证明精炼的 1D 连续微调对 RL 收敛稳定性至关重要。 2. 调度器算法：构建基于指数移动平均（EMA）的非强化自适应基线，测试准确率为 81.49%，虽优于无课程基线（80.43%），但仍显著低于 TiCRL（83.67%），证明多维状态反馈下的强化学习策略具有不可替代的动态权衡能力。 3. 早停机制与智能体选择：对比第 6 循环的最优智能体（Best Agent）与训练终点的最终智能体（Final Agent），在 10K 小样本集上最优智能体达 80.48%，而最终智能体仅 61.99%（差距达 18.49%p），揭示了策略层过拟合现象。

关键发现¶

非单调门限调节带来高容错收益：DDPG 智能体学到的策略并非单调递增引入样本，而是在遇到收敛平台期时主动收缩难度门限，过滤高噪高难样本协助分类器巩固特征表示，随后再次拓宽难度窗口。
高难类别的突破性提升：在 top-3 高难类别（广告 84.6%、新闻 83.7%、科研论文 88.6%）上，TiCRL 取得了 85.6% 的平均准确率，不仅大幅超越预定义课程（69.1%）和自动化课程（77.1%），还以 82% 的数据量超越了使用 100% 数据的 ResNet-34，打破了“难样本前期未学则后期学不好”的传统顾虑。
卓越的零样本跨域迁移性：将 RVL-CDIP 上学得的 DDPG 调度器直接用于全新类别、小样本的 Tobacco-3482 数据集（从 16 类变为 10 类，规模仅 3,482 张），无需微调即取得 86.88% 准确率，显著高于基线的 85.30%。

亮点与洞察¶

无 OCR 的轻量高保真难度打分机制：巧妙规避耗时的 OCR 引擎，将传统数字图像处理统计量（Canny、HOG、GLCM）与冻结卷积网络的类中心相似度、浅层损失结合，一次计算全架构复用，兼顾了结构先验与语义先验。
训练/验证动态权衡的进度自适应奖励：将强化学习奖励分为两段式权重退火，早期以训练损失改善驱动快速收敛，后期以验证损失改善驱动鲁棒泛化，有效引导智能体平衡探索与利用。
揭示强化课程学习中的策略级过拟合：首次明确指出课程调度智能体在后期会出现动作方差收窄与策略过拟合，提出依据 Actor Loss 极小点与 Q 值稳定度进行策略级早停，为同类研究提供了清晰的工程范式。

局限与展望¶

作者承认的局限：当前实验主要针对单张二维文档图像分类任务，尚未探索其在版面分析（检测/分割）或端到端长文档理解中的适应性；在奖励函数中仍需超参数调度权重的配合。
思考与外部局限：难度打分中对 ResNet-18 随机初始头的依赖引入了轻微的打分方差；另外 RVL-CDIP 图像被缩放至 $224 \times 224$ 抹除了一部分细微字体与印刷质量差异，使得基于像素的难度评估更偏向大块版面而非局部排版。
改进与拓展方向：可进一步将策略动作泛化至批次采样概率分布（而非单一截断硬门限），并将 TiCRL 范式拓展至大视觉语言模型（LVLM）的指令微调数据配比调度中。

评分¶

新颖性: ⭐⭐⭐⭐☆ 提出无需 OCR 的文档混合难度度量器与基于 DDPG 的动态连续调度器，架构解耦新颖。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 CNN 从头训练、三款主流 Transformer 微调、详尽的逐项特征消融与跨数据集零样本迁移实验。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构清晰严整，MDP 形式化严谨，深入剖析了强化学习训练动态与早停准则。
价值: ⭐⭐⭐⭐☆ 在算力与数据受限场景下为文档智能系统提供了极高性价比的训练加速方案，具有良好的工程落地与迁移价值。