AdaThinking-E: One-Token Entropy Regulation for Adaptive Thinking¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/4501
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/6246.pdf
代码: https://github.com/PriNing/AdaThinking-E
领域: 多模态推理 / 文档理解
关键词: 自适应思考、模式切换、熵课程、奖励归因、文档问答

一句话总结¶

AdaThinking-E 将“是否思考”的首 token 与后续答案分开优化，用先高熵探索、后低熵收敛的课程学习文档问答中的模式选择，使 Qwen2.5 系模型在 OCR-Reasoning 上达到 26.5，同时在 CharXivRQ 上仅用平均 72 个输出 token 获得接近 R-4B 的表现。

研究背景与动机¶

文档问答并不总需要长推理链：从抬头读取发文部门与结合图表做计算，消耗的推理资源本应不同。统一开启思考会让简单抽取产生冗长输出，甚至引入原图没有支持的推断；统一关闭思考又会损害复杂计算。提示词开关把决定权留给用户，而预先标注题目难度、训练预算预测器，则需要外部规则或额外标注。

本文更具体的问题是：即使冷启动已经教会模型两种输出模式，直接用同一套强化学习奖励更新整条序列，也未必能学会合理选择。作者观察到 GRPO 和 DAPO 在这一设置下快速偏向“不思考”，并将其归因于模式决策与内容生成混在一起优化、以及长度相关的奖励归因问题。这是该实验设置下的观察，不宜推导成所有 GRPO 训练必然坍塌。

模式由输出开头的特殊 token 决定，因此真正需要探索的是这个局部决策，而不是让整条推理链始终保持高随机性。核心 idea：先给同一道题提供两种可用回答方式，再只在模式切换 token 上控制探索与收敛，并用各模式的答对情况校正选择，让其余 token 专注于答案质量。

方法详解¶

整体框架¶

输入是文档图像和问题，输出以 /no_think 或 /to_think 开头，之后是 <think>...</think><answer>...</answer>；不思考时思考标签内部为空。训练分为 AdaThinking-Doc 冷启动和强化学习两个阶段，推理时则由训练后的模型自行生成开关，无需在线运行额外的难度分类器。

强化学习对同一问题采样一组回答，统计模式、正确性和首 token 分布。首 token 接收熵课程与决策反馈形成的信号，其余 token 接收格式与准确率信号。下面画的是训练数据流，不是推理时必须运行的多个独立模型。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
Input["公开训练集<br/>文档图像与问题"] --> Cold["双模式冷启动"]
Cold --> Sample["同题分组采样"]
Sample --> Entropy["首 token 熵课程"]
Entropy --> Feedback["决策反馈"]
Sample --> Quality["响应质量奖励"]
Feedback --> Update["按 token 角色更新模型"]
Quality --> Update

关键设计¶

1. 双模式冷启动：学习两种能力，而不是预先指定何时使用

AdaThinking-Doc 从公开数据集的训练集组织文档抽取与复杂推理样本。对每个数据点都构造思考和不思考两种回答，而不是把简单题只标成不思考、难题只标成思考。思考轨迹由 Seed1.5-VL 生成，再由 GPT-4o-mini 检查逻辑合理性；两种回答使用相同的思考和答案标签结构，只在模式 token 与思考内容上不同。

这样做的目的不是保证每题两种模式都一样好，而是避免强化学习开始之前某一分支已经不会生成。冷启动提供探索所需的行为覆盖，后续再用实际答对情况决定哪些输入值得思考。教师生成和检查仍会影响数据质量，因此“不预标难度”并不意味着训练数据完全没有外部影响。缓存未包含补充材料中的数据分布，不能据此填写数据集规模、各来源占比或过滤通过率。

2. 首 token 熵课程：只对模式选择安排先探索后收敛

对每个问题按当前策略采样 \(G\) 条输出，首位置从模型预测分布中选择思考或不思考。作者用这两个模式概率的归一化熵描述选择的不确定性：两者接近时熵高，一者占优时熵低。该熵是模式决策分布的性质，不是最终答案是否正确的置信度，也不是整条生成序列的平均熵。

早期训练奖励高熵，让两种模式都有机会进入采样组；后期逐渐奖励低熵，让模型对同类输入形成稳定选择。转换系数 \(\alpha_k\) 随训练步数变化，总步数为 \(K\)，\(\gamma\) 控制转折发生的相对位置，\(\beta\) 控制过渡陡峭程度。推理时不再执行这套课程，模型直接使用学到的首 token 分布。

熵奖励还包含鼓励两个合法模式 token 的总概率接近 1 的项，防止首位置生成其他标识。这里有两个不同问题：先保证输出的是合法开关，再让合法开关内部的分布从探索转向确定；单纯降低熵可能只会过早锁定一个错误分支。

缓存的原式 (1) 至 (4) 存在不同程度的提取损坏，尤其总目标、熵求和、调度函数和完整熵奖励无法逐符号核实。本笔记不猜写这些闭式表达，保留正文可确认的变量含义、作用位置和调度方向；下文仅列出仍可辨读的决策权重关系。

3. 决策反馈：用分组正确性给熵收敛指定方向

熵本身只告诉模型“选择要多确定”，没有说明“应该确定地选哪种模式”。作者因此把每条 rollout 按模式和最终答案是否正确分类，得到模式 \(m\) 的出现比例 \(r_m\) 与组内准确率 \(acc_m\)。准确率由 \(\epsilon_l\) 和 \(\epsilon_h\) 分成低、中、高三档，供准确率引导项 \(A\) 使用：两种模式都低准确率时鼓励思考；两种都在中档或都在高档时鼓励不思考。

另一项倾向引导 \(P\) 处理小样本导致的误导。例如思考模式答对 13/15，不思考模式只采到一次却答对 1/1，直接比较准确率会认为不思考更好，但这个判断可能只是采样噪声。当模式比例差 \(|r_{tk}-r_{ntk}|>\Delta_r\)、且两种模式均高准确率时，\(P\) 引导模型保留已有倾向。正文给出的权重关系为：

\[ w_m=\frac{acc_m}{acc_{\neg m}}+A(acc,m)+P(acc,m,\Delta_r). \]

其中 \(\neg m\) 表示另一种模式。该权重用于调节模式 token 的熵奖励，并不是奖励所有响应 token 多想或少想。\(A\)、\(P\) 的分段取值和边界处理被放到补充材料，而本缓存没有这些内容，尤其不能自行添加分母为零时的平滑常数。由此也能看出，这不是完全去除人为偏好的方法：它去掉了外部逐题难度标签，但仍内置“都能答对时更倾向省略思考”等规则。

4. 响应质量奖励：不要让答案内容替模式决策承担探索压力

首 token 之外的响应 token 使用内容相关的优势估计，目标是生成有效且正确的回答，不因当前选了哪种模式而改变答案标准。格式奖励 \(R_f\) 对合法模板给 1，否则给 0；准确率奖励 \(R_{acc}\) 对最终答案匹配真值给 1，否则给 0。格式约束尤其重要，因为首位置与后续位置承担不同角色，格式漂移会破坏这种分工。

这是一种奖励归因的拆分，而不是增加一个独立路由网络：同一模型的首 token 学习模式决策，后续 token 学习在给定模式下作答。它也不直接监督推理过程的每一步是否正确，最终答案奖励仍可能接受不忠实的思考轨迹。正文将具体损失算子与实现细节指向补充材料，因此这里不补写未经核验的 clipping、KL 或两种质量奖励的组合系数。

损失函数 / 训练策略¶

冷启动采用 SWIFT，学习率 1e-6、batch size 4、训练 1 epoch。强化学习采用 VeRL，学习率 1e-6、batch size 32，每个问题采样 16 条回答；正文同时报告 1 epoch 和 2000 steps，硬件为 8 张 NVIDIA A100。由于缓存缺少数据规模和补充材料，不能进一步推断两个训练长度描述的换算关系。

训练段将基座写作 QwenVL-2.5-7B 和 QwenVL-3-8B，主结果表的原始 Qwen2.5 基线行却写成 QwenVL2.5-8B，命名存在不一致。以下将本文模型明确记作 Qwen2.5 系 7B 与 Qwen3 系 8B，不把表中命名差异默默改成新的事实。所有消融均使用 Qwen2.5-VL-7B。

评测使用 VLMEvalKit，需要大模型判断的任务由 GPT-4o-mini 评估。固定 NT/TK 的结果通过在输入阶段主动插入模式 token 得到，ATK 则让模型自己选择。比较输出长度时，作者给所有问题加入只用单词或短语回答的要求，以减少答案正文长度的差异，但这不等同于控制了所有模型的训练预算与解码成本。

实验关键数据¶

主实验¶

下表选取原表 1 的五项基准，保留论文报告的分数尺度，数值越高越好；不同基准评分协议不同，不跨列求平均，也不把所有分数笼统称作同一种准确率。NT 为不思考，TK 为思考，ATK 为自适应思考。

模型 / 模式	DocVQA	ChartQA	CharXivRQ	CharXivDQ	OCR-Reasoning
R-4B / ATK	94.1	87.2	56.8	82.9	22.2
AdaThinking-E Qwen2.5 7B / NT	96.3	88.4	55.2	82.6	21.7
AdaThinking-E Qwen2.5 7B / TK	95.1	88.5	56.2	83.3	26.1
AdaThinking-E Qwen2.5 7B / ATK	96.3	89.1	56.7	83.5	26.5
Qwen3 8B / TK	95.3	88.6	53.0	85.9	48.4
AdaThinking-E Qwen3 8B / ATK	96.4	90.1	57.3	86.6	49.7

Qwen2.5 系自适应模型在 OCR-Reasoning 上比自身固定 TK 高 0.4 分，比 R-4B 高 4.3 分；但 CharXivRQ 的 56.7 仍略低于 R-4B 的 56.8，因此应描述为接近，而不是全面超过。跨模型比较还混有模型规模和训练来源差异，自身三种模式的比较更直接反映模式选择效果。

效率证据来自正文对图 3 的说明：CharXivRQ 上本文思考比例为 27%、平均输出 72 token，R-4B 为 82% 和 366 token；CharXivDQ 上思考比例分别为 11% 和 45%。OCR-Reasoning 上本文自适应模式的思考比例约 62%，相对自身 TK 少生成平均 88 token；这里的 88 是差值，不能误写成总输出长度。

消融实验¶

原表 2 的决策反馈消融同时报告分数与思考比例，不能只看“更少思考”就判断更好。以下三行均为 Qwen2.5-VL-7B 设置。

决策反馈配置	ChartQA 分数	ChartQA 思考率 (%)	OCR-Reasoning 分数	OCR-Reasoning 思考率 (%)
去掉 A、P，只用准确率反馈	88.1	39.9	25.7	83.4
A、P；阈值 0.3/0.7，比例差阈值 0.625	88.4	3.4	25.9	59.7
A、P；阈值 0.3/0.7，比例差阈值 0.375	89.1	24.3	26.5	61.9

最后一行相对去掉 A、P，提高 ChartQA 1.0 分、OCR-Reasoning 0.8 分，同时分别减少思考率 15.6 和 21.5 个百分点。比例差阈值提高到 0.625 虽使 ChartQA 更少思考，却降到 88.4，说明倾向判定会实质改变效率与效果的取舍。

原表 3 检验熵课程，以下保留冷启动、两种固定熵方向以及主配置，避免把“动态课程有效”与“只要低熵就有效”混为一谈。

熵配置	ChartQA 分数	ChartQA 思考率 (%)	OCR-Reasoning 分数	OCR-Reasoning 思考率 (%)
仅冷启动	87.6	9.2	21.6	10.4
始终鼓励高熵，gamma=1.0	88.1	75.6	23.7	48.4
始终鼓励低熵，gamma=0.0	87.8	0.0	18.7	0.0
动态课程，beta=10，gamma=0.4	89.1	24.3	26.5	61.9

关键发现¶

始终低熵时两项任务思考率均为 0.0%，OCR-Reasoning 比动态课程低 7.8 分。这直接支持“需要先探索”的论点，但不是所有设置中都具有同样降幅的证明。
冷启动并不自动带来合适的模式分配：OCR-Reasoning 思考率从 10.4% 增加到 61.9% 时分数提高。本文并不是在所有任务上一味减少思考。
表 3 另有 beta=10、gamma=0.5 的配置在 OCR-Reasoning 达到 26.9，但思考率为 75.6%；主配置 26.5/61.9 不是纯准确率最优点，而是更节省思考的选择。

亮点与洞察¶

把“决策 token”和“执行 token”区分开，比对整段文本统一加熵更贴近控制问题。可迁移的原则是把探索压力放在真正决定计算路径的位置，而非所有生成位置。
同题双模式冷启动使强化学习能比较两种行为，而不是继承教师的逐题难度分类。但只有保留足够采样覆盖，组内比较才可能可靠。
思考比例和平均输出长度一起报告，揭示了分数接近时的不同代价。论文的价值不只是缩短回答，而是让简单抽取与复杂推理获得不同的计算配置。

局限与展望¶

作者没有单列完整局限章节，以下主要是基于实验与缓存可见信息的审读判断。实验集中于文档理解和两种 Qwen 系基座，不能直接外推到视频、具身操作或通用智能体。
“不依赖外部难度标签”不等于没有人工设计：准确率分档、比例差阈值以及 A、P 的方向规则均引入先验。可进一步检验这些阈值在新领域是否需要重新调节。
熵低只代表模式选择稳定，不能证明模型知道最优计算策略；组内样本少时，准确率比例也可能不可靠。还需有重复随机种子、置信区间和分布外校准实验来支撑更强的稳定性结论。
首 token 的奖励分离不意味着共享网络参数完全互不干扰，最终答案奖励也不保证推理忠实。可进一步测量两类更新的梯度冲突，以及错误模式是否仍通过内容学习被强化。
token 节省不等于实测延迟、能耗或训练成本节省。缓存未报告这些指标，且缺少补充材料中的损失细节、反馈分段取值和数据配比，不能仅凭本笔记完整复现训练。

评分¶

新颖性: 4/5。模式 token 的定向熵课程与奖励归因拆分有明确针对性，但仍建立在既有双模式训练与分组 RL 上。
实验充分度: 4/5。主结果、固定模式比较、决策反馈与熵课程消融形成较完整证据链，缺少延迟与多次运行不确定性报告。
写作质量: 3/5。主要思路易理解，但“自主发现”的表述强于其启发式反馈实际支持范围，且模型命名与部分文字增益需要对照表格审读。
价值: 4/5。对文档推理服务的计算分配有实用意义，是否能跨领域复用仍需进一步验证。