💡 LLM Reasoning¶
🧠 NeurIPS2026 · 111 篇论文解读
📌 同领域跨会议浏览: 📷 CVPR2026 (16) · 🔬 ICLR2026 (241) · 💬 ACL2026 (82) · 🧪 ICML2026 (78) · 🤖 AAAI2026 (37) · 🧠 NeurIPS2025 (82)
🔥 高频主题: 推理 ×71 · LLM ×23 · 对齐/RLHF ×4 · 医学影像 ×2 · Agent ×2
- A Mechanistic Analysis of Looped Reasoning Language Models
-
通过对循环推理语言模型隐状态与注意力模式的机械可解释性分析,本文揭示出循环块内的各层在循环展开中收敛于互不相同的循环不动点,形成稳定的隐空间循环轨迹,并在深度上周期性复现传统前馈 Transformer 的推理阶段(Stages of Inference)。
- A Theoretical Framework for Self-Play Theorem Proving Algorithms
-
本文提出了首个针对大模型形式化定理证明自博弈算法的理论分析框架,证明了在等周连通条件下基于随机游走的猜想者-证明者系统知识集呈指数增长,并提出基于扩散相似度局部最大化多样性的改进猜想算法及对比学习求解方案。
- A Theory of Online Learning with Autoregressive Chain-of-Thought Reasoning
-
本文建立了自回归思维链推理的在线学习理论,证明端到端监督下错误界在生成长度 \(M\) 上存在从常数到对数 \(\Theta(L(F)\log M)\) 的严格增长阶层分类,而思维链监督能彻底消除对 \(M\) 的依赖。
- Adaptive Generate-Rank-Verify: Inference-Time Search with Costly Verification
-
针对大语言模型复杂推理中便宜奖励模型与昂贵形式化验证器并存的算力权衡问题,本文建立了主动搜索理论框架,并提出无需难度先验与奖励校准的壳层自适应策略 ADAP,在保证常数倍理论竞争比的同时将验证与采样综合成本降低数倍。
- Advancing Entropy-Level Credit Assignment in RLVR via Proximal Entropy Policy Optimization
-
PEPO 将成功推理轨迹中 token 的更新权重改为相对邻域的不确定性,并保持每条轨迹的总权重不变,在数学推理主实验中优于所比较的 GRPO 与全局熵基线,但趋势鲁棒性和跨任务推广均有明确边界。
- An Enigma of Artificial Reason: Investigating the Production-Evaluation Gap in Large Reasoning Models
-
本文揭示了大推理模型(LRMs)在数学推理中存在严重的“生产-评估差距”:即便具备极高的解题生成能力,在面对答案正确但推理步骤存在琐碎荒谬漏洞(VAIR)的解答时评估准确率却骤降至 48%,其根本机理在于答案确认偏差驱动的认知失真与表征覆盖。
- Anti-Self-Distillation for Reasoning RL via Pointwise Mutual Information
-
本文揭示了带有特权上下文的在线自蒸馏本质上是条件点互信息(PMI),由于其会不合理奖励捷径词并惩罚探索性思考词,作者提出了逆转梯度方向的反向自蒸馏(AntiSD),借助有界 JS 散度梯度上升和熵触发门控,在无需额外模型的前提下实现 2-10 倍训练加速并显著提升复杂推理性能。
- Are Your Reasoning Models Reasoning or Guessing? A Mechanistic Analysis of Hierarchical Reasoning Models
-
本文通过对分层推理模型(HRM)的隐空间轨迹进行机械可解释性分析,揭示了其本质上是在“猜测”不动点而非渐进推理的动力学机制,进而提出数据增强、输入扰动和模型自举策略,将极难数独准确率从 55.0% 提升至 96.9%。
- Ares: Adaptive Reasoning Effort Selection for Efficient LLM Agents
-
Ares 针对大语言模型智能体长程多步交互中的高额思考开销问题,设计了一种轻量级路由机制,在每一步动作决策前自适应预测最低且充分的推理努力等级(low/mid/high),在保持甚至提升任务成功率的同时削减多达 52.7% 的推理 token 消耗。
- Asking the Right Questions: Improving Reasoning with Generated Stepping Stones
-
提出了 ARQ(Asking the Right Questions)框架,通过构建独立的垫脚石问题生成器为大模型搭建过渡性子问题,结合蒙特卡洛期望解题奖励驱动的 SFT 与 DPO 后训练,显著拓宽了推理模型攻克前沿竞赛级数学难题的求解边界。
- Axiomatic World Modeling for Physics Reasoning
-
本文针对大模型在物理推理中常出现的“前提级篡改与建模漂移”痛点,提出公理化世界模型强化学习(RLAWM),通过显式解耦“公理世界建模”与“实例化推理求解”,利用结构化模式基序保真度奖励(\(R_M\))与物理不变量可执行检验器奖励(\(R_S\))联合优化策略,无需推理期额外开销即可大幅提升推理精度与泛化边界。
- Beyond Right and Wrong: Evaluating Second-Order Social Reasoning in Large Language Models
-
提出了评测大语言模型二阶社会元规范推理(metanorm reasoning)的双维框架与多视角基准 NormReact(450 个日常规范违背情境),揭示出当前主流 LLMs 构建了一个比人类真实社会更加严苛惩罚性的世界模型,且模型判断与人类的对齐程度随着社会距离增加而急剧退化。
- Beyond What Seems Necessary: Hidden Gains from Scaling Training-Time Reasoning Length
-
揭示了仅有结果监督下,扩展训练时推理长度(如RL微调的token预算或循环Transformer的循环次数)能在分布内验证指标早早饱和后持续带来隐藏的分布外泛化收益,并从归纳偏置重构与正则化抑制快捷解两方面给出了严格理论证明与实证验证。
- BFS-PO: Best-First Search for Large Reasoning Models
-
本文提出面向大推理模型的强化学习算法 BFS-PO,利用基于最大熵回溯的最佳优先搜索策略引导在线探索生成更短且正确的思维链,结合树状分支优势函数,在无需过程奖励模型的前提下同时降低推理长度并提升模型准确率。
- Boosting Inference with Guided Reasoning: Stochastic Exploration for Recursive Models
-
针对微型递归模型在测试期仅依赖单条确定性隐式推理轨迹容易陷入局部解的问题,本文将递归推理形式化为隐式轨迹上的近似贝叶斯推断,引入随机扰动生成粒子云并复用预训练 Q-head 实施在线重加权(SMC 框架),在无需重新训练的情况下大幅提升 Sudoku-Extreme 等任务的求解率,并提出了三项无需标签即可预先诊断引导有效性与不确定性的理论准则。
- CircuitSeer: Mining High-Quality Data by Probing Mathematical Reasoning Circuits in LLMs
-
CircuitSeer 摆脱了传统依赖强模型重打分与复杂启发式规则的沉重负担,通过探测大模型内部专门负责数学长程推理的稀疏注意力回路,以输入 token 的注意力方差量化推理复杂度,并结合软采样策略,仅用 10% 的筛选数据微调即可全面超越全量数据训练的推理表现。
- CITE: Anytime-Valid Statistical Inference in LLM Self-Consistency
-
针对大语言模型自适应自我一致性采样中类别空间未知且动态增长的挑战,本文提出基于 e-过程交并检验的随时有效众数认证算法 CITE,在任意数据驱动停止时刻严格控制假认证错误率,并证明其停时界与类别总数无关且达极小化极大最优阶。
- Cite What You Explore: Budget-Aware LLM Reasoning over Medical KGs with Verifiable Evidence
-
针对出院后风险预测中跨时间依赖缺失与外部知识图谱盲目探索的矛盾,提出预算感知推理框架 BAR,将原始知识图谱提炼为带证据可溯源与支持度分数的证据图,由 LLM 根据 EHR 预测不确定性自适应预算并执行“规划-导航-验证-修正”闭环,结合配对增益强化学习奖励,实现高精度、低成本且完全可审计的临床风险推理。
- Compute-Aligned Training: Optimizing for Test-Time Inference
-
将测试时推理策略形式化为作用在基础策略上的可微算子,推导出对齐Pass@N、多数投票及Best-of-N边际效用的梯度加权准则,使模型在不增加训练算力的前提下大幅提升测试时扩展性能。
- Confidence-Calibrated Inference Expansion for Evaluator-Guided Test-Time Reasoning
-
本文将评估器引导的自适应推理建模为联合考虑计算代价的三动作局部控制器(信任当前候选、保守回退、购买额外扩展),通过动作特异的轻量置信度头、事后校准以及基于分桶残差的局部不确定性惩罚,在数学解题采样扩展与通用推理多轮修订中以降低 16%~30% 的计算量取得超越强固定基线的综合效用。
- Consilience for Verifier-Free Test-Time Scaling
-
本文提出基于“融通性(Consilience)”的无验证器测试时扩展选择指标,揭示了复杂推理中全局高置信度实为过早收敛并导致“自信而错误”长尾解的根源,通过惩罚推理初期过高置信度并奖赏最终逻辑收敛确定性,在自由形式代码生成与复杂推理基准上显著超越 Pass@1 与传统置信度基线。
- Convex Compositional Reasoning Models
-
针对组合能量模型在因子求和时因非凸能量曲面容易陷入伪局部极小值的根本缺陷,本文提出 CCEM 框架,将每个子约束因子参数化为输入凸神经网络,在紧凸松弛空间上构建全局凸能量景观,利用确定性投影一阶优化替代扩散采样,实现了无须重新训练向更大规模组合推理问题的跨尺度零样本迁移。
- Correct but Unselectable: The Hidden Interface Tax in Multi-Candidate Reasoning
-
针对小模型在生成-重排序推理中“正确候选已产生却因格式断裂或模式失配而无法被固定选择器选中”的接口税瓶颈,本文形式化了覆盖率-转化率分解并提出免重新训练的兼容感知候选构建(CACC),在 GPQA Diamond 上将最终精度从 5.6% 跃升至 19.2%。
- Credit Assignment with Resets in Language Model Reasoning
-
本文提出基于重置的强化学习后训练机制(RRPO 与 SRPO),通过模型自定位失败轨迹的首个错误推理步并重置采样反事实后缀,从理论和实证上解决了可验证奖励下全轨迹均匀分配信用的根本缺陷。
- CurveRL: Principled Distribution-Aware Context Reweighting for LLM Reasoning
-
将大语言模型推理中的提示词重加权形式化为基于效用泛函导数的上下文分布控制,并提出基于分位数变换的自适应重加权算法 CurveRL,利用解题率的排序与密度信息显著提升了模型在极限搜索边界(pass@k)与单次通过率(pass@1)上的 Pareto 前沿。
- decoding the critique mechanism in large reasoning models
-
本文揭示了大推理模型(LRMs)在思维链受错误污染时仍能在最终答案中隐式恢复的“隐藏批判能力”,并通过均值差分法提取出线性批判向量,实现了对模型错误检测与测试时缩放能力的无监督因果调控。
- Depth-Recurrent Attention Mixtures: Giving Latent Reasoning the Attention it Deserves
-
针对深度循环架构中层规模受限与隐状态表征瓶颈两大缺陷,本文提出模块化深度循环注意力混合体(Dreamer),通过将序列、深度与稀疏专家统一建模为三维注意力混合机制,在严格资源对齐下实现了 2–8 倍的数据效率提升。
- DiscoLoop: Looping Discrete Embeddings and Continuous Hidden States for Multi-hop Reasoning
-
针对循环Transformer在隐式多跳推理中因中间连续隐状态与离散嵌入表征失配导致的泛化瓶颈,DiscoLoop在循环残差流中联合传递连续隐状态与经软解码重编码的离散嵌入通道,实现了低训练步数下接近100%的分布外多跳泛化并在预训练大模型上取得持续增益。
- Diversity Combining for Multi-Path LLM Reasoning
-
将大语言模型多路径推理形式化为无线通信中的分集接收合并问题,揭示了路径间正确性正相关导致有效样本容量饱和的理论机制,并推导出仅需 4 路径 pilot 即可确定最优预算的 Adaptive-K 采样准则。
- Diversity Combining for Multi-Path LLM Reasoning
-
本文用正确性相关与设计效应解释多路径推理的收益饱和,并从有标签的离线四路径试运行估计固定部署预算;在五个模型–任务组合上,选取 4–10 条路径保留了 32 路径二元多数票准确率的 96%–103%,但这一评测指标不等同于开放答案的实际相对多数投票准确率。
- Do Latent-CoT Models Think Step-by-Step? A Mechanistic Study on Sequential Reasoning Tasks
-
通过对基于蒸馏的连续隐式思维链模型(CODI)在多跳多项式迭代任务上的机械可解释性剖析,发现模型在短视野下形成真实的中间桥接状态并结合直连输入做晚期融合,而在长视野下退化为仅表征末期中间状态的晚期瓶颈策略,并在不可压缩的素数模代数结构下完全崩溃。
- ECG-Reasoning-Benchmark: A Benchmark for Evaluating Clinical Reasoning Capabilities in ECG Interpretation
-
针对现有多模态大模型(MLLM)在心电图诊断中依赖文本表层关联与幻觉模式匹配的问题,本文提出了包含 6,400 余个多轮样本、覆盖 17 种核心心电诊断的基准评测框架 ECG-Reasoning-Benchmark,通过自动化流水线构建可追溯真实信号证据的 ground-truth,揭示出当前主流模型在全链条临床演绎中近乎归零(<6%)的严重推理缺陷。
- Efficient Reasoning via Constrained Optimization in Latent Space
-
本文提出一种免训练的隐空间约束优化方法,通过将推理步骤在隐空间投影到高效推理凸多面体区域内,抑制模型冗余犹豫与自我重复,在数学、代码与科学推理多基准上大幅削减 11.8%~52.8% Token 并提升推理准确率。
- Efficiently Representing Algorithms with Chain-of-Thought Transformers
-
证明了思维链 (CoT) Transformer 无需承受图灵机模拟带来的二次计算膨胀,能够以多对数级(Polylogarithmic)极低开销直接高效模拟 Word RAM 教科书级算法。
- Entropy-Gated Latent Recursion
-
本文提出无需训练的熵门控隐空间递归(EGLR),通过在不确定性极高的 token 处复用顶层解码器层进行局部自适应递归,开辟了与温度随机采样正交且互补的确定性采样轴 \(L\),构建了 \(L \times T\) 笛卡尔采样空间,显著推高了推理时推理能力的上限。
- ExComm: Exploration-Stage Communication for Error-Resilient Agentic Test-Time Scaling
-
针对长程智能体测试时缩放中中间事实错误容易向后传播污染后续推理的瓶颈,ExComm 提出在探索阶段通过跨智能体事实冲突在线检测与工具增强验证回路进行定向软更新纠错,并结合轨迹多样化重定向,显著提升了复杂工具推理任务的准确率与纠错恢复率。
- ExpLang: Improved Exploration and Exploitation in LLM Reasoning with On-Policy Thinking Language Selection
-
ExpLang 提出了一种端到端 LLM 强化学习后训练流程,通过监督冷启动与在线策略(On-Policy)思考语言选择,在探索阶段引入小众语言扩充动作空间并在利用阶段收敛至高效语言,在相同训练预算下显著优于纯英文强化学习。
- Externalized CPDAG Summaries Improve LLM Causal Deduction
-
Structured Thinking 先让同一个大语言模型生成受格式约束的 CPDAG 摘要,再依据该图判断因果命题是否在所有相容 DAG 中成立,在 Corr2Cause 上将 Qwen3.5-27B 主种子 F1(YES) 从 73.01 提升到 86.36,但结构合法性和全等价类推理仍没有形式化保证。
- Extracting Search Trees from LLM Reasoning Traces Reveals Myopic Planning
-
通过从四子棋博弈的大模型思维链中提取显式搜索树并结合认知计算模型与因果剪枝干预,发现大模型决策由候选动作的即时广度而非深层前瞻驱动,揭示出其表面深入搜索而实质近视规划(Myopic Planning)的决策机制。
- Facts Don’t Speak Louder than Words: The Behavioral Essence of Long-CoT Distillation
-
本文颠覆了长思维链(Long-CoT)蒸馏必须依赖无误事实与广泛题库的传统认知,提出长思维链蒸馏的核心在于结构化推理行为对齐而非事实知识记忆,并揭示了不同推理复杂度与训练损失函数之间的关键交互机制。
- Foresight-over-Graph: Reasoning Beyond Local Horizons for Knowledge Base Question Answering
-
针对现有大模型引导图推理因逐跳贪心剪枝忽视远端线索而频繁误删关键路径的痛点,FoG 提出了结合远到近消息反馈的前瞻子图扩展与持久记忆子图管理机制,在显著降低模型调用与 Token 开销的同时大幅提升多跳知识库问答精度。
- Formal Conjectures: An Open and Evolving Benchmark for Verified Discovery in Mathematics
-
本文提出基于 Lean 4 与 Mathlib 的开源演进式形式化数学基准 Formal Conjectures,包含 2615 个数学命题(1029 个未决科研猜想与 836 个已解题目),通过解耦答案发现与证明验证的
answer(sorry)机制和形式化错误审校流水线,为评估大模型与定理证明器的真实数学发现能力提供了零污染检验基准。 - From Noise to Diversity: Random Embedding Injection in LLM Reasoning
-
本文提出完全免训练的随机软提示(Random Soft Prompts, RSP),通过向输入追加拟合预训练嵌入均值与方差的各向同性高斯随机向量,在解码初期借助注意力扰动促使推理轨迹充分分支,并利用 KV 缓存增长自然衰减注意力影响,从而以零训练成本大幅提升 Pass@N 多样性并促进强化学习探索。
- FunctionEvolve: Structure-Guided Symbolic Regression with LLMs
-
针对大语言模型驱动符号回归缺乏显式语法约束与参数拟合不稳定的问题,FunctionEvolve 构建以抽象语法树为核心的进化框架,联合 AST 规则编辑、大模型局部提议与变量投影结构感知优化,在 LLM-SRBench 合成基准上取得 82.9% 的 SA@50 和 55.8% 的 SA@1 突破。
- Geometric Latent Reasoning Induces Shorter Generations in LLMs
-
本文提出几何隐式推理(GLR),将隐空间推理建模为词元嵌入空间内的连续路径逼近问题,利用轻量级转移头预测局部方向更新替代前期冗余离散词元,在无显式长度惩罚的情况下自发诱导生成更短的推理步骤并保持高准确率。
- Geometric Signatures of Reasoning: A Spectral Perspective on Task Hardness
-
本文将大语言模型的思维链(CoT)推理表征为隐状态空间中的离散几何轨迹,证明平坦的协方差特征谱诱导更高的有效维度以表征更复杂的推理任务,并证实仅凭前 20% 生成标记的运动学特征即可高精度前瞻预测解题正确性。
- Hide to Guide: Learning via Semantic Masking
-
针对带可验证奖励强化学习(RLVR)中专家轨迹容易泄露答案引发奖励作弊的问题,提出语义掩码专家策略优化(SMEPO),通过遮蔽关键路径上的答案相关语义跨度同时保留程序性支架,将从头推理转变为完形填空式引导,在数学、代码与搜索任务上显著超越 GRPO 并提速高达 4.2 倍。
- Hint Tuning: Less Data Makes Better Reasoners
-
本文提出 Hint Tuning,利用同系列 Instruct 模型的求解边界作为认知难度探针,自动测定解题所需的最小有效提示长度,仅凭 1K 自标注数据即在保持甚至提升数学与跨域推理精度的同时实现 24%–66% 的 token 生成缩减。
- Hypothesis Generation and Updating in Large Language Models
-
本文基于经典数感博弈(number game)实验,通过后验预测、假设评估与假设生成三种互补探针,揭示大语言模型在少样本假设生成与更新中具备类似贝叶斯的更新形态,但存在强烈的强抽样强加紧致偏置、评估与生成的系统性割裂,以及无法泛化至未观测值域的结构性缺陷。
- Illusory Pattern Perception Drives Spurious Inference in Large Language Models
-
本文首次系统探究了大语言模型中的“虚假模式感知”(在随机或无关数据中强行寻找规律)现象,通过心理学实验范式证实大模型比人类表现出更强的虚假关联与因果强加倾向,并基于稀疏自编码器揭示了整体频次感知与分析性认知取向的表征机制。
- Inside the Loop: A Mechanistic Study of Weight-Tied Transformers on Depth-Bound Algorithmic Tasks
-
本文通过具有明确中间真实状态的有向置换遍历任务(dePo),在等效深度匹配下对比循环与展开Transformer,揭示权重绑定使模型自发形成随迭代预算动态分配步长的“阶梯式”内部算法执行轨迹,并通过探测与激活修补证明该状态具有因果有效性。
- KV-PRM: Efficient Process Reward Modeling via KV-Cache Transfer for Multi-Agent Test-Time Scaling
-
KV-PRM 抛弃传统 PRM 对推理轨迹文本的二次全量重编码,直接复用多智能体生成阶段留存的 KV Cache 并输入单 token 验证头,将打分计算复杂度从 \(\mathcal{O}(dL^2)\) 骤降至 \(\mathcal{O}(dL)\),在取得相当或更优准确率的同时实现高达 37 倍延迟加速与 34 倍显存节省。
- Lattice Deduction Transformers
-
本文提出格演绎Transformer(Lattice Deduction Transformer, LDT),将循环Transformer隐状态在各次前向间显式投影到抽象解释格结构中执行保真候选消除与冲突检测,并结合Alpha解空间抽象算子与在线策略搜索,在Sudoku-Extreme与Snowflake Sudoku上以极低训练成本达成100%准确率与经验保真性。
- Learning Robust Reasoning through Guided Adversarial Self-Play
-
提出 GASP(引导式对抗自博弈)框架,通过单模型扮演污染者与推理智能体进行对抗博弈,结合基于自身分布内修复片段的轻量模仿引导,仅凭最终结果可验证奖励即可让模型学会诊断错误并自适应修复,显著提升推理鲁棒性并抑制表征漂移。
- Listwise Policy Optimization: Group-based RLVR as Target-Projection on the LLM Response Simplex
-
揭示主流基于组采样的 RLVR 算法本质上是在响应单纯形上隐式构建奖励加权目标分布并通过一阶逆向 KL 近似进行投影,提出列表策略优化(LPO)显式解耦目标构建与单调改进的发散度精确投影,在逻辑、数学、代码和多模态推理上显著提升训练稳定性和多样性。
- LLMs Improving LLMs: Agentic Discovery for Test-Time Scaling
-
提出 AutoTTS 环境驱动发现框架,将测试时扩展策略设计转化为离线重放环境中的代码控制器合成问题,利用参数单标量化与细粒度执行轨迹反馈,以极低成本自动发现优于强人工设计策略的推理计算分配算法。
- Measuring Weak-to-Strong Legibility of Reasoning Models
-
本文针对强化学习推理模型(RLM)思维链在多智能体协同与弱模型监控中的可理解性问题,提出弱到强“迁移效用”评测框架,揭示出现有高准确率与高效率模型在弱模型迁移易读性上的显著倒挂。
- Memorize Theorems, Not Instances: Probing SFT Generalization through Mathematical Reasoning
-
针对监督微调(SFT)损害推理泛化的根本症结,本文指出失败源于模型记住了问题实例的表面虚假关联而非记忆机制本身,进而提出将监督重构为结构化规则调用的 Theorem-SFT,使 LLaMA-3.2-3B 在 MATH-500 上提升 8.8%,且证明仅更新 MLP 即可达到全量微调性能。
- MILES: Modular Instruction Memory with Learnable Selection for Self-Improving LLM Reasoning
-
针对测试时序列问题间经验复用与步骤级指导选择缺乏正确性优化的难题,MILES 构建了非对称的“子目标嵌入-子指令文本”模块化记忆,利用置信样本的 MCTS 轨迹以一对其余交叉熵训练轻量选择头,并在不确定样本上通过粗到细两阶段检索与树搜索引导推理,无需更新 LLM 参数即可实现持续自提升。
- MindLoom: Composing Thought Modes for Frontier-Level Reasoning Data Synthesis
-
将复杂推理题目的难度解构为原子知识-推理变换(思维范式 Thought Mode),提出通过逆向工程抽取思维链、嵌入检索导向与分布对齐采样驱动的组合合成框架 MindLoom,在 9 个 STEM 与高难度数学基准上全面超越基准模型、轨迹蒸馏与开源精选数据。
- Natural Synthesis: Outperforming Reactive Synthesis Tools with Large Reasoning Models
-
本文提出神经符号化反应式合成框架 Natural Synthesis,将大推理模型与符号模型检测器紧密耦合,利用反例反馈迭代修复高层 Verilog 硬件电路,在 SYNTCOMP 基准上实现 92% 的求解率并超越专用符号工具,同时将能力扩展至不可判定的参数化合成与自然语言端到端规范合成。
- Nemotron-Cascade: Scaling Cascaded Reinforcement Learning for General-Purpose Reasoning Models
-
本文提出面向通用推理模型的域级级联强化学习范式(Cascade RL),通过解耦混合多域提示并按序执行人类偏好对齐、指令遵循、数学推理、竞赛代码及软件工程修复强化学习,成功使 8B 统一模型和 14B 深度思考模型在全栈推理基准上超越 DeepSeek-R1-0528 教师模型。
- On the Overscaling Curse of Parallel Thinking: System Efficacy Contradicts Sample Efficiency
-
本文首次揭示并形式化了并行思考中的“过度扩展诅咒”(Overscaling Curse)——全局最优预算被少数难题拉高导致大部分样本的预算利用率不足50%,并提出了基于隐空间预测样本最优预算的轻量级预测器LanBo及解码前预算自适应范式PreAda,在保持系统精度的同时实现超过50%的延迟与显存削减。
- On the Token Value Inequality in Efficient Reasoning
-
揭示思维链推理中 token 价值严重非均匀分布的“Token Value Inequality”现象,提出仅依赖模型自身推理对数概率的归一化诊断指标 TokenProbe,并在 GRPO 中构建选择性 KL 锚定与奖励塑形,在保持甚至提升推理精度的同时将 token 消耗压缩高达 76%。
- One-Layer Transformers Provably Learn In-Context K-Nearest Neighbor Prediction with Chain-of-Thought
-
本文证明了单层 Transformer 在无 CoT 下无法完成奇数 \(K>1\) 的上下文 \(K\) 近邻预测,而引入 CoT 能通过注意力惩罚与掩蔽机制完美求解,且梯度下降在单步监督下可确界收敛至该构造。
- OS-Pruner: Pruning Chains-of-Thought of Reasoning Models via Optimal Stopping
-
针对推理大模型思维链中的“计算过思考”(overthinking)问题,OS-Pruner 提出一种轻量即插即用策略框架,将长链剪枝严格形式化为最优停止(Optimal Stopping)序贯决策问题,在完全冻结基座推理模型的前提下通过单标量参数显式权衡准确率与生成长度,实现 20%~60% 的推理长度缩减且几乎不牺牲准确率。
- Outcome-Based RL Provably Leads Transformers to Reason, but Only With the Right Data
-
通过理论证明与跨模型实验揭示:基于稀疏最终答案奖励的强化学习仅在训练分布包含足够简单样本时,才能驱动 Transformer 学会逐步迭代的思维链推理并实现外推泛化,否则策略梯度学习将在指数时间内停滞。
- Parameter Exploration for RLVR via Variational Learning
-
本文提出面向可验证奖励强化学习(RLVR)的扰动参数策略优化(3PO)算法族,利用变分学习从参数后验分布中自适应采样带噪模型生成轨迹,打破动作空间探索受限于相对排序不变的瓶颈,显著缓解 GRPO 的零优势组困境并提升数学与代码推理性能。
- PORTool: Importance-Aware Policy Optimization with Rewarded Tree for Multi-Tool-Integrated Reasoning
-
针对多工具推理中仅依赖结果奖励导致的信用分配模糊与必要步骤被误惩罚问题,本文提出 PORTool,通过构建前缀共享的带奖励生成树与正确性主导的自适应步级重要性聚合,结合叉点相对与轨迹相对双重优势加权,在提升多步推理准确率的同时显著减少工具调用步数。
- Power Distribution Bridges Sampling, Self-Reward RL, and Self-Distillation
-
揭示幂分布是幂采样目标、自奖励 KL 正则化强化学习闭式最优解及离线自蒸馏教师分布的三者统一桥梁,提出将高代价推理采样摊销为离线监督微调的幂自蒸馏方法。
- Predicting and Improving Test-Time Scaling Laws via Reward Tail Guided Search
-
本文提出基于截断高斯拟合奖励分布上尾部以精确外推超大采样量期望表现的方法,并构建了仅需两阶段交互即可动态分配探索与深挖预算的缩放定律引导搜索算法(SLG),在数学推理任务上以更少计算量达到甚至超越大样本 Best-of-N 的性能。
- Probing the Trajectories of Reasoning Traces in Large Language Models
-
提出一种按分位数截断并回注推理前缀的轨迹探针协议,证实长思维链的精度增益主要源于题目特异性的语义内容而非推理长度或风格外壳,并揭示了模型深层推理中的决策固着与置信度校准失效。
- Provable Test-Time Scaling for Beam Search in LLM Reasoning
-
针对大语言模型长链推理中序列级采样方法测试时计算预算随长度指数爆炸的问题,本文首次建立了束搜索的测试时计算理论保证,揭示了朴素束搜索面临的二次方覆盖度样本下界,并提出了置信度过滤束搜索(CF-Beam),证明其将搜索失误导致的样本复杂度从二次方优化为近线性依赖,且主导项随推理步长仅多项式增长。
- Provable Test-Time Scaling for Beam Search in LLM Reasoning
-
本文在只能采样下一 token、不能读取完整 logits 的设定下,用低频 token 过滤改进束搜索,并在前缀似然与正确性对齐的条件下,将搜索所需样本对最难一步覆盖系数的依赖从最坏情形二次降至近线性;真实 LLM 矩阵乘法实验的准确率由 37.2% 提升至 38.8%。
- Quantifying the Stability of Multi-Step Reasoning via Error Amplification
-
本文从理论上证明了自回归多步推理的累积推断误差受输入空间雅可比矩阵谱范数乘积(误差放大因子)的指数级主导,并提出结合思维链长度压缩与量化感知训练的正则化优化算法,显著提升经典图算法与符号状态追踪任务的泛化性能与推理稳定性。
- Rationale-Guided Policy Optimization: Learning to Reason with Adaptive Rationale Scaffolding
-
针对可验证奖励强化学习(RLVR)在困难推理任务中面临的严重奖励稀疏与容量瓶颈,本文提出自适应脚手架指导的策略优化框架(RGPO),将参考推理过程仅作为模型在线自我修订的临时脚手架,并通过奖励门控仅将超越无提示表现的模型自生成高质量解回填蒸馏到原始无提示分布中,大幅提升语言与视觉语言模型的推理能力与样本效率。
- Reasoning-Trace Collapse: Evaluating the Loss of Explicit Reasoning During Fine-Tuning
-
针对显式推理模型在无推理轨迹的标准指令微调中退化为仅输出最终答案的结构性失效现象,本文形式化了“推理轨迹坍缩”(Reasoning-Trace Collapse),提出了将结构有效性与答案正确性解耦的评估框架 ThinkPack,并证明轻量级损失掩码策略可在无需教师蒸馏的情况下有效保留推理行为。
- Reasoning-Trace Collapse: Evaluating the Loss of Explicit Reasoning During Fine-Tuning
-
本文把“答得对”与“仍会输出完整显式推理”分开评测,发现无推理轨迹的常规微调可让模型在 Chemistry 上准确率提高而有效推理率降至零附近,并用推理区域损失掩码缓解这一结构性退化,但效果依赖模型与任务。
- Reasoning with Sampling: Cutting at Decision Points
-
针对基础语言模型无须后训练即可通过幂分布采样激发推理能力但现有 MCMC 采样混合极慢的难题,本文提出了决策点熵跃变 Metropolis–Hastings 采样算法(Entropy-Cut MH),利用下一个 token 的正向熵跃变自适应定位关键决策分叉并重采后缀,从理论上将马尔可夫链混合时间由依赖全文 token 长度的 \(\mathcal{O}(T)\) 降至仅依赖语义决策深度的 \(\mathcal{O}(k)\),在数学、代码与科学推理基准上全面超越现有采样基线与等预算 Best-of-N。
- Reliable Chain-of-Thought via Prefix Consistency
-
本文提出前缀一致性(Prefix Consistency)作为测试时推理可靠性信号,通过截断思维链并在前缀后重新生成继续段,利用正确轨迹复现率显著高于错误轨迹的不对称性为候选答案加权,在无需 token 对数概率的前提下大幅降低多数投票的计算开销。
- ReST-RL: Reinforcing LLM Reasoning through Unified Self-Training and Value-Guided Search
-
ReST-RL 提出了一个统一的策略-价值强化自训练框架,通过 ReST-GRPO 利用高奖励前缀局部重启重塑策略轨迹分布以克服组相对优势稀疏信号问题,并串联基于自收集 MCTS 目标训练的行级价值模型 VM-MCTS 实现高效测试期搜索与验证。
- Rewarding Novel Deductions: Solver-guided Process Supervision for Logical Reasoning
-
本文提出基于 SMT 求解器过程监督的强化学习框架 Spring,通过验证中间推理步的形式化有效性、状态一致性与非冗余新颖性来发放密集过程奖励并惩罚矛盾,在 ZebraLogic、AR-LSAT 与 Knights and Knaves 上显著超越纯结果奖励和符号基线。
- SAGE: Mitigating Long-Horizon Reasoning Biases via Topological Guidance
-
针对大语言模型长程推理在稀疏奖励下易陷入局部合理分支与误差累积的痛点,本文提出 SAGE 框架,通过代数稀疏化与双曲几何引导注入结构先验,在零推理开销下大幅提升长程符号与数学推理能力。
- SAGE: Mitigating Long-Horizon Reasoning Biases via Topological Guidance
-
SAGE 在后训练中用“操作是否对应未解决约束”和“新状态是否接近目标结构”两类软势函数同时引导候选采样与奖励,在保留普通推理时解码的前提下改善长程推理;Qwen3.5-35B 的数学平均准确率由 GRPO 的 61.92% 提升至 64.86%。
- SARL: Label-Free Reinforcement Learning by Rewarding Reasoning Topology
-
提出结构感知强化学习(SARL),通过将思维链切分为潜在推理功能并构建推理拓扑图,以小世界聚类系数与平均最短路径长度作为内生结构奖励,在无需真实标签或偏好标注的条件下显著提升数学与开放域推理能力。
- Seirênes: Adversarial Self-Play with Evolving Distractions for LLM Reasoning
-
Seirênes 提出了参数共享的对抗自博弈强化学习框架,让单个模型同时演化为生成具有欺骗性提示的“对抗者”与克服干扰恢复核心逻辑的“推理者”,将上下文脆弱性转化为动态自适应训练信号,显著提升大语言模型的独立数学推理与鲁棒推理能力。
- SFT-then-RL Outperforms Mixed-Policy Methods for LLM Reasoning
-
揭示了近年多篇 LLM 推理混合策略优化论文因底层分布式训练框架(DeepSpeed 优化器 CPU 卸载与 OpenRLHF 损失聚合)的隐式 Bug 导致 SFT 基线大幅虚低,证明经正确修复后的经典两阶段 SFT-then-RL 在数学推理任务上全面碾压所有现有混合策略方法,且仅需 50 步 RL 即可实现更高性能与更少算力消耗。
- Smart Picks in the Dark: Towards Efficient RLVR for Reasoning via Tracing Metacognitive Pivots
-
针对无外部真实答案场景下的 RLVR 数据筛选难题,本文提出 PivotTrace 框架,通过捕捉长思维链注意力动态中的“元认知枢纽”(metacognitive pivots)精确量化推理不确定性,并利用微型探测集自适应标定阈值实现三路数据分流,仅用 29.3% 的标注量和 2.75 倍收敛速度即超越全监督强化学习效果。
- Soft Token Alignment for Cross-Lingual Reasoning
-
针对多语言大模型在晚期离散解码时因词表差异导致语义分歧的问题,提出在监督微调阶段以英文为锚点、对齐推理轨迹序列均值软标记的辅助目标 SOLAR,显著提升跨语言推理准确率与跨语言一致性。
- SR-GRPO: Stable Rank as an Intrinsic Geometric Reward for Large Language Model Alignment
-
本文提出将大模型最终隐藏层的稳定秩(Stable Rank)作为表征有效维度的无监督几何内在奖励,构建无须外部标注或验证器的 SR-GRPO 算法,在零标注成本下显著提升数学与推理对齐能力。
- State of Thought Enables Endogenous Reasoning
-
提出思想状态(State of Thought, SoT)推理范式,通过从冻结大模型内部信息传递中提取 4 维动态-几何内生状态,并利用仅 582 参数的轻量控制器动态稀疏激活历史证据与自适应控制停机,将推理转化为内生状态驱动的闭环过程。
- Step-by-Step Optimization-like Reasoning in LLMs over Expanding Search Spaces
-
提出 OPT* 约束优化可验证任务范式,解耦复杂度缩放与标注成本,并结合在线解算器引导策略优化(νPO)与离线结构感知搜索(νMCTS/νBeamSearch),显著提升大模型在指数级扩张搜索空间下的逐步优化推理与泛化能力。
- Structured Sparse Memory for Recurrent Reasoning
-
CoSE 用因子化 FiLM 条件分支与 rank-32 实例残差替代庞大任务表,在受控 ARC 实验中将任务记忆参数缩至约 1/15 并提高 pass@2;结合合成数据、循环计算和延长训练的 CHARM 系统达到 ARC-AGI-1 / 2 公共评测 84.0% / 46.7%,不能把这一系统成绩全部归因于 CoSE。
- TALES: Text Adventure Learning Environment Suite
-
提出了统一 5 个主流文本冒险环境、涵盖 122 款游戏的评测基准 TALES,并在最小脚手架设定下全面评估了 34 个主流 LLM 的空间、演绎、归纳与具身接地复合推理能力。
- Test-Time Compute Games
-
本文将大模型即服务(LLM-as-a-service)市场中服务商对测试时计算(TTC)的策略性配置形式化为正规型博弈,证明了基于 token 计费的现有市场必定收敛到牺牲社会福利的纯策略纳什均衡(无序代价 PoA 高达 1.19),并设计了一种基于质量与报价的多属性次高价逆向拍卖机制,从理论与经验上严格恢复社会福利最优。
- Test Time Scaling with Diffusion Language Models via Reward Guided Stitching
-
针对传统测试时搜索在整条轨迹级聚合导致的局部有效计算浪费与高昂串行延迟,本文提出奖励引导缝合框架,利用掩码扩散语言模型低成本并行采样多样化思维链,借助 PRM 进行步骤级细粒度打分与跨轨迹置信度拼接,最后引导轻量自回归求解器快速重算最终答案,在显著降低前向传播次数的同时超越传统扩散与自回归基线。
- The Era of Agentic Organization: Learning to Organize with Language Models
-
本文提出智能体组织新范式与异步思考机制(AsyncThink),通过将组织者与执行者的 Fork-Join 动作融入纯文本自回归解码,并结合格式预热微调与奖励并发度的 GRPO 强化学习,实现了比并行思考降低 28% 推理延迟且精度更高的协同推理能力。
- The Master Key Hypothesis: Unlocking Cross-Model Capability Transfer via Linear Subspace Alignment
-
提出了“万能钥匙假说”(Master Key Hypothesis)与免训练、无标签的 Unlock 框架,通过对比源模型隐层激活提取能力向量,并利用低秩线性子空间对齐算子跨模型尺寸迁移,在零额外微调下使目标基座模型的数学与思维链推理性能匹敌甚至超越后训练模型。
- Thinking Inertia: LLMs Keep Thinking When Told Not To
-
本文将大模型的“不思考”(No-thinking)解构为可观测的回答级行为,提出了由空思考率、问题-前置文本相关性与显式推理率组成的三层评测框架,系统揭示了模型即便在严格指令或禁用思考模式下仍顽固残留显式推理的“思考惯性”现象及其对答案空间的强烈依赖。
- ThinkSafe: Self-Generated Safety Alignment for Reasoning Models
-
ThinkSafe 揭示了外部教师蒸馏导致的不可约 KL 分布偏移是损伤大推理模型(LRMs)原生推理能力的根源,提出通过前置轻量拒绝引导指令激发模型内部潜在的安全知识并完成自生成采样,在严格保持自身最优安全 KL 投影的同时大幅提升采纳率,以远低于在线强化学习的离线计算成本实现了安全鲁棒性与推理能力的帕累托双赢。
- TTCS: Test-Time Curriculum Synthesis for Self-Evolving
-
针对测试时强化学习面临的伪标签不可靠与缺乏可学习样本两大痛点,TTCS 提出题目合成器与推理求解器协同进化的测试时训练框架,通过动态构建能力对齐的渐进变体课程,实现了无标注环境下的稳健自主进化。
- TTCS: Test-Time Curriculum Synthesis for Self-Evolving
-
TTCS 提出了一种基于测试时课程合成的自演进框架,通过让同源初始化的合成器与求解器在双重 GRPO 循环中协同演进,利用能力边界驱动的奖励动态合成可解变体,将测试时无标签伪标签噪声转化为稳定的自监督课程。
- Verifier-Backed Hard Problem Generation for Mathematical Reasoning
-
提出三方自博弈框架 VHG,在出题者与解题者博弈中引入独立验证器,将题目有效性与解题难度解耦,防止奖励破解并生成高质量高难度的数学训练题与测试集。
- What are Key Factors for Updates in RL for LLM Reasoning?
-
揭示了可验证奖励强化学习(RLVR)中离线策略程度(每轮 rollout 更新步数)通过重要性采样比方差引发的“梯度主导反转”机制,并提出依据概率分桶方差动态调整截断区间的 ACPO 算法,显著提升数学与逻辑推理性能及跨体制稳定性。
- What should post-training optimize? A test-time scaling law perspective
-
针对后训练单样本均值奖励与部署端 Best-of-N 极值采样之间的目标不匹配以及采样预算不对称难题,提出基于高斯尾部统计外推的尾部外推优势估计器(TEA)及去偏版本 Prefix-TEA,仅用少量训练采样即可精准优化大预算推理性能。
- When Form Changes but Logic Doesn’t: Building Logic-invariant LLMs through Logical Structure
-
针对大语言模型在等价逻辑表述下预测剧烈翻转且难以泛化到未见逻辑形式的痛点,本文提出了逻辑结构引导推理框架 LoGIST,通过将推理问题转化为规范化二分决策图(ROBDD)并利用对比图编码与门控交叉注意力引导解码,在多类训练范式下将逻辑不一致率降低近半并显著提升分布外逻辑泛化性能。
- When Form Changes but Logic Doesn't: Building Logic-invariant LLMs through Logical Structure
-
针对现有大语言模型对表层表达变化敏感、缺乏逻辑不变性的缺陷,本文提出 LoGIST 框架,将输入命题映射为化简有序二叉决策图(ROBDD),通过对比学习预训练图编码器并在 LLM 解码层中进行门控跨注意力融合,显著降低逻辑不一致率并提升对未见逻辑形式的泛化能力。
- When Reasoning Meets Its Laws
-
提出了大模型推理定律(LoRe)理论框架,形式化了推理计算量随问题复杂度线性增长与准确率指数衰减的核心规律,并通过单调性与可组合性双重性质构建了评测基准 LoRe-Bench,提出基于组合计算量约束的 SFT-Compo 微调方法显著提升了大模型的通用推理能力。
- Why Deterministic PRM Guidance Underperforms in Discrete Diffusion Reasoning
-
这篇诊断研究把扩散生成和奖励评分统一计入推理预算,发现 Dream-7B 的确定性 top-1 PRM 引导不如独立采样加任务匹配 ORM,并通过候选池、终局评分和读出消融拆出失败发生的位置。
- Why Struggle with Continuous Latents? Interpretable Discrete Latent Reasoning via Rendered Compression
-
针对连续隐空间推理难以对齐监督、动态漂移及不可解释的问题,本文提出离散潜变量推理(DLR),通过渲染CoT与随机向量量化构建离散码本,使大模型能在统一词表下以自回归预测生成可解释且支持过程奖励的紧凑隐式推理序列。
- World Action Verifier: Self-Improving World Models via Forward-Inverse Asymmetry
-
针对世界模型在稀缺带动作数据下泛化差与动作执行幻觉问题,本文提出基于前向-逆向不对称性的世界动作验证器(WAV),通过海量无动作视频子目标生成与稀疏逆向动力学闭环,实现无需昂贵人工交互的高效自我改进。