💡 LLM Reasoning¶
💬 EMNLP2026 · 110 篇论文解读
📌 同领域跨会议浏览: 🧠 NeurIPS2026 (111) · 📷 CVPR2026 (16) · 🔬 ICLR2026 (241) · 💬 ACL2026 (82) · 🧪 ICML2026 (78) · 🤖 AAAI2026 (37)
🔥 高频主题: 推理 ×42 · LLM ×25 · 强化学习 ×5 · 对抗鲁棒 ×5 · Agent ×4
- A retrieval conditioned rebinding circuit for dynamic entity tracking in large language models
-
本文通过因果中介分析与注意力路径打补丁,揭示了大语言模型在动态实体追踪中并不在状态变化时重建全局情境模型,而是依赖仅占 3.9%–10.8% 头的「检索条件重绑定回路」,在最终提问时通过解引用头与指针机制将实体绑定标识符重定向至原始上下文,且在 Gemma(Q/K 几何对称匹配)与 Llama(键向量主导)间呈现显著的家族表征分异。
- CoreMem: Riemannian Retrieval and Fisher-Guided Distillation for Long-Term Memory in Dialogue Agents
-
针对端侧设备有限显存算力与云端 API 线性成本的双重瓶颈,CoreMem 基于统一的信息几何理论,提出带 Woodbury 加速的 Fisher-Rao 黎曼度量检索与带语法保护的 Fisher 引导离散 Token 蒸馏,在严格 8 GB VRAM 预算下大幅提升开放域与时序推理准确率。
- ShapleyLaw: A Game-Theoretic Approach to Multilingual Scaling Laws
-
本文提出首个基于合作博弈论的多语言缩放法则 ShapleyLaw,通过将每种语言建模为博弈参与者并利用 In-Run Data Shapley 高效量化跨语种知识迁移,构建细粒度聚合迁移变量,实现了任意语种级预训练数据配比与模型损失的精准预测和最优混合比求解。
- Beyond Text Following: Repairable Arbitration Reversals in Audio-Language Models
-
本文揭示音频语言模型在音文冲突下的失误并非感知盲区而是决策仲裁逆转,通过将答案位置残差流修复方向映射到输出候选打分差,提出免训练门控反事实校准策略GACL,在严格忠实度预算下大幅恢复音频正确答案。
- LEXPATH: A Domain-Oriented Multi-Path Framework for Legal Article Retrieval
-
针对通用检索在法律法条检索中难以区分字面相似与法律效力适用差异的问题,提出领域导向的多路框架 LEXPATH,通过 IRAC 法律推理扩展稀疏路、法律位阶与引用图驱动稠密路硬负例对比学习,并结合五类法律意图一致性重排,在多场景基准上实现大幅性能提升。
- DeepSearch-World: Self-Distillation for Deep Search Agents in a Verifiable Environment
-
本文提出面向深度搜索智能体的确定性可验证离线环境 DeepSearch-World 及自蒸馏框架 DeepSearch-Evolve,通过支架教师轨迹生成、实体级过程验证与反思重写,使开源 9B 模型无需闭源强模型蒸馏即可习得长程规划、记忆追踪与故障自愈能力。
- Understanding the Effects of Distractors on Reasoning Vision-Language Models
-
本文系统构建了包含 27.7 万张图像的多模态干扰项评测基准 Idis,首次揭示视觉干扰项通过降低准确率向下平移长–准曲线而不增加思考长度,与文本干扰项引发思考变长并加剧逆缩放形成鲜明对比,并证明干扰属性占比而非思考长度直接主导了模型崩塌。
- Predict, Don’t Iterate: Efficient Adaptive-Length Infilling for Diffusion Language Models
-
针对扩散语言模型在文本/代码填充时预设掩码长度敏感且迭代搜索开销巨大的缺陷,提出冻结骨干的 PILL 框架,通过单次前向探测直接预测目标长度、多槽并行解码生成局部候选并在单次评分中完成事后选择,仅增加 2 次前向传播即超越最强基线并提速 1.82 倍。
- StepGuard: Learning Step-Level Guardrails with Scalable Supervision and Safety–Utility Balancing
-
针对大语言模型智能体执行工具时的安全漏洞与防御偏差,StepGuard 提出了前缀对齐的对比数据引擎 StepGen 与自适应平衡策略 Balance-GRPO,构建了具备动作前拦截与轨迹级审计能力的 4B 步骤级护栏模型,在降低 77.3% 攻击成功率的同时仅损失 2.8 点任务效用。
- ANI: Adaptive Numerical Injection for Unifying Semantic and Arithmetic Representations in Numerical Reasoning
-
ANI 提出了一种即插即用的自适应数值注入框架,利用线性探针在 LLM 浅中层上下文成熟度最高处定位注入层,通过门控网络区分纯文本标称实体与可计算数值操作数,在末位子词稀疏残差注入傅里叶数值拓扑,大幅提升数学运算精度同时消除传统替换导致的语义漂移。
- OpenSkill: Open-World Self-Evolution for LLM Agents
-
针对真实开放世界中缺乏现成轨迹与验证监督的问题,OpenSkill 通过两路解耦检索分别抽取领域知识与确定性验证锚点,构建无目标任务监督的虚拟测试环境驱动技能迭代进化与故障归因重搜,使生成的技能文件能在不同闭源与开源模型间零样本迁移并刷新三项智能体基准的自动化通过率。
- InterPol: De-anonymizing LM Arena via Interpolated Preference Learning
-
本文提出基于模型插值与三元组偏好学习的去匿名化框架 INTERPOL,通过在微调复制模型与基座之间平滑插值合成难度可控的硬负例,训练目标专用的响应身份检测器,不仅在跨模型族与同族对比中大幅超越传统统计基线,更证实了攻击者可借助身份识别显著降低 Arena 竞技场操纵成本的严峻安全隐患。
- Adaptive Layer Selection for Low-Resource Cross-Lingual Transfer
-
基于 ICLR 2017–2025 共 28,358 篇投稿的完整 OpenReview 交互数据,本文建立了一个涵盖审稿分歧与调解、作者-审稿人互动日志、投稿策略与外部元数据、以及篇章结构语言特征的四维全流程分析框架,实证揭示了决定论文最终录用的关键过程性动态与最优交互窗口。
- SecOPD: Mitigating Adaptive Prompt Injections by On-Policy Distillation
-
本文提出基于在策略蒸馏的安全防御框架 SecOPD,利用无注入干净输入下的初始模型为学生模型在注入样本上的生成轨迹提供细粒度令牌级优势信号,从根本上化解了序列级强化反馈对混合响应信度分配模糊的难题,使 Qwen3.6-27B 面对最强自适应攻击 PISmith 时的攻击成功率由前序 SOTA 的 94.0% 骤降至 9.0%,并完整保留通用推理效用。
- Lung-R1: A Knowledge Graph-Guided LLM for Pulmonary Diagnostic Reasoning
-
针对大语言模型在医学领域中孤立记忆知识、无法贴合真实电子病历开展病理推导的“知识-诊断鸿沟”,本文构建了首个面向肺科诊断推理的结构化知识图谱 LungKG,并通过图谱约束思维链微调与图谱导向强化学习提出了 Lung-R1,显著提升了病历诊断的准确性与临床一致性。
- Identify, Classify, Act: Per-Instruction Controlled Compliance for LLMs over External Data
-
针对外部数据中合法指令与恶意提示注入交织导致的“过度拒绝”与“过度顺从”困境,本文形式化了“外部数据指令分类”(EDIC)任务,通过场景对齐的反事实数据合成构建正交对比样本,并利用两阶段生成式裁判模型提供细粒度解耦奖励,引导大模型在 CoT 推理中实现逐条指令的识别、分类与受控遵循。
- Beyond Outliers: A Data-Free Layer-wise Mixed-Precision Quantization Approach Driven by Numerical and Structural Dual-Sensitivity
-
针对传统免校准层级混合精度量化仅依赖单一数值异常统计且无视模块异质性的缺陷,本文提出了 NSDS 框架,通过机械可解释性将层内模块解构为探测器与写入器,从数值脆弱性与结构表达力双视角评估敏感度,并基于 MAD-Sigmoid 与 Soft-OR 实现鲁棒无校准比特分配。
- APEx: Distillation of Agent Procedural Experience for Adaptive Deep Research Question Answering
-
APEx 提出了分层经验利用框架与执行器-蒸馏器-规划器三阶段轮换 GRPO 训练范式,将多轮工具交互轨迹蒸馏为类别级程序性技能,并在测试期通过无真实标签奖励与技能对齐正则化驱动在线强化学习自演进。
- FlowMM: 基于跨模态信息流引导的高效多模态长上下文 KV Cache 合并
-
FlowMM 揭示了多模态大模型在深浅层中跨模态信息流的显著分化规律,提出由注意力交互强度自适应引导的分层合并与敏感度感知匹配机制,在无需微调的前提下将 KV Cache 显存削减 80% 至 95%、解码加速 1.3 至 1.8 倍,且在 InternVL2.5-8B 上平均精度仅损失 0.12%。
- Speaking While Listening: A Survey and Empirical Audit of Full-Duplex Spoken Dialogue Systems
-
本文针对全双工语音对话系统(FD-SDS)术语混乱与机理模糊的瓶颈,提出 L0–L3 架构层级、T×I×R 交互本体与五状态决策有限状态机三大统一框架,并通过统一基准独立实测与跨系统审计揭示了架构可行性与实际行为严重脱节的“实现差距”(Realization Gap)。
- ADORA: Training Reasoning Models with Dynamic Advantage Estimation on Reinforcement Learning
-
ADORA 提出在强化学习(如 GRPO)在线采样阶段,依据生成轨迹的长度优势与难度优势,将样本动态划分为暂态优势样本与劣势样本,并针对弱推理模型(VLM)实施降权衰减、强推理模型(LLM)实施增益放大,仅用 2k 训练样本即可显著加速收敛并激发模型深层反思推理能力。
- Agreement Is Not Truth: Characterizing and Controlling Consistent-but-Wrong Reasoning in LLMs
-
揭示大语言模型自一致性中“高一致性不等于正确性”的理论下界与跨任务结构,并提出结合验证器信号与 Learn-then-Test 有限样本校准的 RISC 框架,以低于全 API 多数投票近 9 倍的成本实现严格的推理风险控制。
- AR-Bench: Benchmarking Legal Reasoning with Judgment Prediction and Precedent Analysis
-
本文提出将法律AI从判决前的单向预测拓展至判决后的回溯性诊断任务(APPELLATE REVIEW),构建包含 8,700 份覆盖罪名、刑期与罚金错误的高质量基准 AR-BENCH,评测 16 个前沿大模型揭示其在被动分类已知错误尚可但在自主全局逻辑演绎与法定阶梯算术上面临系统性崩溃。
- Beyond Dense States: Sparse Transcoders as Causally Testable Operators for LLM Latent Reasoning
-
本文针对大模型隐空间推理中稠密连续表征不可解释、无法因果干预的黑盒瓶颈,提出 LSTR 框架,将稀疏转码器作为循环内的转移算子,通过线性跳转通路保持流形连续性并由 Top-k 稀疏创新通路注入有界的语义特征,在保持压缩推理精度的同时实现了特征级因果检验与推理容量动态调控。
- Beyond Input Understanding: Diagnosing Multilingual Mathematical Reasoning with Directed Acyclic Trace Graphs
-
论文揭示了多语言大模型数学推理性能暴跌并非仅源于非英文题目的「输入理解失败」,而是思维链在目标语言下的「推导执行崩溃」;为此提出了将解题轨迹映射为语言中立数学锚点与依赖边的有向无环轨迹图(DATG)诊断框架,并设计了结合循环早停与符号骨架的动态测试时思维监督控制机制。
- BORA-BUDGET: Learning When to Think Under a Token Budget
-
针对混合思考大模型全量开启思考消耗过大且易破坏正确答案的问题,本文提出了具有种子保护机制的预算自适应控制框架 BORA-BUDGET,通过种子状态特征预测边际收益与风险,并在触发思考后设立采纳门控,在显著削减推理 token 消耗的同时逼近统一思考的准确率。
- Bottom-up Policy Optimization: Your Language Model Policy Secretly Contains Internal Policies
-
本文通过 Transformer 残差流与反嵌入矩阵将大语言模型分解为内部层策略与模块策略,揭示了从早期高熵探索到顶层确定性收敛的认知机制差异,并提出自底向上策略优化(BuPO),在强化微调早期优先对齐关键边界层策略,以不到 0.5% 的诊断算力显著提升复杂数学推理性能。
- Branch Later, Compute Less, Think Better: Adaptive Depth Parallelism for Efficient Parallel Prefix-Tuning
-
本文提出自适应深度并行框架(ADP),利用 Transformer 层深的功能异质性在浅层共享单一特征提取主干,并在基于层间余弦相似度极小值确定的分叉层后动态展开多路并行前缀微调分支,仅用全栈并行 26.6%~39.4% 的计算开销便取得 100.39%~104.83% 的基准推理表现。
- Branch Later, Compute Less, Think Better: Adaptive Depth Parallelism for Efficient Parallel Prefix-Tuning
-
针对传统全栈模型内部并行化(如 ParScale)在浅层引发严重冗余计算的问题,本文基于 Transformer 浅层通用特征抽取与深层特定推理的功能异质性,提出自适应深度并行框架(ADP):在浅层共享单路径主干计算,通过预热阶段路径间余弦相似度的极小值点自适应确定分叉层,在保证理论收敛与误差有界的前提下仅在深层展开并行前缀分支,仅消耗 26.6%–39.4% 的计算量与 31.7%–47.5% 的显存即达到或超越全栈并行的生成性能。
- Bridging Text and Structure via Latent Query Refinement for Knowledge Graph Completion
-
针对现有知识图谱补全(KGC)在文本语义与拓扑结构融合中交互单向且静态割裂的问题,LQ-KGC 提出了一种基于受限候选空间的隐式查询提精框架,通过语言模型预测伪尾实体增广图模型拓扑聚合、图模型结构分布蒸馏指导语言模型的交替迭代优化,在 WN18RR 和 FB15k-237 上显著超越传统纯文本与纯图基线。
- Gendered Prompting and LLM Code Review: How Gender Cues in the Prompt Shape Code Quality and Evaluation
-
本文系统探究了提示词中的性别语言特征对代码生成质量与 LLM 自动化代码评审的影响,通过真实对话、受控用户实验和全自动模拟评测三重证据证实:提示词性别风格不影响代码功能正确性,但 LLM 作为代码评审员(LLM-as-a-Judge)时存在显著偏倚,在客观质量相当的情况下女性作者代码获得更高的批准率。
- Causal Tongue-Tie: LLMs Can Encode Causal Direction, But Their Yes/No Outputs Fail to Express
-
论文揭示了大语言模型在反常识因果问答中存在隐状态已精确编码因果方向(探针准确率 0.97–1.00)但最终 Yes/No 输出退化为常识先验(准确率 0.35–0.53)的“因果笨嘴(Causal Tongue-Tie)”现象,并通过方向擦除、激活修补与 2×2 接口控制实验精确定位故障源于非对比式判决接口。
- BiG-SURE: Bipartite Graph for Semantic Uncertainty and Reliability Estimation of LLMs
-
BiG-SURE 针对黑盒 LLM/VLM 不确定性估计,通过低采样温度生成语义基准锚点、高温度结合语义等价变换生成扰动探测点,构建自然语言推理加权的二分图并以归一化平方谱能量互补量化不确定性,在文本、多语言与多模态问答的选择性拒识任务上显著优于现有基线。
- CoDiQ: Test-Time Scaling for Controllable Difficult Question Generation
-
提出纵向测试时缩放框架 CoDiQ,通过结合六大认知脚手架策略、相对难度排序与值网络双重验证、以及突破点轨迹强化学习,实现了可控且保真度极高的竞赛级数学与编程难题合成。
- Compute Allocation in Evolutionary Search: From Depth–Breadth to Multi-Armed Bandits
-
本文首次系统探究了大语言模型演化搜索中的固定预算算力分配问题,揭示了有效 FLOPs 下模型能力排序坍缩与双线性深度-广度几何正则性,并提出基于多臂老虎机的跨轨迹自适应调度框架 BaSE,在不改动模型、Prompt与评估器的前提下使平均适应度提升 12.3%。
- Correct Prediction, Wrong Steps? Consensus Reasoning Knowledge Graph for Robust Chain-of-Thought Synthesis
-
针对大语言模型中普遍存在的“最终答案正确但中间推理步骤有误”的严峻问题,本文提出了无需额外监督训练的 CRAFT 框架,通过跨轨迹共识构建推理知识图谱(RKG)并利用拓扑序引导重写,同时滤除步骤内部逻辑错误与冗余/缺失等结构缺陷,大幅提纯思维链质量并显著提升复杂推理准确率。
- CROG: Coverage-aware Reasoning Optimization on Graphs for Multi-hop Question Answering
-
针对图结构多跳问答中独立路径重排序导致证据局部过度重叠与推理步覆盖不足的问题,CROG 将证据组织形式化为带节点预算与连通性约束的次模覆盖最大化问题,通过边际覆盖增益贪心构建紧凑且互补的证据子图。
- CROG: Coverage-aware Reasoning Optimization on Graphs for Multi-hop Question Answering
-
针对图结构多跳问答中候选推理路径局部高度重叠与冗余导致的推理目标覆盖不全问题,CROG 将证据组织形式化为带节点预算与连通分支约束的覆盖最大化问题,通过边际收益贪婪选择互补路径,以更紧凑的证据子图显著提升复杂推理表现。
- Cube Bench: A Controlled Diagnostic for Spatial and Sequential Reasoning in Multimodal Large Language Models
-
本文构建了基于鲁比克魔方的可控诊断基准 Cube Bench,通过具有确定性转移与神谕状态距离的 7 项解耦测试,证实主流 MLLM 普遍缺乏多模态融合增益、单步因果预测能力随深度剧烈崩塌,且自反思无法实现错误恢复(首步恢复率全员归零)。
- DCGC: Draft-Conditioned Global Correction for Complex Reasoning with Masked Diffusion Models
-
DCGC 将掩码扩散模型(MDM)重塑为免验证器的全局后验纠错器,通过双能力监督微调与动态双路无分类器引导(Dynamic Dual-CFG),利用相对置信度差动态放大草稿残差,在数学、代码与知识推理硬题集上实现 24.8% 的平均纠错准确率。
- Demystifying Hybrid Thinking: Can LLMs Truly Switch Between Think and No-Think?
-
论文揭示了当前混合思考大模型无法实现彻底的思考/不思考模式分离(在不思考模式下频繁泄漏隐式推理标记与冗长推导),通过系统解构数据规模、配对机制、数据比例与训练分期四大关键因素,提出了基于两阶段解耦的高可控训练配方。
- Directional Structurality: A Lightweight Proxy for Reasoning Data Quality
-
本文提出将依赖方向敏感性(定向结构性)作为推理数据质量的核心代理,设计了免训练的局部负对数似然差分指标 Local-DeltaAvg,在匹配 token 预算的持续预训练与测试时重排序中显著优于长度、困惑度、难度与大模型裁判基线。
- Distribution-aware Language Neuron Identification in Multilingual Large Language Models
-
本文指出基于正激活率熵的传统方法忽略了连续激活分布形态与负激活区间,提出基于分布重叠系数聚类的分布感知语言神经元识别框架(DLN),不仅能精准分离单语言神经元(SLN)并在消融中带来高达 4.9× 的单神经元靶向损伤,还首次系统揭示了多语言协同神经元(MLN)与负激活区间的语言切换控制机制。
- Do Latent Tokens Think? A Causal and Adversarial Analysis of Chain-of-Continuous-Thought
-
本文通过因果表征干预(线性探针引导的正交扰动与跨样本置换)和对抗性捷径诱导实验,系统论证了以 COCONUT 为代表的连续隐式思维链(Continuous Latent CoT)中潜元(latent tokens)并未忠实编码实际推理步骤,而是充当了脱离词表流形的非语义占位符,极易在微调中放大对表面捷径特征的过拟合。
- Don't Read Everything: A Curvature-Conditioned Query for Linear Attention
-
针对线性注意力中缺乏 Softmax 竞争归一化导致高方差记忆方向稀释关键检索目标的问题,本文提出曲率条件查询(CCQ),在读取阶段利用键的历史协方差对查询进行各向异性收缩,在保持 \(O(1)\) 推理缓存的前提下显著提升了长文本检索与长度外推能力。
- Draft-OPD: On-Policy Distillation for Speculative Draft Models
-
针对传统离线有监督微调(SFT)草稿模型因分布偏移迅速陷入平台期的瓶颈,提出结合目标模型辅助展开与验证错误位置重放的在策略蒸馏方法(Draft-OPD),配合接收感知非对称损失实现高接受长度与超 5 倍无损推理加速。
- DVD: A Robust Method for Detecting Variant Contamination in Benchmark Datasets
-
本文针对大语言模型训练数据中普遍存在、能逃逸传统困惑度与编辑距离检测的“语义等价变体污染”问题,提出一种无需外部参考语料的无监督检测方法 DVD,通过多次温度采样度量尾部低概率 token 的合成难度方差,利用污染样本在“记忆依从态”与“摄动漂移态”间的动态切换产生的双峰方差信号,在 Omni-MATH 和 SuperGPQA 上实现高达 0.771 的污染检测 AUC。
- ERR+: Sequential Entropy Resolution for Efficient and Decisive LLM Reasoning
-
针对传统 RLVR 在高准确率下组内优势塌缩及现有长度惩罚直接破坏高熵探索节点的问题,ERR+ 提出两阶段序贯强化学习框架:第一阶段用熵缓解奖励(ERR)激励思考阶段高熵状态向低熵决断收敛,第二阶段用双曲正切组内归一化的稳健相对效率奖励(RRER)自适应压缩冗余 token,打破了推理精度与生成长度之间的固有权衡。
- ERR+: Sequential Entropy Resolution for Efficient and Decisive LLM Reasoning
-
针对现有基于可验证奖励的强化学习(RLVR)在全对采样组内过程信号坍缩以及长度惩罚损伤探索的问题,本文提出两阶段强化学习框架 ERR+,第一阶段通过对数归一化的熵消解奖励(ERR)激励思考阶段高不确定性后的果断决策,第二阶段通过双曲正切饱和的组内相对长度惩罚(RRER)压缩冗余,并在理论与实验上证明了解耦训练对规避梯度冲突的关键必要性。
- EVAR: Evidence-Validated Hypothesis Admission for Budget-Aware Narrative Reasoning
-
针对非交互长篇叙事推理中未证实假说污染推理轨迹与均一迭代修正浪费预算的难题,EVAR 提出证据校验假说准入框架,通过构建不可变原子证据库、按复杂度动态分配实例预算,并在精炼过程中以针对性挑战门控假说准入与早停,实现高忠实度且成本可控的叙事推理。
- EvoGenUI-Bench: Evaluating LLMs as Multi-Turn Generative UI Assistants
-
提出了多轮生成式 UI 演化基准 EvoGenUI-Bench(150 个 5 轮任务共 750 轮),构建了结合视觉截图、DOM、Playwright 交互轨迹、源码 diff 与运行时日志的多模态证据束,揭示了即使最强模型在单轮通过率达 74.9% 的情况下 5 轮完整任务通过率仅有 37.3% 的断崖式退化。
- Fixing FOLIO and MALLS: Verified Annotations and an LLM-assisted Framework to Focus Human Relabeling
-
系统审计揭示主流一阶逻辑形式化基准 FOLIO 与 MALLS 存在超过 40% 的标注错误与大量语义歧义,纠错后大模型翻译准确率提升多达 23 个百分点,并提出基于判定与修正任务的审查优先级排序框架,仅需人工复核不到 20% 样本即可达成 90% 数据集准确率。
- From Accuracy to Robustness: A Study of Rule- and Model-based Verifiers in Mathematical Reasoning
-
本文针对数学推理任务中的可验证奖励强化学习(RLVR),系统评估了规则验证器与模型验证器在静态分类和动态强化学习中的性能,揭示了规则验证器因表达僵化导致的严重假阴性问题,以及生成式模型验证器在强化学习闭环中极易遭受奖励作弊(Reward Hacking)的脆弱性,并证明判别式验证器是构建准确且鲁棒奖励系统的更优范式。
- From Reasoning to Generalization: Knowledge-Augmented LLMs for the ARC Benchmark
-
针对面向推理的 LLM 在 ARC 基准中难以兼顾抽象归纳与泛化的问题,本文系统评估了九种程序合成求解策略,确立重采样规划辅助代码生成(RSPC)为最佳骨干,并提出按依赖层次组织核心认知先验的本体增强框架 KAAR,使 GPT-o3-mini 和开源小模型在少样本抽象推理上取得高达 5% 的绝对提升与 64.5% 的相对提升。
- When Seekers Are Hard to Help: Evaluating Emotional Support Dialogue Systems in Worst-Case Interactions
-
本文针对现有情感支持对话系统(ESDS)依赖配合型平均求助者所导致的虚假高分与过度乐观偏差,基于咨询专家实证模拟提炼出低参与、强阻抗、浅暴露等典型极端求助行为,首创涵盖多维控制与情绪劣化机制的最差交互模拟器及四项专项目标指标,全面评测 17 款主流模型揭示严重性能断崖,并证明最差交互合成数据能显著提升开源小模型的泛化鲁棒性。
- Gradients Know What Outcomes Don’t: Unlocking Reinforcement Learning for LLM Reasoning with Gradient-Aligned Rewards
-
针对结果验证强化学习(RLVR)中正确轨迹奖励扁平无法区分推理优劣的问题,本文提出梯度对齐奖励(GAR),通过输出投影层截断反向传播提取 rollout 与专家思维链锚点的梯度表征并计算余弦相似度,以不到 9% 的训练耗时开销为正确解提供密集且语义结构感知的过程奖励。
- Evading Fake News Detection: Self-evolving Social Manipulation via LLM-driven Agent Orchestration
-
本文提出面向基于传播的虚假新闻检测器的自演化社交操纵攻击框架 EvoSM,利用 LLM 驱动的社交操纵编排器协同结构与语义层面的异构社交行为,并借助反思经验记忆库在跨样本攻击中提炼与检索可复用策略,显著提升黑盒规避成功率与跨检测器迁移能力。
- GSEM: Graph-based Self-Evolving Memory for Experience-Augmented Clinical Reasoning
-
针对临床大模型智能体在经验复用中易受边界误用与协同冲突困扰的难题,本文提出基于图结构的自演化经验记忆框架 GSEM,将医疗经验解构为适应证与禁忌证并构建双层记忆图谱,配合适用性感知混合图遍历与闭环反馈校准,实现了临床决策与推理质量的显著跃升。
- GTS: Inference-Time Scaling of Latent Reasoning with a Learnable Gaussian Thought Sampler
-
本文提出轻量级可学习的高斯思想采样器(GTS),将隐空间推理中基于启发式噪声的扰动重构为由上下文条件化的高斯分布策略,在冻结基座下通过 GRPO 强化学习端到端优化,显著提升了推理期扩展的候选轨迹质量与 pass@N 表现。
- Meerkat2: Bridging Global Reasoning and Local Knowledge for Efficient Medical AI
-
针对以英语为中心的医疗大模型在本地法规与制度知识上高保真度不足,以及推理蒸馏导致模型默认生成严重冗长(verbose)的问题,Meerkat2 提出将通用临床推理迁移与本土法规事实解耦,采用基于源文本直接合成问答规避幻觉,并引入解耦冗余蒸馏(VDD)在保留长思维链推理增益的同时消除默认冗余风格,在多项中英韩临床基准上以极低计算开销媲美前沿大模型。
- HybridThink: Learned Interleaving of Continuous and Discrete Reasoning in Large Language Models
-
针对纯连续隐空间推理易发生流形偏离与停机锚定失效的难题,HybridThink 提出一种基于强化学习的轻量级门控策略,在每一步动态交替执行连续概念探索与离散符号锚定,以更少 token 显著提升大模型在复杂数学与代码推理上的准确率与稳定性。
- InFi-Check: Interpretable and Fine-Grained Fact-Checking of LLMs on Grounding Documents
-
针对现有基于基准文档的大模型事实核查仅输出二元标签且缺乏可解释性的瓶颈,本文提出 InFi-Check 框架,通过可控数据合成管线构建包含显式证据、6大细粒度错误类型、思维链归因与精准修正的 15.6k 训练集与高质量评测基准 InFi-Check-FG,训练出的 InFi-Checker 模型在平衡准确率上显著超越 GPT-4o 与 o3,并在句子级定位与跨任务泛化中展现卓越可靠性。
- InfoDensity: Rewarding Information-Dense Traces for Efficient Reasoning
-
针对大推理模型冗长输出与盲目长度惩罚导致的奖励作弊问题,InfoDensity 揭示了高质量推理轨迹具有低不确定性收敛与快速不确定性下降两大特征,进而提出基于后缀最大包络(suffix-max envelope)的熵轨迹质量奖励与组内相对长度缩放机制,在大幅压缩推理 token 的同时提升多基准推理准确率。
- Last Layer Logits to Logic: Empowering LLMs with Logic-Consistent Structured Knowledge Reasoning
-
本文针对大语言模型在知识图谱推理中频发的逻辑漂移问题,提出将图谱路径编译为非确定有限状态自动机(NFA),并在自回归解码的最后一层 Logits 空间中直接执行语义强化与结构过滤,以极低计算开销实现了强逻辑一致性的结构化知识推理。
- Latent Thoughts, Certain Gains: Bayesian Optimization for LLM Reasoning
-
本文提出面向冻结大语言模型的无训练测试期推理优化框架 BLTO,将连续空间隐式思维建模为随机变量并引入高斯变分推断,利用模型输出预测分布的负平均熵作为自监督内在奖励,通过重参数化梯度更新与不确定度自适应早停机制实现高置信推理轨迹的高效搜索。
- Latent Thoughts, Certain Gains: Bayesian Optimization for LLM Reasoning
-
提出无需训练的测试时优化框架 BLTO,将大模型连续隐式思维建模为带高斯先验的随机变分后验分布,利用自监督输出熵作为置信度内在奖励和重参数化梯度更新,在冻结的大模型上实现显著的推理性能增益。
- LongAct: Harnessing Intrinsic Activation Patterns for Long-Context Reinforcement Learning in LLMs
-
揭示长文本注意力中 Query/Key 存在跨序列稳定的高幅值离群特征维度,提出 LongAct 显著性引导稀疏强化学习策略,仅更新与高幅值激活对应的注意力权重(默认保留前 30%),在保持推理结构与通用泛化性的同时将 Qwen3-8B 的 LongBench v2 成绩提升约 8%(36.73% vs 基线 27.04%/全参 DAPO 32.80%)。
- MathDebugger: A Benchmark for Type-Aware Error Detection in Synthetic Math Data
-
本文构建了首个面向文本数学合成数据的细粒度错误检测评测基准 MATHDEBUGGER(覆盖 4,000 道题与 2,000 个解答),通过建立问题侧 4 分类与答案侧 3 分类的类型化分类体系,揭示了强推理模型在求解与检验之间的能力鸿沟,并证实错误类型先验能显著提升下游模型纠错精度。
- Mechanism Shift During Post-training from Autoregressive to Masked Diffusion Language Models
-
论文通过边缘归因补丁(EAP-IG)和 Logit Lens 等机制可解释性工具,对比自回归模型与后训练掩码扩散模型,揭示出扩散后训练并非全盘重写或均匀继承底层回路,而是依据任务结构发生“任务依赖型机制重组”:前缀主导任务保留继承路径,全局约束任务则显著向浅层重组。
- Mitigating Overthinking via Interleaved System-1/2 Reasoning in Large Language Models
-
针对大语言模型长链式思维导致的过度思考与算力浪费,本文提出交织系统1/2推理框架 InterSR,利用语义熵构建步级认知切换信号并训练轻量预测器,在推理时根据单步复杂度动态交织快慢思考,在数学与跨领域基准上最高削减 51% 的 token 消耗且保持或提升准确率。
- More Test-Time Compute Can Hurt: Overestimation Bias in LLM Beam Search
-
本文将大语言模型推理中的测试时束搜索(Beam Search)抽象为有噪候选评分下的 Top-\(b\) 保留原语,从顺序统计量与极值理论视角严格证明了搜索候选池扩张必然带来高估偏差,揭示出扩宽束宽必须与评分器信噪比匹配,盲目增加测试时计算反而会因弱评分器引入更强噪声而劣化推理质量。
- Natural Language to First-Order Logic LLM-based Autoformalization
-
本文针对大语言模型将自然语言转化为一阶逻辑(FOL)时缺乏统一任务定义与系统综述的问题,首次提出本体相对的形式化解耦范式(本体抽取 OE 与逻辑翻译 LT),并对现有基准数据集、语法/语义评测指标以及微调、提示和神经符号验证精炼方法进行了系统梳理与全景剖析。
- One Model, Many Graphs: Learning over Attributed Graphs across Heterogeneous Schemas
-
OMG-VLM 提出了首个基于视觉语言模型(VLM)底座的统一属性图学习框架,通过目标感知文本聚合适配器与图感知视觉压缩适配器,在原生 token 空间内统一处理文本属性图(TAG)、图像属性图(IAG)与多模态属性图(MAG),实现异构模态模式下节点分类与链接预测任务的端到端生成式推理与强零样本跨图泛化。
- One-Token Verification for Reasoning Correctness Estimation
-
OTV 通过引入专用真值标记 [ToT] 与门控 LoRA 模块直接探测基座模型的 KV 缓存,在单次前向传播中以标量回归完成任意前缀的逐 token 正确性估计,支持高保真置信度引导早停并在 AIME 上节约高达 90% 的生成 token。
- PAC: Progress-Augmented Advantage Curriculum for Multi-Task Reinforcement Learning of LLMs
-
针对多任务强化学习后训练中任务效用动态变化的难题,PAC 将反映梯度更新幅度的优势可学习性与反映近期真实奖励增长的进度信号乘性融合,并通过贝叶斯汤普森采样控制器自适应分配采样配额,显著提升样本利用效率与最终跨任务泛化表现。
- Polished but Unresolved: Identifying Late-Stage Pressure States in Long-Horizon Tool-Use Agents
-
针对长程工具智能体在任务后期即使关键约束未满足也倾向于草率提交光鲜答案(表面完整但实质未解决)的普遍失败模式,本文在表征层面发现并验证了可线性分离的“后期压迫状态”(Late-Stage Pressure State),并提出探测感知的压迫缓解插件 PSPR,通过轻量级激活转向与显式状态整理显著减少早熟提交并提升复杂规划质量。
- Probing Counterfactual Reasoning in Large Language Models
-
针对大模型在孤立有害语音与良性声学上下文结合时频繁过度拒绝的问题,构建了包含 3,000 个伪有害音频样本的首个音频过度拒绝基准 AOR-Bench,系统评测 12 款主流模型并验证了思维链与激活引导的缓解效果。
- Fathom-Vaidya: Advancing Medical Reasoning with Rubric-Based Rewards
-
针对医疗大模型在聚合性封闭诊断与开放式多轮临床交互中的能力割裂,Fathom-Vaidya 提出无监督链式思考的序列化强化学习范式,结合 MedBullets 规则/错误细则两阶段 RL 与 Actor-Critic 合成临床细则奖励,使 30B 模型在 HealthBench-Hard 上达到 50.1% 的全球最佳表现。
- Deeper is Not Always Better: Mitigating the Alignment Tax via Confident Layer Decoding
-
针对大模型自回归解码默认依赖最后一层所导致的“对齐税”扰动问题,本文揭示了前向传播中“猜想-提炼-扰动”三阶段动态,提出免训练、即插即用的 Confident Decoding 算法,通过熵引导的保守后向搜索动态回退至近末层熵谷,以不足 2% 的延迟开销和零额外 KV 缓存恢复深层推理语义,在 GPQA-Diamond 与 Omni-MATH 等高难推理任务上显著提点。
- MAViQ: Memory-Augmented Visual Querying for Multi-Turn MLLM Jailbreaks
-
MAViQ 将多轮多模态大模型越狱建模为“轨迹到查询实现”过程,通过轨迹-场景双层记忆与模态分配器动态拆解意图、视觉角色与跨模态交接,并基于生成图像的真实可见内容完成扎根提问,在两大安全基准上超越强基线 5.90% 与 8.32% ASR。
- RubricRM: Generative Reward Modeling via Dynamic Rubrics for Image Generation and Editing
-
针对视觉生成与编辑评估中固定指标或标量奖励难以适应多样化指令且缺乏可解释性的问题,RubricRM 提出在单次前向推理中先动态生成包含原子维度、归一化权重与分级标准的任务自适应评分准则,再对候选图像进行逐维度打分与加权聚合,并通过轨迹 SFT 与细粒度维度级奖励 GRPO 两阶段训练显著超越同量级专用奖励模型。
- SecAgent: Efficient Mobile GUI Agent with Semantic Context
-
SecAgent 针对多模态移动端 GUI 智能体在历史屏幕堆叠带来的巨大计算开销及中文开源生态数据匮乏问题,提出语义上下文机制将历史屏幕与操作压缩为紧凑的自然语言摘要,结合高质量中文数据集 CMGUI 与两阶段对齐强化训练,使 3B 规模轻量模型在任务准确率上超越同量级基准并匹敌 7B-8B 先进智能体。
- Probing Syntactic Knowledge in Instruction-Tuned LLMs
-
本文针对知识拒绝(KR)与安全拒绝(SR)长期割裂研究的现状,构建了 213 组结构严格配对的四元组基准,通过控制性微调与表征层机制分析,揭示了大语言模型拒绝行为遵循“先承诺拒绝、后特异细化”(commit-then-specify)的层级生成机制。
- PsychēChat: An Empathic Framework Focused on Emotion Shift Tracking and Safety Risk Analysis in Psychological Counseling
-
PsychēChat 针对传统心理咨询大模型仅关注单轮瞬时情绪且缺乏前瞻风险防御的缺陷,基于情绪聚焦疗法(EFT)引入跨轮情绪状态转移追踪模块与求助者反应前瞻安全拦截机制,通过双角色互动扮演合成 1,003 组高质量对话数据集 PsychēDialog,并创新提出多智能体协同(Agent Mode)与端到端长思维链(LLM Mode)双推理范式,在 SAGE 与 ESC-Eval 基准上全面刷新开源与领域模型表现。
- Reactivating Test-Time Scaling for Plane Geometry Problem Solving
-
本文剖析了平面几何问题中测试时缩放(TTS)因符号程序刚性导致多样性不足与感知误差放大的失效机理,提出多轨迹合成(MTS)、感知增强(PA)训练以及共识引导多轨迹集成(CG-MTE),在显著提升准确率的同时将采样成本降低高达8倍。
- ReaderScope: 从离线读者反应校准到在线可控故事生成
-
针对长篇故事生成中只关注作者侧大纲一致性而忽视读者体验演化的缺陷,ReaderScope提出从20部经典小说离线校准情感、信息熵、沉浸感与顿悟四维动态轨迹,并在分层生成中利用智能体读者反馈进行在线闭环重写控制。
- Reasoning Confidence Is Not Policy-Invariant: Calibrating Prefix Success under Model and Budget Shift
-
针对推理前缀置信度在不同补全策略间排序翻转且隐状态无法跨模型对齐的问题,本文提出可比策略条件校准器 CPCC,通过共享冻结编码器、19维跨模型可比标量特征与 Beta–Binomial 预测头,实现了模型与预算迁移下鲁棒的前缀成功率校准与不确定性估计。
- Reasoning Under Uncertainty: Exploring Probabilistic Reasoning Capabilities of LLMs
-
本文系统构建了涵盖众数识别、极大似然估计和样本生成的离散概率推理基准,揭示了大语言模型在联合分布与条件分布推理间的显著性能鸿沟,并从自回归生成偏差、注意力抑制机制及隐式计数脆弱性等角度深入解构了模型面对不确定性时的启发式行为本质。
- ReasoningFlow: Discourse Structures for Understanding LLM Reasoning Traces
-
ReasoningFlow 提出了针对大模型长思维链的细粒度有向无环篇章图解析框架(8类节点与14类边),揭示出推理模型中高达 79.6% 的中间计算错误在回溯与局部校验中被直接废弃、并未污染最终结论。
- Reinforcement Learning Improves Traversal of Parametric Knowledge in LLMs
-
本文发现强化学习(RL)并未牺牲大模型的参数化事实记忆,而是通过学习系统性的层级遍历策略激活了潜伏在参数中的未激活知识;结合受控知识注入实验与层级表征分析,证明模型在推理训练中重塑的是提问导航机制而非改写底层事实。
- Retrievable Gradients: Continual Post-Training Without Cumulative Weight Drift
-
本文提出 REGRAD 范式,将文档梯度建模为解耦可检索的知识原子并存储于离线梯度库中,借助双层元学习重塑因果语言建模梯度为下游问答适配方向,在推理阶段实现免累计参数漂移、即插即退的动态参数化知识注入。
- Right Answers for the Right Reasons: Coherence-Enhanced Policy Optimization for Large Language Models
-
针对大语言模型基于结果的强化学习容易利用捷径诱发作弊与虚假推理的问题,本文提出连贯性增强策略优化(CE-PO),通过可微内部雅可比矩阵测量生成路径影响力、重排残差化消除长度与格式噪声,并以 \(L_p\) 组合器将一致性信号与任务准确率无缝融合到 PPO/GRPO 中。
- SABER: Stability-Aware Early Exit for LLM Reasoning via Adversarial Branch Probing
-
针对长链大推理模型(LRM)由于过度思考带来的计算开销与错误累积问题,SABER 提出在中间推理步注入对抗扰动分支并进行轻量探测,联合语义一致性与置信度稳定性构建推理稳定性评分,在无须重新训练的情况下实现了精准的动态早退,平均节省 30.2%–39.8% 推理 token 并保持高准确率。
- SCALE: Structured Case-law-guided Anticipatory Legal Reasoning
-
针对传统法律 RAG 依赖表层语义相似度检索且难以有效综合长篇判例的局限,SCALE 将条文判例指南结构化为“争议点-事实要素层级体系”(IFH),通过预先识别案件争议点与事实要素实现针对性判例段落检索与论证生成,大幅提升司法裁判的一致性与说理严谨度。
- SCOPE: Signal-Calibrated On-Policy Distillation Enhancement with Dual-Path Adaptive Weighting
-
SCOPE 针对传统在策略蒸馏(OPD)将所有轨迹一律施加均一密集监督的结构性缺陷,提出了基于生成正误的对偶路径自适应加权框架:对错误轨迹按教师困惑度逆加权以过滤前缀诱导的幻觉噪声,对正确轨迹按学生困惑度正加权以强化能力边界上的非常规推理路径,彻底破解了 Pass@k 悖论。
- SCOPE: Signal-Calibrated On-Policy Distillation Enhancement with Dual-Path Adaptive Weighting
-
SCOPE 针对在线策略蒸馏(OPD)忽略轨迹信号质量差异的问题,依据答案正确性将采样轨迹分流至双路径:对错误轨迹执行基于教师困惑度加权的 KL 散度蒸馏以过滤有缺陷前缀的误导噪声,对正确轨迹执行基于学生困惑度加权的最大似然估计以强化能力边界上的低置信度探索,结合组内归一化实现高效且保持推理多样性的对齐。
- Select, Label, Evaluate: Active Testing in NLP
-
本文首次形式化了NLP领域的主动测试(Active Testing)范式,提出通过轻量自注意力头方差度量不确定性的无监督采样策略Agreement及自适应停止准则,在18个数据集上仅需标注5%–10%测试样本即可将模型性能评估误差稳定控制在1%以内。
- Selective State-Space Adaptation and Retrieval for Language Model Reasoning
-
论文提出了一种双层选择性状态空间适配机制,在 token 粒度利用带有跨位置递归记忆的 Mamba 模块动态调制 LoRA 缩放因子(MaLoRA),在 context 粒度利用段落级 Mamba 递归解码冻结基座隐状态中的支撑证据(MaRA),在参数量仅增微小比例的前提下将多跳推理 F1 相对基线提升 10.0%。
- Share More, Search Less: Collaborative Parallel Thinking for Efficient Test-Time Scaling
-
针对并行测试时计算中各分支相互隔离导致的重复搜索痛点,本文提出无须额外训练的协作式并行思考(CPT)框架,在固定步长处提取紧凑中间发现、构建全局去重信息池并自适应广播至各分支上下文,以极小同步开销大幅消除冗余探索并显著推移准确率-时延 Pareto 前沿。
- SocialArena: Evaluating Social Intelligence in Large Language Model Agents via Multi-Party Strategic Interactions
-
本文提出大语言模型社会智能基准 SocialArena,确立「角色扮演一致性、心智状态推理(ToM 7维度)与情境行为推理」三层能力体系,基于正交社会场景框架 U-TRIMF 与关键词引导合成 5,702 个全景情境,依托 13.24 万美元人工竞技场众包评审(17,676 次对抗投票)评测 15 款前沿大模型,揭示出模型“重社交感知、轻决策行动”的系统性短板以及 LLM 自动裁判不可靠的评测困境。
- Soft Tokens Are Off-Manifold: Geometric Correction for Continuous-Space Reasoning in Large Language Models
-
针对连续空间推理中软标记在低熵下向贪婪锚点坍缩、在高熵下脱离局部表示尺度漂移的问题,本文提出免训练的 Manifold Thinking 框架,通过正交切向导航引入非贪婪结构化探索并结合局部范数重缩放,在 18 项基准配置上全面超越现有离散与软标记基线。
- Stop Before You Fail: Operational Capability Boundaries for Mitigating Unproductive Reasoning in Large Reasoning Models
-
本文从黑盒推理表达(置信与不确定词汇轨迹)与白盒预填充隐状态(输入末 token 隐向量)两个维度,首次系统揭示了大推理模型(LRM)在求解超出自身操作能力边界难题时的早期失败信号,并设计了测试期表达监控与隐状态监控策略,在几乎不损失可解题准确率的前提下削减 62.7%–93.6% 的无效推理 Token。
- TabSieve: Explicit In-Table Evidence Selection for Multi-Table Question Answering
-
TabSieve 提出了表格上下文预测中的"先筛选后预测"(select-then-predict)显式证据选择范式,结合 4 万条高质量思维链微调与引入任务优势动态平衡因子的强化学习(TAB-GRPO),在 127 个分类与回归表格基准上全面大幅超越现有表格专用与通用推理大模型。
- Test-Time Scaling for Scientific Equation Discovery
-
本文将大语言模型驱动的科学方程发现形式化为统一的外部测试时扩展(TTS)搜索过程,通过约 4,000 个 H100 GPU 小时的控制实验揭示:搜索宽度是决定性能与物理时钟效率的核心分配变量,较大算力预算偏好更宽的并行扩展,而群体-分支分配与控制器算法差异仅属次要因素。
- Thinking Without Speaking: Efficient Tree of Thoughts Reasoning via Latent Steering
-
针对传统思维树(ToT)在文本层面“先生成再打分”带来的巨大时延与 Token 开销,本文提出一种免训练的隐式思维树框架(IToT),将离散树搜索形式化为模型隐藏层表征空间的连续优化问题,利用正负解对比原型与无导数优化在线引导隐状态,在准确率大幅领先显式搜索基线的同时将 Token 消耗降至单链 CoT 以下。
- TopoAlign: A Framework for Aligning Code to Math via Topological Decomposition
-
针对形式化数学(Lean 4)双语平行语料极度匮乏的问题,TopoAlign 通过函数级拓扑依赖解析将海量开源代码解构并重组为镜像形式化数学结构的样本,配合代码自动形式化(CAF)目标进行持续预训练,在不注入新数学知识的前提下显著提升了数学大模型的自动形式化精度与语法正确率。
- TRACER: An Information Entropy-Grounded Framework for Efficient Large-table Semantic Annotation
-
针对大规模关系型表格语义标注中全表建模开销巨大与粗暴截断损失关键线索的矛盾,TRACER 提出基于信息熵的行级压缩框架,通过温度缩放的本体不确定性排序与混合证据采样,在保证 DistilBERT 轻量读取器极高吞吐的同时将 GitTable 的 Macro-F1 显著提升至 71.12%。
- Triggering Chain-of-Thought via Latent Feature Interventions in Large Language Models
-
本文利用稀疏自编码器(SAE)从大语言模型中解耦出驱动思维链的核心潜特征,仅在第一个解码步对极少数推理特征实施规范化残差注入,即可在无需显式 CoT 提示词(甚至包含抑制思考指令)的情况下激发出紧凑高效的完整多步推理链。
- TTSR: Test-Time Self-Evolving via Reflection
-
针对测试时训练在复杂推理任务上面临的可学习样本稀缺与无向盲目采样瓶颈,本文提出测试时自我反思演化框架 TTSR,通过单模型交替扮演学生与教师角色,基于失败轨迹提取弱点描述符、合成处于能力边界的变体题目,并结合跨轮次弱点记忆与动态策略便签引导探索,显著提升了数学与通用复杂推理性能。
- When Calibration Rankings Reverse: Accuracy-Controlled Evaluation for Faithful Uncertainty
-
本文揭示了大语言模型全局校准评估(如 ECE 和 Brier Score)受任务准确率严重混淆并导致"排名反转"的理论与实证现象,提出了包含实例对齐、分布对齐与候选集对齐的准确率可控评估框架 ACE,为跨模型忠实不确定性比较建立了公平基准。