💬 LLM 其他¶
🧠 NeurIPS2026 · 98 篇论文解读
📌 同领域跨会议浏览: 🎞️ ECCV2026 (13) · 📷 CVPR2026 (3) · 🔬 ICLR2026 (55) · 💬 ACL2026 (61) · 🧪 ICML2026 (39) · 🤖 AAAI2026 (30)
🔥 高频主题: LLM ×25 · 扩散模型 ×19 · 图像恢复 ×3 · 对话系统 ×3 · 推理 ×3
- Allocate Marginal Reviews to Borderline Papers Using LLM Comparative Ranking
-
提出在人类同行评审前利用长上下文LLM成对比较与Bradley–Terry模型构建粗排顺序,将顶会多余的边际审稿名额集中分配至录用临界区论文,以零额外审稿人负担换取决策净改善。
- Causal Edit Serialization
-
提出因果编辑序列化(CES)框架,在标准因果解码器中引入轻量级位置预测头与双索引旋转位置编码(RoPE),支持在保持因果注意力掩码的同时,单向生成包含增、删、改、复制与移动的显式编辑程序并直接对齐历史源坐标。
- Characterizing Memorization in Diffusion Language Models: Generalized Extraction and Sampling Effects
-
本文首次形式化定义了扩散语言模型在任意掩码与随机去噪轨迹下的广义可发现记忆提取框架,理论证明并实证检验了采样分辨率对逐字记忆概率的单调递增控制作用,发现扩散语言模型在同等对齐条件下比自回归模型具有显著更低的个人隐私(PII)泄露风险。
- COMPLLLM: Fine-tuning LLMs to Discover Complementary Signals for Decision-making
-
本文提出决策理论驱动的 LLM 调优框架 ComplLLM,通过构建基于最佳可达期望效用增益的奖励函数并结合 SFT 与 GRPO 强化学习,使语言模型能够从非结构化文本中精准挖掘出上游推荐模型所遗漏的离散互补决策信号。
- CompLLM: Fine-Tuning LLMs to Discover Complementary Signals for Decision-Making
-
本文提出决策理论驱动的后训练框架 CompLLM,通过两阶段提取与群组相对策略优化(GRPO),微调大语言模型从非结构化文本中主动挖掘未被现有推荐智能体利用的互补离散信号,显著提升多智能体及人机协同决策的最优可达收益。
- Confidence-Based Decoding is Provably Efficient for Diffusion Language Models
-
本文首次为扩散语言模型(DLMs)的置信度自适应解码建立了严格的理论分析框架,证明了基于累积熵和阈值截断的解码策略能在 KL 散度 \(\varepsilon\) 误差下以 \(\widetilde{O}(H(X_0)/\varepsilon)\) 的期望迭代步数实现对数据分布内在复杂度的自适应采样加速。
- Conformal Language Modeling via Posterior Sampling
-
将基于共形预测的大模型幻觉控制从“生成后事后剪裁声明”重构为“条件于高置信区域的后验分布采样”,通过引入显式弃权混合先验与样本路径单调化上界,在保证严格有限样本风险上界的同时显著提升输出的完整性与下游效用。
- Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata
-
针对离散扩散语言模型多位置并行去噪导致传统自回归约束解码失效的瓶颈,本文将有穷自动机视作链式概率图模型,提出了首个精确可解且支持对数并行深度的有穷自动机约束解码算法,实现 100% 语法合规并在下游任务中取得显著精度跃升。
- Continuous Diffusion Scales Competitively with Discrete Diffusion for Language
-
本文重新审视基于变分似然(ELBO)的连续扩散语言模型,通过对齐现代扩散架构与统一步骤评估,提出了 RePlaid,打破了连续扩散在语言建模上扩展性差的固有认知,证明其扩展效率与离散扩散不相上下。
- Continuous Latent Diffusion Language Model
-
提出 Cola DLM,通过 Text VAE 与块因果 DiT 将文本生成严格解耦为连续潜空间全局语义先验输运与局部条件解码两阶段,摆脱严格自回归固化时序偏差并在 2B 规模下展现出超越 AR 与离散扩散的良好扩展潜力。
- Coupling Models for One-Step Discrete Generation
-
提出两阶段离散生成范式 Coupling Models,先通过似然归一化流将离散序列与高斯潜变量对齐建立可采样耦合,再训练并行解码器实现单步离散序列生成与高效引导。
- DACA-GRPO: Denoising-Aware Credit Assignment for Reinforcement Learning in Diffusion Language Models
-
针对离散扩散语言模型强化学习中去噪时间步信用分配缺失及均值场似然估计偏置严重两大痛点,本文提出即插即用的 DACA-GRPO 框架,通过重用中间步骤 logits 构建去噪进度评分进行逐 token 优势调制,并利用分层掩码似然估计消除均值场偏置,在多基线与跨任务上实现显著增益。
- DAWN: Dependency-Aware Fast Inference for Diffusion LLMs
-
DAWN 提出了一种免训练的依赖感知快速推理方法,通过过滤注意力汇偏置构建稀疏依赖图,结合锚点引导解码与冲突感知贪心调度,在保持生成质量的前提下将扩散大语言模型的推理速度提升 1.80 至 8.06 倍。
- Dependency-Guided Parallel Decoding in Discrete Diffusion Language Models
-
针对离散扩散模型并行反掩码时因强耦合 token 引发的边际-联合分布失配问题,本文提出轻量级依赖预测器 DEMASK,仅需单次前向传播即可预估掩码位置间的条件依赖矩阵,并通过贪心选择在全变差距离理论保证下实现 1.7–2.2× 加速且维持甚至提升精度。
- Depth Exploration for LLM Decoding
-
提出深度探索解码(DEX),摒弃单早退层的猜测与回滚惩罚,在多个候选深度上并行展开候选分支,由最终深度验证并提交真实 token 并塌缩保留有效前缀分支,在保持严格无损自回归等价性的同时显著提升解码吞吐。
- Diffusion-State Policy Optimization for Masked Diffusion Language Models
-
针对掩码扩散语言模型仅依赖最终生成文本标量奖励导致中间去噪决策信用分配粗糙的问题,本文提出 DiSPO,通过在中间掩码状态复用 rollout 缓存 logits 进行同状态分支重采样并仅更新新填充 token,在不增加额外多步扩散 rollout 和优化步数的前提下显著提升了数学推理与规划能力。
- Distributional Alignment as a Criterion for Designing Task Vectors in In-Context Learning
-
本文提出以下一个词元预测分布差异(\(d_{\text{NTP}}\))作为任务向量质量的对齐准则,并基于此设计了具有闭式解的线性任务向量(Linear Task Vector, LTV),在保持零样本推理延迟的同时显著提升了下游准确率并实现了跨尺度模型迁移。
- DMax: Aggressive Parallel Decoding for dLLMs
-
DMax 针对掩码扩散语言模型在激进并行解码下的级联误差累积瓶颈,提出结合策略内均匀训练与软并行解码的新范式,将离散二值掩码解码重构为嵌入空间的自纠错过程,在 GSM8K 上将每步前向生成 Token 数量(TPF)从 2.04 翻倍跃升至 5.48 且无损精度。
- Dominant-Layer ZO: A Single Layer Dominates Zeroth-Order Fine-Tuning of LLMs
-
发现大模型零阶微调性能高度集中于单个解码层,该“支配层”与模型首个激活离群层严格对齐,仅微调该单层不仅达到甚至超越全模型零阶微调效果,还能获得高达 4.52 倍的端到端训练加速。
- Don't Lose Focus: Activation Steering via Key-Orthogonal Projections
-
针对激活引导(Activation Steering)因破坏注意力查询-键匹配而严重损害大模型推理与检索效用的根本痛点,提出通过键正交投影的引导方法(SKOP),在离线校准提取的关键差异子空间上将引导向量投影正交化,仅选择性约束少数高风险注意力头,在保留超过 95% 引导效果的同时使下游任务效用损失降低 5 到 7 倍,并首度实现长上下文场景下的鲁棒激活引导。
- Dynamic Latent Routing
-
针对语言模型后训练中离散潜变量破坏预训练序列结构且依赖多阶段预热的瓶颈,提出通用狄克斯特拉搜索(GDS)理论并导出动态潜变量路由(DLR),在单阶段训练中通过策略头搜索在残差流施加块级连续转向向量,在低数据量微调下全面超越有监督微调。
- Efficient Scaling of LLM Training with Flexible Context Parallelism
-
针对真实长文本与多模态数据长度严重长尾分布导致的静态并行计算空转与通信冗余,提出灵活上下文并行框架 FCP,通过突破 2 的幂次限制的任意整数并行度和毫秒级二维动态规划调度算法,实现每微批次自适应并行重构,在 64 卡集群上最高取得 1.47× 平均吞吐提升和极端不平衡批次下 2.24× 加速。
- Emergent Semantic Role Understanding in Language Models
-
通过在冻结的自回归 Transformer 上进行 QA-SRL 线性探测与因果神经元消融实验,证实语义角色结构在无监督预训练中即可自发涌现,且其底层神经元表征随模型规模增大由局部专门化转向分布式与跨角色干扰。
- Ensembling Language Models with Sequential Monte Carlo
-
针对传统自回归解码中局部概率平均无法采样全局字符串集成后验及跨词表对齐难题,本文提出统一的 \(f\)-集成理论框架与字节级序贯蒙特卡洛(SMC)采样算法,证明共识导向集成在极限下具备严格一致性并大幅超越传统平均基线。
- Evaluating Whether LLMs Can Reliably Connect the DOTs?
-
本文提出了包含约 9.2K 实例的多领域叙事文本完形填空(Narrative Infilling)评测基准,系统评估了 20 款开源大语言模型在不同指令特异性与推理引导下的连贯桥接能力,实证发现模型规模无法保证填空质量(Gemma-2-2B 以 4.02/5 斩获榜首并超越 70B 模型),显式思维链推理收益仅微弱增加(+0.6%),而反事实推理则显著破坏叙事一致性。
- Fine-Tuning Improves Information Conveyance in Language Models
-
提出了树冠熵(Canopy Entropy)及长度-熵率关联度量,揭示微调并未简单压缩语言模型生成空间,而是系统重组了不确定性分布并显著提升了语义信息传递效率。
- FlexTab: A Flexible Encoder-Decoder Architecture for In-Context Learning Across Diverse Tabular Tasks
-
FlexTab 提出解耦特征表征与预测建模的表格上下文学习编解码架构,利用通用目标无关行嵌入串接专用解码器,在分类、回归、异常检测、聚类、跨表匹配和关系数据库分类等七项任务上取得领先性能。
- Flow Map Language Models: One-step Language Modeling via Continuous Denoising
-
针对离散扩散语言模型在极少步采样下因因式分解误差而质量崩塌的瓶颈,提出在连续单热嵌入空间构建连续流语言模型(FLM),并通过流映射二元去噪重参数化将其蒸馏为流映射语言模型(FMLM),首次在单个前向评估下超越 8 步离散扩散生成质量。
- Found in Conversation: LLMs Teach Themselves to Close the Multi-Turn Gap
-
针对真实多轮交互中信息渐次给出导致大模型性能严重退化的“Lost-in-Conversation”难题,本文提出 Found in Conversation (FiC) 框架,先通过多轮 SFT 规范缺失信息时的推迟与主动澄清行为,再利用创新的视角非对称自蒸馏 (VASD) 将模型自身在信息等价单轮输入下的专家表征蒸馏至多轮轨迹中,无需任何外部更强教师模型即可恢复 92%~100% 的单轮性能。
- Frontier Language Models Struggle to Copy: Text Can Be Better Viewed in 2D
-
揭示了前沿大模型受限于一维相对位置编码诱发的局部匹配快捷方式而在精确复制长文本时严重退化的根本机理,提出利用换行符将文本重塑为二维网格的 2D-RoPE 与自适应 Auto-2D-RoPE,实现了数百倍上下文的完美长度外推。
- Frozen Memory Is Not Enough: Rethinking External Memory as Extraction
-
本文提出跨模型冻结记忆抽取协议,通过分词器无关的文本规范化寻址与轻量目标端多分支读取器,证明了冻结外部记忆表具备通用可迁移性,且读取器设计与层级放置是决定迁移收益的首要因素。
- GDSD: Reinforcement Learning as Guided Denoiser Self-Distillation for Diffusion Language Models
-
针对扩散大语言模型策略似然不可解及现有 ELBO 替代引入训练推理不匹配(TIM)偏差的难题,本文提出引导去噪器自蒸馏(GDSD),通过逆向 KL 正则化导出能量优势引导的自教师去噪器,并结合无归一化常数与 Logit 中心化技术实现高效无似然自蒸馏优化。
- How Do Language Models Compose Functions?
-
本文探究了前馈大语言模型执行两跳事实与函数复合 \(g(f(x))\) 的内在机制,发现模型在正确求解时并存“组合式逐步计算”与“惯用式直接映射”两种截然不同的表征机制,且任务在词嵌入与解嵌入空间之间是否构成线性平移直接决定了机制的选择。
- InfoSFT: Learn More and Forget Less with Information-Aware Token Weighting
-
针对传统 SFT 均匀拟合低似然样本导致过拟合与遗忘的问题,本文基于近端策略优化推导并在 SFT 损失中引入中等置信度加权方案 InfoSFT,仅需单行代码修改即可在提升数学、代码与推理泛化能力的同时大幅缓解灾难性遗忘。
- LangFlow: Continuous Diffusion Rivals Discrete in Language Modeling
-
LangFlow 通过将词嵌入空间连续扩散与 Bregman 散度流匹配建立理论关联,并结合基于对数信噪比的 Gumbel 噪声调度与自条件化机制,使连续扩散语言模型在困惑度与生成质量上首次全面比肩甚至超越离散扩散模型。
- Language Model Memory and Memory Models for Language
-
针对自回归语言模型隐层向量对输入信息保留极少且难以支持任意信息检索的痛点,本文提出了可并行化的编码器-解码器记忆模型,结合因果语言建模与复制保留联合训练目标,使模型在大幅降低推理计算复杂度的同时保留高保真记忆。
- Learning When to Trust LLM Priors: A Validated Framework for Semantic Prior Integration
-
针对大语言模型语义先验可能存在噪声、错配甚至对抗性幻觉的问题,本文提出了兼具模型无关性与形式化安全底线的 Statsformer 框架,通过单调先验注入族将 LLM 特征相关度适配至异构学习器,并利用袋外交叉验证自适应校准先验置信度与集成权重,在理论和实证上保证了性能不劣于无先验集成基线。
- Learning When to Trust LLM Priors: A Validated Framework for Semantic Prior Integration
-
针对大语言模型语义先验可能存在噪声、错配甚至对抗性幻觉的问题,本文提出了兼具模型无关性与形式化安全底线的 Statsformer 框架,通过单调先验注入族将 LLM 特征相关度适配至异构学习器,并利用袋外交叉验证自适应校准先验置信度与集成权重,在理论和实证上保证了性能不劣于无先验集成基线。
- MAGE: All-[MASK] Block Already Knows Where to Look in Block Diffusion LLM
-
针对块扩散大语言模型(Block dLLM)长文本推理受限于块内多 token 强行共享稀疏 KV 子集而导致传统动态估计器召回率严重下跌的难题,MAGE 利用块扩散训练赋予全掩码块的 Query 锚定特性,在去噪第 1 步执行单次精确注意力并异步提取 Top-\(k\) 索引供全轨迹复用,实现近乎无损精度的同时取得高达 6.82 倍的端到端推理加速。
- MemAudit: An Exact Package-Oracle Evaluation Protocol for Budgeted Long-Term LLM Memory Writing
-
本文提出 MemAudit 评测协议,将有存储预算约束的 LLM 长期记忆写入形式化为带有限候选集与确定分母的有限次模覆盖优化问题(背包约束与划分拟阵交集),通过分支定界与 MILP 获得精确包最优解(Package-OPT),首次将写时记忆压缩与下游检索及阅读器推理彻底解耦。
- MemReward: Graph-Based Experience Memory for LLM Reward Prediction with Limited Labels
-
针对大语言模型强化学习中真值奖励标签昂贵匮乏的瓶颈,MemReward 构建了连接 Query、Thinking 与 Answer 的跨领域异构经验记忆图,通过 GNN 将 20% 有标签经验的奖励信号高效传播至无标签 Rollout,在仅使用 20% 标签下即可达到 97% 以上的全监督 Oracle 性能。
- Meta-Learning Preferences for Multilingual LLM Alignment
-
本文提出将多语言大模型偏好对齐形式化为任务级元学习自适应问题,并基于一阶 MAML 分别构建了 MAML-RLHF 与 MAML-DPO 算法框架,在目标低资源语言仅有 100 条偏好样本的极端受限场景下取得了最高 28% 的胜率提升,并给出了 Bradley-Terry 偏好损失下的首个收敛性理论保证。
- Minimally Invasive Steering of Language Models
-
针对大语言模型测试时对齐中未正则化激活引导极易破坏输出分布的问题,本文提出最小侵入式引导向量优化(MISVO),利用冻结参考策略的局部费舍尔信息二次型精确度量分布敏感度并提供解析梯度,在无需回传Transformer本体的前提下实现了高奖励且保持参考分布特性的低侵入对齐。
- More is Not More: What Matters for Diversity in LLM Opinions
-
通过在7个主流大模型和100个真实开放问题上解耦角色深度与交互架构的阶乘实验,揭示角色细节边际收益骤降、多轮与多智能体覆盖互补且低成本技巧基本无效的规律。
- Mutable Transcripts: Mitigating Context Pollution through Editable Conversation State
-
本文让用户用自然语言重写整段对话的历史状态,而不是继续追加纠正消息;17 人的受控研究支持其可用性,三个代表性案例显示保留记录更短,但并未证明长期任务性能或总 API 成本改善。
- Natural Language Actor-Critic: Scalable Off-Policy Learning in Language Space
-
提出自然语言 Actor-Critic(NLAC)算法,利用生成式语言模型构建自然语言 Critic,通过单步语言贝尔曼备份实现紧凑未来摘要的离策略值函数学习,并通过动作自反思与蒸馏实现策略提升,显著提高了多轮复杂交互智能体的样本效率与稳定性。
- No Model Required: Text Entropy Rate Filtering Mitigates Iterative Fine-Tuning Collapse
-
本文提出基于非参数 Kontoyiannis 熵率估计器 \(\hat{H}_K\) 的无模型文本过滤机制,仅通过字符匹配统计度量序列复杂度,在多代自生成微调闭环中显著缓解短语重复与多样性崩溃,性能超越需模型访问的对数概率熵过滤。
- On Data Engineering for Scaling LLM Terminal Capabilities
-
针对终端交互智能体训练数据稀缺且闭源的问题,本文提出 Terminal-Task-Gen 数据合成框架与高质量终端数据集 Terminal-Corpus,并在 Qwen3 基础上微调得到 Nemotron-Terminal 系列模型,在 Terminal-Bench 2.0 上仅凭 32B 参数便超越了 480B 级前沿模型。
- On the Importance of Gating: Memorization vs. In-Context Learning in State Space Models
-
本文通过理论与多尺度实验揭示了状态空间模型(SSM)中门控机制的双刃剑效应:强门控在训练初期会诱导模型优先陷入在权记忆(in-weights memorization)捷径而显著推迟上下文学习(ICL),但对于长序列外推却必不可少。
- On the Importance of Gating: Memorization vs. In-Context Learning in State Space Models
-
本文通过理论与多层级实验证明,现代状态空间模型(SSM)中的循环门控衰减机制导致优化动力学优先落入参数记忆捷径而严重延缓上下文学习,而适度门控则是抑制长文本干扰项方差、实现长度泛化的必要条件。
- On the Nature of Attention Sink that Shapes Decoding Strategy in Omni-LLMs
-
本文系统揭示了全模态大语言模型(Omni-LLMs)中注意力汇聚(Attention Sink)的全局偏置本质,推翻了汇聚头完全冗余的旧假设,并提出无需重训且仅增加 1.11 倍解码延迟的 OutRo 策略,通过自适应门控旋转与因果掩码单次松弛显著提升多模态推理能力。
- On the Nature of Attention Sink that Shapes Decoding Strategy in Omni-LLMs
-
本文首次系统性分析了全模态大语言模型(Omni-LLM)中注意力汇聚(Attention Sink)的表征本质,揭示了 Sink 值向量充当全局共享偏置的核心机制,并提出了免训练、无需额外前向推理且兼容 FlashAttention 的即插即用解码调制方法 OutRo。
- One Threshold Does Not Fit All Languages: Language-Conditional Deferral for Reliable and Efficient Low-Resource Text Classification
-
本文给同一个低成本多语言分类器配置逐语言保形阈值,缓解混合校准掩盖的语言覆盖率缺口,并把可靠性代价显式转化为各语言的人工转交预算;保证针对全部流量中的错误自动输出概率,而非自动输出的条件准确率。
- PCBSchemaGen: Reward-Guided LLM Code Synthesis for Printed Circuit Boards (PCB) Schematic Design with Structured Verification
-
针对PCB原理图设计缺乏单元测试与单任务真实参考的验证瓶颈,PCBSchemaGen提出一种免训练的推理时优化框架,结合从器件手册自动构建的模式引导知识图谱、分层输出连续奖励的五层确定性验证器以及基于汤普森采样的多臂老虎机迭代修复,在真实商业芯片基准上将开源31B模型的Pass@1提升至81.3%,并实现向外源真实原理图零修改迁移。
- Plausibility Is Not Prediction: Contrastive Evidence for LLM-Based Cellular Perturbation Reasoning
-
揭示大语言模型在细胞扰动预测中因依赖背景基因响应倾向导致“看似合理却无预测力”的严重偏差,提出基于生物知识图谱对比组织同基因正负证据的 CORE 框架,显著恢复扰动特异性辨别力。
- Pretraining Curricula Enable Selective Fine-tuning
-
本文揭示了不平衡预训练课程能够诱导 Transformer 形成任务特异的解耦神经回路,从而在下游安全微调时显著降低过度拒绝并实现高选择性的行为抑制。
- Probing Persona-Dependent Preferences in Language Models
-
通过在残差流末轮标记处训练线性探针提取显示偏好效用向量,证实大语言模型具备可跨提示角色泛化并因果控制任务选择的评价性表征。
- ProgramBench: Can Language Models Rebuild Programs From Scratch?
-
针对现有代码评测局限于局部缺陷修复或预设骨架填空的不足,本文提出 ProgramBench 基准,仅向模型提供目标可执行程序与使用文档,要求智能体在完全断网环境下从零规划架构并重建可执行软件,并通过覆盖率引导的黑盒端到端行为测试集实现实现不可知的严谨评测。
- Prompt–Activation Duality: Improving Activation Steering via Attention-Level Interventions
-
针对传统残差流激活引导在多轮对话中因 KV 缓存污染导致生成崩溃的痛点,本文提出门控裁剪注意力增量引导(GCAD),将系统提示词注意力增量注入注意力输出层并配合动态 token 门控,大幅提升多轮一致性与特征表达稳定性。
- Re-evaluating Confidence Remasking in Masked Diffusion Language Models
-
系统性重评估代表性免微调置信度重掩码算法(WINO),揭示其在标准短块贪婪解码下因模型无法生成更优候选而收益微弱,但在搭配随机伯努利去掩码策略或非贪婪采样时能有效纠错但加剧多样性坍缩。
- Reconsidering Positional Supervision in Masked Diffusion Language Model Training
-
针对掩码扩散语言模型(MDLM)在迭代并行解码中对微小位置偏移极其敏感的根本缺陷,本文将非自回归翻译中的对齐灵活性引入 SFT 训练,设计了插入
<slack>占位标记与仅折叠空白的 CTC-S 辅助损失函数,在不改动推理管线的前提下显著增强了模型的位置容错性,并在四项开放式生成评测上实现全面提升。 - Reflective Prompted Policy Optimization: Trajectory-Grounded Revision and Salience Bias
-
针对黑盒大语言模型策略优化仅依赖标量奖励而缺乏行为诊断信号的问题,本文提出了结合轨迹诊断与全局搜索的两阶段策略优化框架 R2PO,揭示并系统缓解了多轨迹诊断中的“显著性偏差”,在十个强化学习基准上大幅提升了策略搜索速度与训练稳定性。
- ReLoop: Structured Modeling and Behavioral Verification for Reliable LLM-Based Optimization
-
针对大语言模型生成运筹优化代码时求解器可行却语义错误的“静默失败”痛点,本文提出结合四阶段结构化建模与求解器参数扰动行为验证的 ReLoop 框架,在无需真实标签下大幅消除可行性与正确性鸿沟。
- Rethinking Language Model Scaling under Transferable Hypersphere Optimization
-
针对大语言模型在二阶/矩阵预条件优化器下缺乏跨算力超参迁移律且规模化易失稳的问题,本文提出基于 Frobenius 超球面约束的 HyperP 参数化框架与 SqrtGate 路由机制,首次实现跨模型宽度、深度、数据量及 MoE 粒度的最优学习率零样本迁移,在 \(6\times 10^{21}\) FLOPs 算力下取得 1.58 倍计算效率杠杆并实现表征稳定性迁移。
- Rethinking LLM Fine-Tuning via Weight Space Reparameterization: Preserving Safety during Downstream Adaptation
-
针对下游微调容易抹除大模型对齐安全性的痛点,本文提出 WSR-Tune,通过安全激活协方差构建正交基对权重矩阵重参数化,将分散的安全表征高度压缩至极少数坐标并予以冻结,仅更新互补子空间以兼顾下游任务性能与鲁棒防御。
- Rethinking Psychometric Evaluation of LLMs: When and Why Self-Reports Predict Behavior
-
通过构建框架粒度、会话上下文与身份诱导的 \(2 \times 2 \times 2\) 阶乘实验,揭示大语言模型心理测量自评与下游行为仅在共享上下文及细粒度意图下具备预测力,跨会话泛化依赖任务特质且角色设定无法弥合解耦鸿沟。
- Rethinking Structured Generation: Can Graph-Based Reasoning Resolve Ambiguity?
-
将结构化生成从确定性单输出预测重塑为歧义感知的集合推理问题,通过候选结构图建模、边感知 GNN 关系推理与多有效解损失,彻底解决单参考监督对正确替代解的梯度压制。
- RVR: Retrieve-Verify-Retrieve for Comprehensive Question Answering
-
针对开放域多答案问答场景下单轮检索与智能体多跳搜索难以兼顾高覆盖率与低冗余的瓶颈,本文提出了“检索-验证-检索”(RVR)迭代框架,利用 LLM 验证器过滤已检出高质量文档作为后续轮次上下文,并对检索器进行增补目标对比微调,在大幅降低搜索开销的同时显著提升完整答案召回率。
- Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models
-
针对掩码扩散语言模型依赖贪婪置信度重掩码导致的短视局部最优与路径坍缩问题,本文提出自奖励序贯蒙特卡洛(SR-SMC)算法,将轨迹累积置信度严格推导为粒子重要性权重,无需额外训练或外部判别器即可在推理阶段引导扩散过程向全局高置信度解收敛。
- Self Driving Datasets: From 20 Million Papers to Nuanced Biomedical Knowledge at Scale
-
针对传统生物医学数据库人工维护成本高昂、滞后文献且严重遗失实验语境的缺陷,本文提出了自驱动数据集构建系统 Starling,基于 2250 万篇 PubMed 文献建立实体标注与混合检索基础设施,由多智能体协作闭环自主生成检索探针、诱导抽取模式并提炼结构化记录,以单条记录低于 0.001 美元的成本构建出 630 万条兼具极高准确率与细粒度实验语境的生物医学数据集。
- Simulating Human Memory with Language Models
-
针对现有前沿大语言模型因拥有超人类的完美逐字记忆而无法有效充当用户模拟器的问题,本文构建了包含10项经典认知心理学任务的记忆基准,实证揭示了常规提示与上下文示例难以模拟人类遗忘规律,进而提出基于认知理论四组块容量约束的记忆智能体 Compactor,显著提升了模型对人类记忆与遗忘规律的模拟保真度。
- SLS-Bench: A Benchmark for Incident Log Summarization with Synthetic Observability Data
-
针对真实生产环境故障日志收集成本高且涉及隐私导致的评测缺失问题,本文提出基于真实事后分析报告(Postmortem)驱动的端到端故障日志总结基准 SLS-Bench,包含 90 个异构分布式系统故障任务及大规模合成日志流,并对 14 款主流前沿与开源大语言模型智能体进行了全方位评测与成本-质量 Pareto 分析。
- Sparse Layers are Critical to Scaling Looped Language Models
-
本文通过严格的等算力(IsoFLOP)对照实验证明,稀疏混合专家(MoE)层能通过跨循环路由分流打破权重绑定的表达力瓶颈,解决循环语言模型(Looped LM)的缩放赤字,并在循环边界实现天然且高效的免训练早退推理。
- Structuring Open-Ended NAS: Semi-Automated Design Knowledge Structuring with LLMs for Efficient Neural Architecture Search
-
针对基于大语言模型的开放式神经架构搜索中知识池杂乱与搜索低效的问题,提出半自动化模型设计属性树构建知识库,并结合属性公平采样、帕累托前沿变异与多重验证反馈回路实现高效架构探索。
- TED: Text-Axis Evidence Decomposition for Prompted Anomaly Localization
-
针对 CLIP 适配模型在跨域异常检测中易将高频正常区域与真实缺陷混淆的痛点,TED 提出在共享文本响应轴上解耦源域缺陷与难负例证据,实现无需目标域微调的即插即用像素级异常重评分。
- The Expressivity Boundary of Probabilistic Circuits: A Comparison with Large Language Models
-
本文提出自回归统一框架,系统证明并揭示了概率电路(PC)相比 Transformer 的两大表达瓶颈:概率空间凸组合造成的输出瓶颈,以及受限于固定 vtree 路由结构的分离秩上下文编码瓶颈。
- The Grounding Gap: How LLMs Anchor the Meaning of Abstract Concepts Differently from Humans
-
通过复现认知科学属性生成与多维评分实验并结合 SAE 机械可解释性探针,揭示大语言模型在自由生成中过度依赖字词关联而严重低估情绪和内部状态,形成与人类上限差距显著且跨架构趋同的“扎根鸿沟”。
- The Override Gap: A Magnitude Account of Knowledge Conflict Failure in Hypernetwork-Based Instant LLM Adaptation
-
揭示基于超网络的即时大模型参数内化(如 Doc-to-LoRA)在知识冲突下失效的根源在于生成适配器信号幅度不足而非表征缺陷,提出免训练的选择性层增强与冲突感知内化策略,将深层冲突准确率从 46.4% 提升至 71.0%。
- The Silent Hyperparameter: Quantifying the Impact of Inference Backends on LLM Reproducibility
-
本文首次系统性量化了推理后端对大模型评测复现性的影响,证明在完全冻结模型权重、解码参数与硬件的受控条件下,仅替换推理引擎就会导致基准得分最高出现 16.6 个百分点的漂移,并将根因归结为隐式配置缺陷与高并发优化引入的数值累积漂移。
- Theory of Mind and Persuasion Beyond Conversation: Assessing the Capacity of LLMs to Induce Belief States via Planning and Action
-
论文提出了评估大语言模型在非对话交互中通过多步物理规划诱导他人产生特定真/假信念状态的基准 NCP-ExploreToM,发现前沿模型(GPT-5)成功率约达 80% 且超越人类,但对上下文场景的脆弱性显著高于人类,同时彻底打破了“智能体规划必然难于问答理解”的传统假设。
- Theory on Attention Dynamics for Out-of-Distribution In-Context Learning
-
本文针对单层 Softmax Transformer 在上下文学习中的分布外(OOD)泛化性能下降与微调遗忘问题,首次建立了基于 \(\alpha\) 型(正确特征置信度)与 \(\beta\) 型(错误特征干扰度)注意力权重动力学的理论分析框架,显式推导了协变量偏移下的 OOD 泛化误差公式,并给出了模型在 OOD 微调时源域发生正向迁移或灾难性遗忘的几何相变条件。
- Token Inflation: How Dishonest Providers Can Overcharge for Large Language Model Usage
-
揭示了主流大模型按 Token 计费审计中存在的“信任悖论”,证明不诚实服务商利用审计框架对受控工件的依赖,能以极低算力成本将隐藏推理计费虚报高达 1469% 且完全规避检测。
- Token Time Continuous Diffusion for Language Modeling
-
提出 Token Time Continuous Diffusion (TTCD),通过在连续空间流匹配中引入每 token 独立时间与基于初始不确定度的退噪排序,避免了离散扩散的多 token 并行独立采样误差,在极少步数生成下显著超越离散扩散与现有连续扩散基线。
- Training-Free Task Vectors for LLM Behavioral Control
-
提出无需微调的任务向量(TFTV),仅通过前向传播激活统计与权重奇异值分解将表征引导方向映射为秩一权重更新,在保持模型原有架构与通用能力的同时实现行为特征的加法学习、减法消除与线性多特征组合。
- Training Optimal Large Diffusion Language Models
-
提出了首个涵盖计算受限与数据受限两大体制的离散扩散语言模型大规模缩放定律 Quokka,指出扩散模型相比自回归模型更为数据饥渴(需分配 2–5 倍训练数据),并揭示了过拟合 U 型验证损失曲面及最优建模选择。
- Triage: Evaluating Prospective Metacognitive Control in LLMs under Resource Constraints
-
本文提出首个评估大语言模型前瞻性元认知控制能力的基准框架 TRIAGE,通过在有限 Token 预算下对任务池进行联合选择、排序与预算分配,对照 0-1 背包 Oracle 揭示出当前模型难以自律遵守自身预算、推理增强反而损害无解题识别能力的本质缺陷。
- Trust the Direction, Search the Step: Zero-and-First-Order Methods for LLM Fine-Tuning
-
提出零阶与一阶混合优化框架(ZFO),将高维参数更新解耦为一阶优化器确定搜索方向与沿该方向一维子空间内的低开销零阶前向探测,仅需两次对称探测即可构建二阶/三阶泰勒或帕德局部曲率模型并闭式选取最佳步长,显著改善大模型微调的稳定性和收敛质量。
- TUBE: Tangent Upper Bound on Evidence for Discrete Diffusion Language Models
-
针对离散扩散与任意阶自回归模型无法精确计算对数似然的问题,本文提出了基于对数函数切线展开的证据切线上界(TUBE),构建了严格无偏的有限样本蒙特卡洛上界估计量,并首次通过双向似然界定证实离散块扩散模型的真实似然依然显著落后于标准自回归基线。
- Uncertainty Quantification for Large Language Diffusion Models
-
针对大语言扩散模型(LLDM)非自回归迭代去噪特性与传统自回归不确定性量化方法失配的困境,提出了首套利用去噪轨迹语义不稳定性、动态重掩码及计算复杂度的轻量免采样 UQ 框架,并设计了性能逼近昂贵采样基线且计算开销降低达两个数量级的 D-CoCoA 方法。
- Unlocking LLM Creativity in Science through Analogical Reasoning
-
本文针对大语言模型在开放式科学探索中普遍存在的模式坍塌缺陷,基于认知科学结构映射理论提出了类比推理(AR)解法生成框架,通过跨领域实体映射与共享关系迁移异质先验,大幅提升了候选方案的多样性与新颖性,并在扰动预测、细胞通讯、脑区交互及寡核苷酸性质预测四项真实生物医学任务上取得显著增益。
- Value Entanglement: Conflation Between Different Kinds of Good In (Some) Large Language Models
-
论文揭示了大语言模型内部普遍存在的“价值纠缠”现象——模型常将道德之“好”错误混淆进语法正确性与经济价值判断中,并通过残差流表征几何分析与定向消融证明了该混淆的因果机制及其可修复性。
- When Attention Closes: How LLMs Lose the Thread in Multi-Turn Interaction
-
揭示大语言模型在长多轮交互中遗忘系统指令的双通道转移机制:生成位置对初始目标词元的注意力衰减关闭直接通道,模型行为转由残差流表征被动维持,导致与架构深度和目标复杂度高度相关的差异化退化。
- When Should LLMs Be Less Specific? Selective Abstraction for Reliable Long-Form Text Generation
-
针对长文本生成中模型易在过度细节处产生事实幻觉的问题,提出选择性抽象(Selective Abstraction)框架,将回答拆解为原子声明并将低置信度声明替换为更通用、更可靠的高层抽象,在大幅降低事实错误率的同时保留核心有效信息。
- Which Way Did It Move? Diagnosing and Overcoming Directional Motion Blindness in Video-LLMs
-
论文揭示了当前主流 Video-LLM 普遍存在无法辨别单物体平移运动方向的“方向性运动盲区”,通过表征探测证明该缺陷源于语言读取位置未能将已保留的运动信号与文字选项绑定的“方向绑定鸿沟”,并据此提出了在训练期监督投影器相邻帧特征差分预测归一化 2D 运动矢量的轻量目标 DeltaDirect。
- Who&When Pro: Can LLMs Really Attribute Failures in AI Agents?
-
提出了基于前缀热启动注入的大规模智能体故障归因基准 Who&When Pro,包含跨文本/图像/视频与单/多智能体的 12,326 条黄金故障轨迹,并系统揭示了前沿大模型在定位决定性步骤与根因诊断上的能力瓶颈与协议权衡。
- Why Are LLMs Confidently Wrong? Correcting Overconfident Errors via Causal Head Intervention
-
本文提出基于类别因果注意力头干预的推理期校准框架 CoCHI,将模型预测解耦为四种正确性与置信度组合,通过可微因果头门控定位并抑制促发高置信错误的注意力头与干扰头,在无需重新训练且零推理额外计算开销下大幅降低预期校准误差并保留原有准确率。
- Within-Model vs Between-Prompt Variability in Large Language Models for Creative Tasks
-
通过对 12 款主流 LLM 在 10 种发散性创造力提示词下进行万次级(N=12,000)重复采样与线性混合效应方差分解,揭示输出质量(独创性)主要由模型选择与提示词共同驱动,而输出数量(流畅度)则完全被模型固有属性与模型内采样随机性主导,从实证上证伪了单次采样评测的有效性。
- WorldSpeech: A Multilingual Speech Corpus from Around the World
-
针对低资源语言标注配对语音数据匮乏及初始 ASR 对齐失效的瓶颈,提出覆盖 76 种语言、包含 65k 小时真值对齐语音的多语言语料库 WorldSpeech,并通过迭代对齐精炼大幅提升低资源语言抽取产率与识别精度。