🧪 ICML2026 论文汇总¶
1843篇ICML2026论文解读,涵盖图像生成(141篇)、模型压缩(116篇)、AI 安全(114篇)、强化学习(110篇)、可解释性(91篇)、多模态 VLM(89篇)、优化/理论(88篇)、LLM Reasoning(78篇)等 51个方向。每篇含一句话总结、核心思想、方法详解、实验结果与局限性分析,5分钟读懂一篇论文核心思想。
💡 LLM Reasoning (78)¶
- A Formal Comparison Between Chain of Thought and Latent Thought
-
本文从计算复杂度理论出发,形式化比较 CoT(链式思维)与隐式思维(Looped Transformer / Coconut)的表达能力,证明隐式思维在多对数深度下严格达到 \(\mathsf{TC}^k\),而 CoT 最多到 \(\mathsf{TC}^{k-1}\);同时在概率设置下首次揭示 CoT 通过随机解码可支持 FPRAS 计数,反过来超越确定论隐式思维。
- Aligning Tree-Search Policies with Fixed Token Budgets in Test-Time Scaling of LLMs
-
针对部署时"每条 query 给定固定 token 预算"的现实约束,本文提出 Budget-Guided MCTS(BG-MCTS),用"预算充足比 ρ"作为统一调度信号,让树搜索从早期广撒网、随预算耗尽逐渐转向深挖与补全答案,在数学/物理推理基准上稳定超过对预算"无感知"的树搜索基线。
- An Information-Theoretic Criterion for Efficient Data Synthesis
-
这篇论文用数据处理不等式解释合成数据为何有时有效、有时导致模型坍塌:只有当训练闭环持续引入稳定外部信号时,合成数据才是 information-open;而高 meta-level 的验证信号比实例级模仿更高效、更容易泛化。
- Are Large Reasoning Models Interruptible?
-
这篇论文把大推理模型从静态题目评测拉到会被用户打断、会收到中途更新的动态环境中,构建数学与编程评测协议,并发现强模型会出现推理泄漏、恐慌作答和自我怀疑三类稳定失效模式。
- Are Tools Always Beneficial? Learning to Invoke Tools Adaptively for Dual-Mode Multimodal LLM Reasoning
-
AutoTool 用强化学习让多模态大模型先判断“这题是否真的需要 zoom-in 工具”,再在工具辅助推理和纯文本推理之间自适应切换,从而在高分辨率感知、定位、幻觉检测和推理任务上同时提升准确率与效率。
- Attention Illuminates LLM Reasoning: The Preplan-and-Anchor Rhythm Enables Fine-Grained Policy Optimization
-
作者用注意力动力学给推理过程"显影"——发现模型在生成时存在一个"先铺垫(preplan)、后定锚(anchor)"的两拍节奏,并把刻画这个节奏的两个内部指标(WAAD/FAI)直接转成 RL 里的 token 级优势放大系数,让 GRPO 把信用集中打在真正决定下游推理走向的关键 token 上,在 Countdown、QA 和多个数学推理基准上稳定提点。
- Beyond Test-Time Memory: State-Space Optimal Control for LLM Reasoning
-
将 LLM 推理建模为隐空间上的最优控制问题(线性二次调节器 LQR),提出 Test-Time Control (TTC) 层在前向传播中执行有限时域规划并解码最优控制动作作为下一 token 表示,配合辛迭代 CUDA 高效求解器,作为适配器插入预训练 LLM 后在 MATH-500 上提升最多 +27.8%,AMC/AIME 上 Pass@8 提升 2-3 倍。
- Beyond Two-Stage Training: Cooperative SFT and RL for LLM Reasoning
-
提出 BRIDGE 框架,将 SFT 与 RL 的整合建模为双层优化问题——SFT 作为上层教师通过轻量 LoRA 模块学习选择性地向 RL 学生传递有益监督信号,在五个数学推理基准上平均绝对提升超过 3 个百分点。
- Biases in the Blind Spot: Detecting What LLMs Fail to Mention
-
提出一个全自动黑盒流水线来检测 LLM 的"未言明偏见"(unverbalized biases)——系统性影响模型决策但从未在 CoT 推理中被提及的隐性因素,通过 LLM 自动生成概念假设、反事实输入变体和分阶段统计检验,在三个决策任务上自动发现了性别、种族等已知偏见以及西班牙语流利度、英语水平、写作正式度等新偏见。
- Blending Supervised and Reinforcement Fine-Tuning with Prefix Sampling
-
提出 Prefix-RFT,通过从专家示范中采样前缀拼接模型续写来构建混合轨迹,在保持 RFT 目标导向优化的同时注入 SFT 的知识引导,在数学推理任务上显著超越独立 SFT、RFT 及已有混合方法。
🦾 LLM Agent (59)¶
- A Minimal Agent for Automated Theorem Proving
-
本文提出 AxProverBase——一个极简的 Lean 4 定理证明智能体,仅靠"编译器反馈 + 自管理笔记本 + 轻量工具搜索"三个组件,在不微调的前沿 LLM(Claude Opus)上达到甚至超越 Hilbert/Seed-Prover 等专用系统,成本却低出 100 倍。
- A Systematic Study of Behavioral Cloning for Scientific Data Annotation
-
这篇论文搭了一个由 9 个程序化合成标注任务 + 虚拟标注员组成的受控框架,系统研究「行为克隆」(让 VLM 直接模仿人类在标注界面里点击、导航、撤销的完整操作轨迹)能否替代「直接预测标签」,并通过训练动态、缩放规律、迁移能力和线性探针四个维度,揭示了技能分层涌现、模型比训练数据更少犯错却仍会纠错、多任务预训练才能迁移、以及跨任务共享的「出错」内部表征等一系列发现。
- ACON: Optimizing Context Compression for Long-horizon LLM Agents
-
Acon 用失败轨迹对比来优化自然语言压缩指南,同时压缩 agent 的历史和观察上下文,在 AppWorld、OfficeBench 和多目标 QA 上把峰值 token 降低 26% 到 54%,并保持或提升长程任务成功率。
- AdaMEM: Test-Time Adaptive Memory for Language Agents
-
AdaMEM 把智能体记忆拆成「离线存的长期轨迹记忆 + 在线现合成的短期策略记忆」两层,让智能体在长程任务执行到一半时还能随当前状态动态刷新指导策略,配合一个只保留「真正改变了动作」的策略的微调技术 Step-MFT,在 ALFWorld、WebShop、HotpotQA 上相对静态记忆基线最高拿到 13~17% 的相对提升。
- Agent-Omit: Adaptive Context Omission for Efficient LLM Agents
-
通过 Monte-Carlo rollout 量化"哪些回合的 thought / observation 可以省",再用冷启动 SFT + 双采样 omit-aware GRPO 训出能自适应跳过冗余思考和观测的 8B agent,五个基准上 token 用量大降而准确率与七大前沿模型持平。
- Agent JIT Compilation for Latency-Optimizing Web Agent Planning and Scheduling
-
这篇论文把网页 Computer-Use Agent 从逐步截图-调用 LLM-执行的循环,改造成类似 JIT 编译器的系统:把自然语言任务编译成可校验、可缓存、可并行调度的代码计划,从而让 JIT-Planner 比 Browser-Use 快 10.4×且准确率高 28pp,让 JIT-Scheduler 比 OpenAI CUA 快 2.4×且准确率高 9pp。
- Agentic Monte Carlo: Simulating Reinforcement Learning for Black-Box Agents
-
把"对黑盒 LLM Agent 做 RL"重写成"从最优策略后验里采样",用序贯蒙特卡洛(SMC)配一个轻量价值函数在测试时引导冻结的黑盒模型,不碰任何参数就实现 RL 式优化,在 AgentGym 三个环境上既超过 prompting 基线、又在放大测试时计算后反超需要全参数权限的 GRPO。
- AgentXRay: White-Boxing Agentic Systems via Workflow Reconstruction
-
作者把"对黑盒 agent 系统反推一个等价白盒 workflow"作为新任务 AWR,用 MCTS 在 agent 原语序列空间中搜索,再配上一种基于评分动态着色的 Red-Black 剪枝来平衡深度与宽度,在五个真实领域上实现可解释的白盒重建。
- Answer Only as Precisely as Justified: Calibrated Claim-Level Specificity Control for Agentic Systems
-
这篇论文把 agentic 系统里的“说得过细但证据不够”建模为 claim 级过度承诺问题,并提出 calibrated CSS:对每个原子 claim 在精确表述、粗粒度回退和省略之间做校准选择,在 LongFact 全量实验中将 OAU 从无后处理的 0.8460 提升到 0.9130,同时保留 0.9381 的特异性。
- AutoRPA: Efficient GUI Automation through LLM-Driven Code Synthesis from Interactions
-
提出 AutoRPA 框架,通过翻译器-构建器流水线将 ReAct 风格 GUI Agent 的交互轨迹自动蒸馏为可复用的 RPA 函数,结合混合修复策略迭代优化代码,在保持甚至超越原始 Agent 成功率的前提下减少 82%~96% 的 token 消耗。
👥 Multi-Agent (24)¶
- Beyond Majority Voting: LLM Aggregation by Leveraging Higher-Order Information
-
本文提出两种利用高阶信息的 LLM 回答聚合算法——基于一阶准确率信息的 Optimal Weight (OW) 和基于二阶相关性信息的 Inverse Surprising Popularity (ISP),在不需要标签的条件下证明性优于多数投票,并在 UltraFeedback、MMLU 和医疗健康数据集上验证了一致的提升。
- CoOT: Learning to Coordinate In-Context with Coordination Transformers
-
把"如何与陌生伙伴协作"从 task-generalization 改写成 partner-generalization 的 in-context 学习问题:训练一个 Decision Transformer 在跨 episode 的交互轨迹上预测最佳响应动作,让模型不更新参数就能在几局之内适应任何未见过的伙伴。
- Does Persona Make LLMs K-pop Fans? A Pilot Study of LLM-Based Online Concert Audience Agents
-
作者搭了一套十个 LLM 智能体实时刷弹幕的"虚拟观众"系统,给录播的 K-pop 演出配上真人感的粉丝聊天,并通过一次 N=11 的被试内试点实验发现:给每个智能体加上独立人格能显著提升模型输出层面的多样性和"自然度",但并不能转化为更强的社交连接感、参与度或情感共鸣——因为 K-pop 弹幕本质上是"集体独白"而非人际对话。
- E-mem: Multi-Agent Based Episodic Context Reconstruction for LLM Agent Memory
-
E-mem 把"预处理压缩成嵌入/图"的传统记忆范式改成"保留原始上下文 + 小模型助手就地推理"的情景重构范式:master agent 只做全局规划,多个 SLM assistant 各自守着一段未压缩的原文,按多路由检索激活后再做局部推理回传证据,在 LoCoMo 上 F1 反超 SOTA 7.75 个点的同时把 token 消耗砍掉 70%。
- EduMirror: Modeling Educational Social Dynamics with Value-driven Multi-agent Simulation
-
EduMirror 把"校园欺凌""同伴合作"这类教育社会现象搬进一个由 LLM 驱动的多智能体沙盒:用基于马斯洛需求层次和社会价值取向(SVO)的"价值驱动智能体"扮演学生/老师,再配一套"双轨测量"协议把可观测行为和潜在心理状态都量化出来,从而在伦理安全的数字环境里做"如果换一种干预会怎样"的反事实实验。
- EngiAgent: Fully Connected Coordination of LLM Agents for Solving Open-ended Engineering Problems with Feasible Solutions
-
EngiAgent 把工程问题求解拆成 Analyzer/Modeler/Verifier/Solver/Evaluator 五个专家 Agent,再用一个全连接协调器动态路由反馈(而不是走固定流水线),让 GPT-4o 上工程任务的可行解率从 5.66%(zero-shot)/7.55%(MM-Agent)一跃到 64.15%,平均比此前 SOTA 提升约 7 倍。
- Sheaf-ADMM: Learning Multi-Agent Coordination via Sheaf-ADMM
-
Sheaf-ADMM 把多智能体协调问题做成端到端可微的 ADMM 展开——每个 agent 只看局部 patch,独立解 ADMM 子问题(\(\bm x\)-update)、通过 cellular sheaf 定义的"边空间投影"协商一致(\(\bm z\)-update)、用对偶变量 \(\bm u\) 累积分歧;在 maze pathfinding / MNIST / Sudoku 上 agents 协同得出正确全局解,且推理路径有可分析的 primal/consensus/dual 三态——比 MPNN 更可干预。
- MAS-Orchestra: Understanding and Improving Multi-Agent Reasoning Through Holistic Orchestration and Controlled Benchmarks
-
把"自动多智能体系统设计"重新表述为一次性输出整张 MAS 的函数调用 RL 问题,并配套 MASBench 从 Depth/Horizon/Breadth/Parallel/Robustness 五个轴说清楚"什么时候多智能体真的比单智能体强"。
- MASPO: Joint Prompt Optimization for LLM-based Multi-Agent Systems
-
MASPO 通过多粒度联合评价(局部有效性 + 前瞻潜力 + 全局对齐)+ 错位案例驱动的进化束搜索,在不依赖标注的前提下端到端地为整条多智能体链路联合优化角色提示词,6 个任务上平均提升约 2.9 分。
- MASPOB: 用 GNN 代理 + LinUCB + 坐标上升做多智能体提示优化
-
MASPOB 把多智能体系统的 prompt 优化看作预算紧缩的黑盒优化,用 GAT 代理模型捕获 workflow topology 下的 prompt 耦合、用 LinUCB 在嵌入空间算 epistemic uncertainty、用坐标上升把联合搜索拆成序贯单体问题,复杂度从 \(\mathcal{O}(\prod |\mathcal{P}_i|)\) 降到 \(\mathcal{O}(\sum |\mathcal{P}_i|)\);在 6 个基准(QA/Code/Math)上平均 80.58 超越 MIPRO 78.87、AFlow 78.52、IO 68.56。
⚖️ 对齐 / RLHF (37)¶
- Adaptive Probe-based Steering for Robust LLM Jailbreaking
-
这篇论文把 probe-based contrastive steering 改造成更强的白盒红队评测工具,用自适应重训练修正有偏 probe,并用激活统计自适应设定 steering 强度,从而显著暴露加固 LLM 的越狱脆弱性。
- Alignment-Aware Decoding
-
Alignment-Aware Decoding 直接在推理时利用 DPO 模型相对 SFT 参考模型的 token 概率比作为隐式对齐奖励,在无需额外训练或外部 reward model 的情况下,比 greedy、Bo2 和 EFT 更稳定地生成高对齐质量回答,并可进一步产生合成偏好数据改进 DPO。
- Autoregressive Direct Preference Optimization
-
作者发现 DPO 在推导目标函数时其实是"先按整条回答建 Bradley-Terry 偏好模型、事后才假设模型自回归",顺序反了;ADPO 把自回归假设提前到建 BT 模型之前——在输出空间的前缀闭包上定义能量函数,推出一个极简的新损失:把 DPO 里的求和符号从 log-sigmoid 内部挪到外部,并由此首次区分出"token 长度 \(\mu\)"与"反馈长度 \(\mu'\)"两个独立的长度度量,打通从整条回答到单 token 的任意粒度训练。
- Boosting Direct Preference Optimization with Penalization
-
本文提出 DPOP(Direct Preference Optimization with Penalization),在标准 DPO 偏好损失之外,额外惩罚"参考模型自己对同一 prompt 贪婪解码出的响应" \(y_g\),并用一个 detached 门控只在"策略当前仍把被拒响应排在被选响应之上"时才激活这个惩罚,从而把 DPO 一直没用上的参考-贪婪信号变成有效的离线对齐信号,在 AlpacaEval 2.0 上以长度控制胜率超过 DPO/SimPO/AlphaDPO。
- Consistency Training Can Entrench Misalignment
-
本文提出"一致性非中性假说",通过在 108 个"模型有机体"上评估 7 种一致性训练方法,发现一致性训练并非对齐中性的——它系统性地抑制脆弱的奖励黑客和涌现性错位,但放大稳定的谄媚行为,分布偏移(而非分数选择)是主要驱动因素。
- Curriculum Learning for Safety Alignment
-
本文提出 Staged-Competence —— 一个把"模型自身的偏好对齐 margin"作为难度分、再用"分阶段更新参考模型 + 阶段内 competence-based 采样"双重课程的 DPO 安全对齐框架,在三种 8B 量级 LLM 上把 OOD 有害回答率平均降 16%、越狱攻击成功率降 20%,同时几乎不损伤通用能力与不引入过度拒答。
- Decoupling Reasoning and Confidence: Resurrecting Calibration in Reinforcement Learning from Verifiable Rewards
-
本文先理论证明 RLVR(如 GRPO)训练中"提升准确率"与"减小校准误差"两个目标在 Fisher 度量下梯度方向负相关、不可调和,再提出 DCPO:让模型在推理轨迹后显式吐出一段 verbalized 置信度,给推理 token 和置信度 token 分配各自的 reward / advantage / 掩码梯度,从而在保持 GRPO 同等准确率的前提下把 ECE 从 0.435 降到 0.128(相对降 71.6%)。
- Efficient Preference Poisoning Attack on Offline RLHF
-
针对 log-linear DPO 提出"翻一条偏好标签 = 给损失梯度加一个与策略参数无关的固定向量"的关键观察,把目标投毒攻击归约为二值稀疏近似问题,给出基于 LLL 格基约化的 BAL-A 和基于匹配追踪的 BMP-A 两种算法以及可证明的恢复 / 不可能性条件。
- \(f\)-Divergence Regularized RLHF: Two Tales of Sampling and Unified Analyses
-
本文给在线 RLHF 在通用 \(f\)-divergence 正则下首次建立 \(O(\log T)\) regret 和 \(O(1/T)\) 次优 gap 上界,提出两套采样策略:(1) 基于 optimism in face of uncertainty 加 bonus 项;(2) 一个新颖的 "derivative-as-uncertainty" 视角——把 \(f'\) 当作不确定性信号,从而设计 derivative-based 采样而无需在每轮显式估计 confidence bound。
- F-TIS: Harnessing Diverse Models in Collaborative GRPO
-
F-TIS 把"截断重要性采样 (TIS)"与"按 KL 阈值过滤负优势 off-policy 样本"两件事拼到一个 GRPO 损失里,让大小不同、专长不同、甚至只有一部分参数可训的多个 LLM 在同一次去中心化 GRPO 训练中互相喂样本,最终收敛和纯 on-policy 持平,并在 OOD 数学任务上最高带来 +12% 的性能。
👻 幻觉检测 (21)¶
- A Unified Definition of Hallucination: It's The World Model, Stupid!
-
这是一篇 position paper,主张把翻译、摘要、开放问答、RAG、多模态、智能体等各路"幻觉"统一成同一件事——对一个"参考世界模型"的、用户可见的、不准确的世界建模:每个场景只是对"参考世界 \(W\)、视图函数 \(V\)、冲突策略 \(P\)"三件套做了不同选择,从而把碎片化的定义收敛成一个可比较、可生成大规模基准的通用模板。
- Adaptive Residual-Update Steering for Low-Overhead Hallucination Mitigation in Large Vision Language Models
-
这篇论文提出 RUDDER,在 LVLM 的 prefill 阶段从残差更新中提取每样本视觉证据方向,并在解码时用 Beta Gate 自适应注入,从而以接近单次前向的开销降低物体幻觉。
- Automatic Layer Selection for Hallucination Detection
-
提出 FEPoID(内在维度的首个有效峰值)作为无需训练的自动层选择准则,并结合首句截断策略(FST),在多种 QA 和摘要幻觉检测基准上持续选出接近最优的中间层,显著超越已有基线方法。
- Building Reliable Long-Form Generation via Hallucination Rejection Sampling
-
提出 SHARS 框架,在推理时逐句检测并拒绝幻觉内容、仅保留经验证的事实段落继续生成,配合改进的语义熵检测器 HalluSE,在 FactScore 上将事实精度提升约 20–26%,同时保持甚至增加生成中的事实信息量。
- Capturing Gaze Shifts for Guidance: Cross-Modal Fusion Enhancement for VLM Hallucination Mitigation
-
提出 GIFT 方法,通过追踪 VLM 在理解用户查询时视觉注意力的正向变化("注视转移")构建视觉显著性图,并在解码阶段同时增强视觉和查询 token 的注意力以保持跨模态融合平衡,在 CHAIR 上最高提升 20.7%,且仅增加 1.13× 延迟。
- Finding the Correct Visual Evidence Without Forgetting: Mitigating Hallucination in LVLMs via Inter-Layer Visual Attention Discrepancy
-
本文发现 LVLM 幻觉源于对正确视觉证据的"关注不足 + 生成中遗忘",并观察到注意力对视觉证据存在显著的层间差异(ILVAD),据此提出一个 train-free / plug-and-play 的方法:用层间差分构造视觉证据显著性图,再在生成过程中持续加权视觉证据 token 和"扎根于证据"的文本 token,在 5 个 LVLM × 5 个幻觉/综合 benchmark 上一致降低幻觉。
- From Flat Facts to Sharp Hallucinations: Detecting Stubborn Errors via Gradient Sensitivity
-
本文把 LLM 幻觉检测从"看输出概率"切到"看 loss landscape 曲率"——在 embedding 加 Gaussian 噪声测量梯度方向与幅度的扰动,作为 Hessian 谱半径的廉价代理,在 12 个 model-dataset 组合上 AUROC 全面超越 entropy / Semantic Entropy / EigenScore 等基线。
- From Out-of-Distribution Detection to Hallucination Detection: A Geometric View
-
本文把 LLM 的下一 token 预测视为一个超大词表上的分类任务,将两个轻量级 OOD 检测器 NCI(特征与权重向量的接近度)与 fDBD(特征到决策边界的距离)迁移过来,配合"训练特征均值的解析代理 \(\mu_G\)"和"只在 top-\(k\) 候选 token 上算边界距离"两个适配,得到一个无训练、单样本的推理类幻觉检测器,在 CSQA / GSM8K / AQuA 上稳定优于困惑度、Semantic Entropy、SelfCheckGPT 等基线。
- Hallucination is a Consequence of Space-Optimality: A Rate-Distortion Theorem for Membership Testing
-
本文把"LLM 记住随机事实"形式化为带连续置信分数的成员测试问题,证明在事实稀疏极限下最优记忆开销恰好等于事实/非事实输出分布之间的最小 KL 散度——即"率失真定理"——并由此推出:在 log-loss 目标下,给定有限记忆,最优策略不是弃答也不是遗忘,而是把一定比例的非事实和事实压在同一个高置信点上,幻觉是信息论意义下的最优误差形态。
- Hallucinations Undermine Trust; Metacognition is a Way Forward
-
本文是一篇 position paper,论证"彻底消除 LLM 幻觉"在原理上无法逃避一个"区分度税"(discrimination gap → utility tax);作者主张把目标从"消灭幻觉"改为忠实表达不确定性(faithful uncertainty),并把这种 metacognition 视为 agentic LLM 调用工具时不可或缺的控制层。
📊 LLM 评测 (40)¶
- Agent World Model: Infinity Synthetic Environments for Agentic Reinforcement Learning
-
本文提出 Agent World Model,一条从场景、任务、数据库、MCP 工具接口到验证器的全合成流水线,生成 1000 个可执行数据库驱动环境,并用它们训练工具调用 Agent,在 BFCLv3、\(\tau^2\)-bench 和 MCP-Universe 上取得更强的域外泛化。
- AGZO: Activation-Guided Zeroth-Order Optimization for LLM Fine-Tuning
-
AGZO 发现线性层梯度行空间受前向激活子空间约束,并据此在零阶微调中只沿激活引导的低秩方向扰动参数,从而在几乎保持 MeZO 级别显存占用的同时提升梯度对齐和下游任务性能。
- Authority, Truth, and Citation Bias: A Large-Scale Multi-Domain Benchmark for Studying Epistemic Susceptibility in Large Language Models
-
本文提出 AuthorityBench——一个 22 万条提示的多领域基准,用完全平衡的 2×2 因子设计(独立操纵"论断真假 × 引用真假")来隔离"引用这个权威信号本身"对 LLM 认知行为的影响,发现只要带上引用(无论真伪)都会抬高幻觉率,而其中"真论断 + 伪造引用"是所有被测模型里幻觉最严重的条件(最高把通识领域幻觉拉到 35–77%),且模型越大并不越鲁棒。
- BESPOKE: Benchmark for Search-Augmented Large Language Model Personalization via Diagnostic Feedback
-
提出 Bespoke 基准,通过 30 名标注者 3 周的真实聊天+搜索历史收集 2,870 个会话,构建包含细粒度偏好评分与诊断反馈的评测框架,系统评估搜索增强 LLM 的个性化能力,发现当前模型在所有配置下平均得分均不超过 60,个性化瓶颈在于历史推理而非生成。
- Beyond Log Likelihood: Probability-Based Objectives for Supervised Fine-Tuning across the Model Capability Continuum
-
本文系统研究了 SFT 中概率类目标函数的行为规律,发现标准 NLL 并非普适最优:在模型先验强的任务上先验倾向(prior-leaning)目标如 \(-p\) 显著优于 NLL(最高提升 16%),而在先验弱的任务上 NLL 仍然占优,揭示了由模型能力连续谱(model-capability continuum)主导的目标函数选择原则。
- Beyond Trajectory-Level Attribution: Graph-Based Credit Assignment for Agentic Reinforcement Learning
-
提出 GraphGPO,将所有 rollout 轨迹聚合为统一的状态转移图,利用图上全局最短路径信息为每一步计算基于距离的 advantage,实现比轨迹级归因更精细的信用分配,在 ALFWorld、WebShop、Sokoban 上显著超越 GRPO 和 GiGPO。
- BuildArena: A Physics-Aligned Interactive Benchmark of LLMs for Engineering Construction
-
BuildArena 把 LLM 丢进物理沙盒游戏 Besiege 里,让它用自然语言一砖一瓦搭桥、造车、造火箭,再用物理引擎跑仿真打分,从而第一次系统评测了 LLM"把语言变成能跑得动的真实结构"的工程构建能力——结果显示只有 GPT-5 在难任务上勉强能打,其余模型在 Hard 级别几乎全军覆没。
- CapBencher: Give Your LLM Benchmark a Built-in Alarm for Test-Set Overfitting
-
CapBencher 通过为每道题注入随机性(生成多个逻辑正确答案并随机选一个作为标准答案),将 benchmark 的 Bayes 准确率降到可控水平(如 50%),从而在公开发布 benchmark 的同时实现数据污染的黑盒统计检测——任何准确率显著超过 Bayes 上界的模型都被判定为存在污染。
- Correcting Prompt Dependence in LLM Benchmarks: A Bayesian Hierarchical Model with Embedding-Space Clustering
-
作者指出主流 LLM 基准指标依赖两个常被违反的假设——评测次数足够多(可用中心极限定理)、提示之间相互独立——并提出一个带「嵌入空间聚类」的贝叶斯层次模型 BHM-ESC:先把语义相似的提示聚成簇、簇内共享一个成功概率,再把簇数当未知量从数据里推断出来,从而在小样本下给出更可靠、且修正了提示依赖的性能估计,在对抗鲁棒性基准上把平均绝对误差降低 4–73%、预期对数后验密度提升 40–450。
- Decompose, Structure, and Repair: A Neuro-Symbolic Framework for Autoformalization via Operator Trees
-
本文提出 DSR(Decompose-Structure-Repair)神经符号框架,把自然语言定理形式化拆解为「分解 NL 成分 → 联合生成 FL 成分与算子树(OPT) → 基于子树定位的层级化修复」三阶段,在 ProverBench / ProofNet / PRIME 上以 7B 模型刷新 SOTA,并配套发布 156 题的研究生级 Lean 4 基准 PRIME。
⚡ LLM 效率 (48)¶
- A Risk Decomposition Framework for Pre-Hoc Fine-Tuning Prediction
-
微调 LLM 又贵又难预测,本文把「在开训前/早期就预测微调最终性能」这件事形式化成一个信息约束下的随机估计问题,把预测风险分解成不可约的内在极限(数据-模型静态兼容性)+ 可约的优化方差,证明优化方差的衰减速率有一个 \(c^{-\alpha}\) 的必然下界(再强的预测器也快不过它),由此推出预算最优的探测停止条件,并用「内在极限 × 衰减率」两个轴把任务组织成 Static-Sufficient / Dynamic-Critical / Noise-Dominant 三个可预测性区制,解释了为什么浅探测在 SST-2 上够用、在 GSM8K 上却失败。
- Beyond Sunk Costs: Boosting LLM Pre-training Efficiency via Orthogonal Growth of Mixture-of-Experts
-
提出对已收敛 MoE 模型的"正交增长"策略——深度方向用 interpositional 层复制、宽度方向用噪声专家复制——将 17B 模型扩展到 70B,在相同额外算力下比从头训练准确率提升 10.6%。
- CriticalKV: Optimizing KV Cache Eviction from an Output Perturbation Perspective
-
作者把"哪些 KV 缓存条目算关键"这个一直靠经验拍脑袋的问题,重新写成"最小化注意力输出扰动"的优化问题,推导出扰动的可解析上界(同时涉及注意力权重和经 \(W^O\) 投影后的 value 范数),并由此设计了一个即插即用的两阶段贪心选择算法,把 SnapKV/AdaKV/HeadKV 三种 SOTA 驱逐方法在 29 个长上下文数据集上的压缩损失平均砍掉一半以上。
- Diffusion Language Model Parallel Decoding via Product-of-Experts Bridge
-
扩散语言模型(DLM)能并行解码但质量差,直接用蒙特卡洛把 DLM 草稿校正到自回归(AR)目标又因分布差距太大而代价高昂;本文 PoE-Bridge 在 DLM 与 AR 之间插入一个 Product-of-Experts 中间桥分布,把「DLM→AR」这步难校正拆成「DLM→PoE→AR」两步易校正,配合混合温度采样与弹性拒绝窗口,在数学推理与代码任务上比标准 DLM 解码提速 5×、并恢复至少 95% 的 AR 精度。
- dLLM-Cache: Accelerating Diffusion Large Language Models with Adaptive Caching
-
针对扩散式大语言模型 (dLLM) 因双向注意力无法复用 KV cache 而推理极慢的问题,本文提出训练无关的 dLLM-Cache,对静态 prompt 用长间隔缓存、对动态 response 用短间隔刷新+按 Value 余弦相似度选 25% 最"变化"的 token 做局部重算,在 LLaDA 8B / Dream 7B 上获得最高 9.1× FLOPs 加速且分数基本不掉。
- Do Transformers Need Three Projections?三选一/二的 QKV 共享系统研究
-
论文系统比较三种 QKV 投影共享方案——Q=K-V(共享 query 和 key)、Q-K=V(共享 key 和 value)、Q=K=V(三者共享),发现 Q-K=V 在 LM 上 PPL 仅升 3.1% 但 KV cache 减 50%,与 GQA/MQA 正交可叠加得 87.5%-96.9% cache 减少;为 edge inference 提供 quantifiable memory benefit。
- DOT-MoE: 用可微 optimal transport 把 dense LLM 转成 MoE
-
DOT-MoE 把"dense FFN 转成 MoE 时怎么分配神经元到专家"建模成 differentiable optimal transport——Sinkhorn-Knopp 迭代解 entropic-regularized balanced transport + Straight-Through Estimator 让 neuron-to-expert assignment 和 router 联合 end-to-end 学习;在 LLaMA-2/3 + Qwen2.5 上 50% 激活参数下保留 90% dense 性能,超过 structured pruning / random / 聚类等所有 baseline。
- Dynamic Linear Attention
-
针对现有"多状态线性注意力"用固定规则合并记忆、会把关键 token 过早压进粗摘要并累积误差的问题,DLA 提出一套信息感知 + 容量受限的动态记忆框架:用一个轻量的"状态信息分数"按 token 级信息变化自适应地决定何时新建/合并记忆状态,并用固定大小的时序缓存压住状态膨胀,在 16 个数据集上稳定超过 SOTA 的 Log-Linear Attention,且 DLA 版 Mamba-2 能逼平同参数量的全注意力 Transformer。
- Efficient Training-Free Multi-Token Prediction via Embedding-Space Probing
-
本文提出 ESP(Embedding-Space Probing):在不修改任何权重、不训练任何辅助模型的前提下,把"prompt 嵌入均值"作为 mask token 注入到冻结 LLM 的输入序列里,借助一次前向同时探出未来多个 token,再用基础模型自身做无损推测验证,在 LLaMA3 / Qwen3 上比同类训练免费基线(LADE / STAND / PLD)的平均接受长度高 7–11%、吞吐高 15–19%。
- Ekka: Automated Diagnosis of Silent Errors in LLM Inference
-
Ekka 把 LLM 服务框架里"输出悄悄变烂、却没有报错"的静默错误诊断问题,建模为以 HuggingFace 这类参考实现为 oracle 的差分调试任务,用一套"组件映射 → 激活对齐 → 变点分析"的 agentic 流水线自动定位到出问题的具体模块,在 17 个真实 vLLM/SGLang issue 上取得 80% pass@1 / 88% pass@5 的诊断准确率,并新发现 4 个被开发者确认的隐藏 bug。
📚 预训练 (27)¶
- AC-ODM: Actor–Critic Online Data Mixing for Sample-Efficient LLM Pretraining
-
AC-ODM 把"预训练数据域权重怎么动态调"建模成一个强化学习的连续控制问题,用 DDPG 的 Actor-Critic 在训练过程中实时感知模型状态、输出各域采样权重,并用"域间梯度对齐度"当奖励——理论上证明这等价于最大化梯度的建设性干涉(有效下降步长),在 Pythia-1B 上比强基线少用约 66% 步数就达到最优困惑度,MMLU 相对提升 27.5%、HumanEval pass@1 翻到 2.23 倍,而每步墙钟仅增 0.4%、显存仅增 2%。
- Annotations Mitigate Post-Training Mode Collapse
-
作者发现 SFT 把模型对齐到一个低熵语义先验上、导致"指令模型越大越无聊"的反向 scaling,于是提出"标注锚定训练"——预训练阶段给文档配语义 tag、SFT 阶段对 tag 部分 mask loss,让推理时先采样语义再生成响应,从而在保持指令跟随能力的同时把语义多样性差距缩小 85%。
- Beyond Structural Symmetries: Linear Mode Connectivity via Neuron Identifiability
-
本文提出"有效函数类"和"神经元可辨识性"的理论框架,揭示打破结构对称性并不等于打破有效对称性——即使参数空间的置换对称已被消除,数据依赖的近似对称仍可能使神经元互换代价极低,并据此给出无需对齐即可实现线性模式连通性(LMC)的充分条件。
- Constrained Bayesian Experimental Design via Online Planning
-
本文提出 COPEx:通过"离线预训练 amortized 后验网络 + 设计策略 + 在线多步 lookahead 场景树"的半摊销方案,让贝叶斯实验设计在测试时能动态适应预算 / 成本 / 转移约束,在受约束的 location finding、CES、cost-aware AL 三类任务上 EIG / RMSE 一致超过 VPCE、ALINE、RL-BOED 等基线。
- Data Difficulty and the Generalization--Extrapolation Tradeoff in LLM Fine-Tuning
-
本文系统研究 SFT 中数据难度的作用,发现并不存在"普适最优难度",而是存在一个随数据规模增大而向更难方向漂移的最优难度,并用"in-distribution 泛化 gap"与"extrapolation gap"两个 gap 的 trade-off 给出 PAC-Bayes 解释。
- Decoupling the "What" and "Where" With Polar Coordinate Positional Embeddings
-
作者指出主流位置编码 RoPE 把"内容(what)"和"位置(where)"耦合进了同一个相位里,从而在需要"按位置找内容 / 按内容定位置"的任务上表现糟糕;他们提出 PoPE,用 softplus 把幅度(管 what)和纯位置相位(管 where)拆开,仅是 RoPE 的小改动,却在诊断任务、音乐/基因组/语言建模上一致更优,并且零微调就能外推到 10 倍训练长度,超过专门做外推的 YaRN。
- Different Layers, Different Manifolds: Module-Wise Weight-Space Geometry in Transformer Optimization
-
这篇 workshop 论文在 GPT-2 small 预训练中系统比较了「按模块分配流形约束」的几种方案,发现把强谱约束(Stiefel)放在注意力层、把弱约束(DGram)放在 MLP 层效果最好,而只要给注意力层用 DGram 训练就会发散——并给出了「奇异值膨胀 → logit 膨胀 → softmax 饱和 → 梯度退化」这条失稳机制解释。
- Dropout Universality: Scaling Laws and Optimal Scheduling at the Edge-of-Chaos
-
作者把 dropout 看作平均场信号传播理论中破坏 \(c^*=1\) 完美对齐不动点的"外场" \(h\),推出 Landau 方程、两参数标度坍塌以及 smooth/kinked 激活的两个不同普适类,并由此得到一个"零开销"的实用结论——前置 dropout(front-loaded schedule)在同等预算下比常数 dropout 在 MLP 和 ViT 上把测试损失降低 18–35%。
- Explaining Data Mixing Scaling Laws
-
这篇论文给"多领域数据配比缩放定律"补上了一直缺失的理论解释:把单领域缩放定律的两套经典理论(量化模型、投影线性回归模型)扩展到多领域,提出"共享头部、不相交尾部"的分布假设,识别出支配各领域 loss 的两个机制——容量竞争(有限模型容量被各领域的专用技能争夺,把所有领域 loss 全局耦合)和数据量噪声(越难学的领域 loss 降得越慢,使最优配比向难学领域倾斜),由此得到的模型不仅拟合误差更低、用的参数更少,还能跨尺度外推、用小模型拟合的参数预测大模型上的最优配比。
- FlexRank: Nested Low-Rank Knowledge Decomposition for Adaptive Model Deployment
-
FlexRank 把预训练大模型的每个线性层做 activation-aware 低秩分解(DataSVD),用动态规划在 \(O(L\cdot K)\) 时间内挑出一组严格嵌套的子模型对应不同算力预算,再用知识蒸馏联合训练这套共享权重,最后通过 Gauge-Aligned Reparametrization 把秩节省真正翻译成 FLOPs 节省——一次训练即可在 LLM 与 ViT 上得到逼近真实帕累托前沿的"一族"可部署模型。
✏️ 知识编辑 (8)¶
- AnyEdit++: Adaptive Long-Form Knowledge Editing via Bayesian Surprise
-
AnyEdit++ 用 token 级 Bayesian Surprise 找到长文本中的语义转折点,把 AnyEdit 的固定窗口切分改成结构感知的 Bayes-Chunk,并在数学、代码、新闻、诗歌等长文本知识编辑任务上稳定提升 BLEU 与 BERT Score。
- CrispEdit: Low-Curvature Projections for Scalable Non-Destructive LLM Editing
-
把 LLM 编辑写成"最小化编辑损失 s.t. 能力损失不变"的约束优化, 用 Bregman 散度等价转化为 Gauss-Newton Hessian 的低曲率子空间投影, 再借 K-FAC + 一个无需显式构造投影矩阵的 Kronecker 特征基技巧, 让 3000 条编辑在 A40 上 6 分钟跑完, 同时把 LLaMA-3-8B 的 MMLU/IFEval/ARC-C/TruthfulQA/GSM8K 平均掉点压到 < 1%, 显著优于 AlphaEdit / MEMIT / 微调。
- Do Text Edits Generalize to Visual Generation? Benchmarking Cross-Modal Knowledge Editing in UMMs
-
本文提出 UniKE——首个面向统一多模态模型 (UMM) 的"跨模态知识编辑"基准(2,971 个编辑主体、5,535 条 VQA 可验证实例),系统性地揭示了"文本侧编辑成功率 ~92% 但图像生成 VQA 仅 ~18.5%"的模态鸿沟,并通过"推理增强参数编辑"协议把 VQA 准确率最多拉高 18.6 个百分点,进一步用条件通路上的余弦漂移指标将根因定位到 LLM-to-DiT 投影瓶颈。
- From Backward Spreading to Forward Replay: Revisiting Target Construction in LLM Parameter Editing
-
本文系统剖析了 locate-then-edit 编辑中 backward spreading 为什么能 work 又为什么 work 得不彻底,并提出 forward replay:把第一决定层作为优化变量、再通过标准前向传播得到后续各层 target,无需额外算力就能在 MEMIT/RECT/PRUNE/AlphaEdit 之上一致涨点。
- KORE: Enhancing Knowledge Injection for Large Multimodal Models via Knowledge-Oriented Controls
-
KORE 通过两阶段"知识导向控制"为 LMM 注入新知识 — 一边把单条事实自动扩成结构化的多轮对话+指令任务(提升泛化),一边用先前知识的协方差矩阵零空间初始化 LoRA 适配器(最小化对旧能力的干扰),在 LLaVA-v1.5 / Qwen2.5-VL 上同时实现强适配和强保留。
- Reverse-Engineering Model Editing on Language Models
-
论文揭示 locate-then-edit 类知识编辑方法(ROME/MEMIT/AlphaEdit)的参数更新矩阵会通过其行空间泄露"被编辑主语"的指纹,并提出两阶段攻击 KSTER(先用 SVD 恢复主语,再用前后模型的熵差恢复 prompt),同时给出基于"语义诱饵"注入的子空间伪装防御方案。
- Revisiting Parameter-Based Knowledge Editing in Large Language Models: Theoretical Limits and Empirical Evidence
-
本文从"维度坍塌"假设出发,证明参数级知识编辑会沿低奇异值方向被放大并随序列编辑线性累积,进而在多模型、多数据集、多评测维度上系统性地拖垮 LLM 核心能力,并指出一个简单的检索式基线 SCR 在所有设定下都优于现有参数编辑方法。
- The Labyrinth and the Thread: Rethinking Regularizations in Sequential Knowledge Editing for Large Language Models
-
本文从优化角度证明:序列编辑(SE)之所以稳定,本质是"累积更新等价于一次性编辑(OTE)的解",而 AlphaEdit 的零空间投影、PRUNE/RECT 的后处理正则等花哨机制并非关键——只要保证 OTE-SE 对齐,去掉这些正则也能在 4 个主流 LLM 上稳定完成 2000 步序列编辑。
💬 LLM 其他 (39)¶
- A Geometric Relation of the Error Introduced by Sampling a Language Model's Output Distribution to its Internal State
-
本文从微分几何视角刻画 GPT 风格 LLM 在高熵分布上采样所引入的信息丧失,构造 \(\mathfrak{so}(n)\) 值 1-形式与平行输运算子,并在国际象棋探针实验中证明这种几何旋转与模型学到的世界向量高度同向。
- ANCHOR: Abductive Network Construction with Hierarchical Orchestration for Reliable Probability Inference in Large Language Models
-
ANCHOR 用"自底向上溯因 + 层级聚类" 构造稠密因子空间,对下游条件做粗到细检索得到稀疏相关因子集,再联合 Naïve Bayes 与一个 LLM 现场构造的潜变量因果贝叶斯网络做后验聚合,在 LLM 高风险决策场景中显著减少 "unknown" 预测并提升概率校准。
- Automated Formal Proofs of Combinatorial Identities via Wilf–Zeilberger Guidance and LLMs
-
WZ-LLM 把经典的 Wilf–Zeilberger 符号证明流程编译成 Lean 4 中可执行的证明骨架(递推 + 边界条件 + 侧条件),交给专门用 SFT + expert-iteration + DAPO 训练出的 WZ-Prover 逐项 discharge,在 100 个经典组合恒等式上把 pass@32 从 Goedel-Prover-V2 的 9% 提升到 34%。
- Compute as Teacher: Turning Inference Compute Into Reference-Free Supervision
-
本文提出 Compute as Teacher(CaT):把 GRPO 已经在采样的 G 条 rollouts 通过冻结锚模型"合成"出一个伪参考答案,再在非可验证领域用模型自己从该伪参考衍生的二元 rubric 给每条 rollout 打分作为 RL 奖励,从而在没有任何人工标注的情况下把推理算力直接变成监督信号,在 HealthBench 上相对基线最高提升 30%,并以 9× 更低的测试时算力匹配甚至超过 inference-time aggregation。
- Creative Collision: Directorial Persona Steering and Competition in Large Language Models
-
把两个语义对立的"导演人格"引导向量(Spielberg 乐观救赎 vs Scorsese 阴暗道德模糊)同时注入大模型残差流,系统刻画两个方向相互竞争时的道德基调、连贯度与几何变化,发现了"方向支配"、"连贯度低谷"和"第 28 层道德枢纽"三个反直觉现象。
- Deep Networks Learn to Parse Uniform-Depth Context-Free Languages from Local Statistics
-
作者提出一个可控歧义的"变树 RHM"概率上下文无关文法,并证明只用 root-to-pair / root-to-triple 这两个低阶矩 + 逐层聚类,就能恢复语法规则、进行 CYK 式解析,对应样本复杂度 \(P^\star \asymp v\, m_3\, m_2^{L-1} (p_2^2/2)^{1-L}\),CNN 与 Transformer 实验完全符合该幂律。
- Differential Syntactic and Semantic Encoding in LLMs
-
通过对共享句法结构或共享含义的句子做隐层表示平均得到"句法质心"和"语义质心",作者证明 DeepSeek-V3 等大模型的句子向量中相当一部分句法/语义信息是被线性叠加编码的,并且这两类信息在层间分布和正交消融上都呈现明显的可分离性——支持"句法相对自治"的语言学假说。
- Emergence of Hierarchical Emotion Organization in Large Language Models
-
论文用一个只靠 LLM 输出 logits、无需任何标注的建树算法,从模型对情绪词的下一词分布里"挖"出层级化情绪树,发现这种树随模型规模增大越来越接近人类心理学的情绪轮(emotion wheel),并进一步证明 LLM 在不同人口学 persona 下复现了与真人一致的系统性情绪识别偏见。
- Express Your Doubts: Probabilistic World Modeling Should Not Be Based on Token logprobs
-
这是一篇 position paper,主张:用 LLM 的 token softmax 概率(logprob)当成"世界事件概率"是理论上错的——因为 distribution estimation、response prediction 和 target distribution estimation 是三个不同任务,对应不同 ideal 输出分布;获取世界概率的正确做法是二阶预测——让 LLM 在输出里显式写出它对事件的概率(数值或语言修饰词),而不是去算"它说 X 的概率"。
- How Many Different Outputs Can a Transformer Generate?
-
本文从"有限精度 + 有界嵌入支撑"两个最基本的架构事实出发,证明任意 transformer 只能生成有限条"可达序列",给出可达序列长度随 prompt 长度线性增长、超过阈值后比例以 \(1/|V|^n\) 指数衰减的紧上界,并用 cramming 与 copying 实验在 Pythia/Qwen/Llama/Gemma 上验证理论斜率与实测仅差 5–10 倍。
📖 NLP 理解 (2)¶
- Causal Fine-Tuning under Latent Confounded Shift
-
本文提出 Causal Fine-Tuning (CFT):在标准 BERT 微调里嵌入一个 SCM 启发的"高级稳定特征 \(C\) + 低级混杂敏感特征 \(\Phi\)"分解,并用 front-door 风格的 do-calculus 调整公式做预测,在文本伪相关注入攻击下显著优于 SFT/SWA/WISE 等单域泛化基线。
- Controlling the Risk of Corrupted Contexts for Language Models via Early-Exiting
-
本文把"用户提供的损坏上下文会降低 LLM 性能"这个问题形式化为风险控制——以 zero-shot 表现作"安全基线",结合动态 early-exit(在中间层就出预测避免后层 overthink 有害上下文)+ context-aware 损失 + 改进的 Learn-then-Test 框架(保留负损失值用风险变换而非裁剪),在 9 个任务上既保证风险 ≤ user-specified \(\epsilon\),又获得 > 50% 的算力加速。
✍️ 文本生成 (2)¶
- Characterizing the Effect of Noise in Language Generation in the Limit
-
在 Kleinberg-Mullainathan 的"语言极限生成"形式化框架下,本文证明了对于均匀和非均匀生成,噪声水平 1 与任意有限噪声水平 \(i \geq 1\) 等价(层级坍缩),但无噪声与噪声 1 之间存在严格分离,并首次给出了非均匀噪声依赖可生成性的完整刻画。
- Score-Repellent Monte Carlo: Toward Efficient Non-Markovian Sampler with Constant Memory in General State Spaces
-
SRMC 用一个 \(d\) 维的 running score 平均(而不是 \(|\mathcal{X}|\) 维的经验测度)来记录历史,再通过指数 score-tilt 把这段历史折成一个"排斥已访问区域"的代理目标 \(\pi_\theta\),套在任何 base MCMC kernel 外面,就能在通用状态空间下用常数内存实现非马尔可夫、低方差、保持归一化无关性的采样器。
🗣️ 对话系统 (5)¶
- Context-Driven Incremental Compression for Multi-Turn Dialogue Generation
-
多轮对话里把整段历史拼进 prompt 既贵又会丢线索,本文提出 C-DIC:把对话看成交织的「话题线索」,在一块紧凑记忆里存可修订的逐线索压缩状态,每轮跑一个轻量的「检索 → 修订 → 写回」循环,并配套检索感知的截断时序反传(ra-TBPTT)训练,在数百轮对话上保持稳定的延迟和困惑度。
- DiscoverLLM: From Executing Intents to Discovering Them
-
DiscoverLLM 把 "用户没想清楚自己要什么" 形式化为意图层级树的渐进发现过程,用可奖励的层级化用户模拟器训练模型在不清晰时主动发散探索、在清晰时收敛执行,在创意写作 / 技术写作 / SVG 三任务上比 CollabLLM 等 baseline 满意度 +10%、对话长度 -40%。
- From Self-Evolving Synthetic Data to Verifiable-Reward RL: Post-Training Multi-turn Interactive Tool-Using Agents
-
针对"多轮交互式工具调用 Agent"后训练里两大瓶颈——高质量数据贵 + 用户模拟噪声毁 RL 信号,作者提出"自演化多 agent 数据合成 (AReaL-SEA)"配套生成可执行 verifier 当奖励,再配上"先 SFT 用户模型再做大 batch + 动态过滤 GRPO"的 RL recipe,在 τ²-bench 上把 Qwen3-235B 推到 Airline 73.0 / Telecom 98.3 的 pass^1,全面达到或超过 Claude/Gemini/GPT-5。
- Is Your LLM Overcharging You? Tokenization, Transparency, and Incentives
-
本文把 LLM-as-a-Service 建模成"委托-代理"问题,证明现在主流的"按 token 收费"机制天然激励服务商把同一字符串重新切成更长的 token 序列来超额收费,并且即使强制服务商公开 next-token 分布,多收费而不被发现也只是 NP-Hard 而非不可行——作者给出一个简单启发式算法在保持合理性的前提下实测最多多收 11.2% 的 token,最后证明唯一能消除该激励的可加性定价机制是"按字符长度线性计费"。
- Not All Prefills Are Equal: PPD Disaggregation for Multi-turn LLM Serving
-
本文指出多轮对话场景下传统 Prefill-Decode 分离架构因每轮都要 P→D 重算并传输 KV 而严重低效,提出 PPD(Prefill-capable Decode)动态路由系统,让 decode 节点根据 SLO 权重决定是否本地处理 Turn 2+ 的 append-prefill,把 Turn 2+ TTFT 降低约 68%。
🌐 多语言/翻译 (3)¶
- Edit-Based Refinement for Parallel Masked Diffusion Language Models
-
ME-DLM 给 masked diffusion 语言模型(如 LLaDA)加一个"解码完再编辑修补"的轻量阶段:第一阶段照常 unmask 出粗稿,第二阶段用替换/删除/插入三种 token 级编辑做并行修正,监督信号来自 edit distance 的最短编辑脚本,在只用 1/8 扩散步数的情况下 HumanEval +11.6 / GSM8K +33.6 点反超 LLaDA-Instruct。
- Optimizing Language Models for Crosslingual Knowledge Consistency
-
本文针对多语言 LLM 在不同语言间回答同一问题却给出冲突答案的问题,设计了一个用"另一种语言下回答的对数似然"作为 reward 的 RL 目标,证明其最优策略呈 product-of-experts 形式并在 \(\gamma_1\gamma_2=\beta^2\) 时保证跨语言偏好一致;据此推导出无需 reward model、无需 online 采样的 DCO(Direct Consistency Optimization) 算法,在 9 个 LLM、3 个多语言 QA 基准、26 种语言上同时提升跨语言一致性(RankC)与回答准确率。
- Toward Robust Multilingual Adaptation of LLMs for Low-Resource Languages
-
LiRA 在冻结的多语言编码器与英文 LLM 之间插一层 "锚定 + 一致性正则" 的轻量微调模块,把低资源语言的句向量按 \(\epsilon_1\)(锚定误差)与 \(\epsilon_2\)(翻译 KL 距离)这两个理论可控的量约束到共享英文语义空间,从而在检索、排序与推理三类任务上同时拿到稳定提升。
🔍 信息检索/RAG (26)¶
- BlitzRank: Principled Zero-shot Ranking Agents with Tournament Graphs
-
提出基于锦标赛图(tournament graph)的零样本重排序框架 BlitzRank,通过将每次 \(k\)-wise 比较产生的 \(\binom{k}{2}\) 个偏好对累积到全局偏好图中并利用传递闭包推断额外排序关系,在 14 个基准、5 个 LLM oracle 上实现 Pareto 最优——在匹配或超越现有方法精度的同时减少 25–40% token 消耗。
- CARE: Class-Adaptive Expert Consensus for Reliable Learning with Long-Tailed Noisy Labels
-
提出 CARE 框架,利用 VLM 的文本嵌入、图像特征和原始标签三路互补专家,通过类别自适应 Top-\(K\) 共识机制实现长尾噪声标签场景下的可靠标签矫正,在合成与真实基准上一致超越 SOTA 最高 3.0%。
- Graph-R1: Towards Agentic GraphRAG Framework via End-to-end Reinforcement Learning
-
Graph-R1 把 GraphRAG 重写成"知识超图环境 + 多轮 think–query–retrieve–answer 智能体 + 结果导向 GRPO"的端到端 RL 框架,用更轻量的 n 元超图构建和双路超边检索 + RRF 融合,在 6 个标准 RAG 数据集上把 7B 模型的 F1 从 Search-R1 的 46.19 拉到 57.82。
- HGMem: Hypergraph-based Working Memory to Improve Multi-step RAG for Long-Context Complex Relational Modeling
-
本文把多步 RAG 中的 working memory 从"扁平的事实列表"重构成一张超图——每条超边就是一个可被 update / insert / merge 的记忆点,借助超边天然连接 \(n\geq 2\) 个实体的能力,让记忆能在交互过程中持续合并低阶事实成高阶概念,从而显著提升需要"全局意义构建"的长上下文问答性能。
- Hierarchical Abstract Tree for Cross-Document Retrieval-Augmented Generation
-
Ψ-RAG 用"合并—坍缩"式的层次聚类替换 RAPTOR 的 k-means 来构建跨文档抽象树,并配上一个具备多轮重写能力的检索回答 Agent 与稀疏 BM25 混合索引,让 Tree-RAG 第一次能在语料级、跨文档多跳问答上追平甚至超越 Graph-RAG,平均 F1 比 RAPTOR 高 25.9%、比 HippoRAG 2 高 7.4%。
- How can embedding models bind concepts?
-
本文把 "embedding 模型为什么不会绑定概念" 形式化成 "binding function 的复杂度问题":通过几何分析证明 CLIP 的场景嵌入可加性分解成对象与概念之和(解释了单模态可探测、跨模态却失败),并在受控 Transformer 上证明当数据覆盖足够时,模型会学到一个由概念间乘性交互主导的低复杂度 binding,从而实现对未见对象组合的系统性泛化。
- LARE: Low-Attention Region Encoding for Text–Image Retrieval
-
LARE 是一个免训练的文本-图像检索框架:它把视觉编码器内部「低注意力」的区域单独抠出来再编码,用置信度门控的方式补进全局相似度里,从而在拥挤、含小目标/稀有目标的密集场景里把 CLIP/SigLIP 这类双编码器的检索召回明显拉高,而在常规数据集上几乎不掉点。
- LazyAttention: Efficient Retrieval-Augmented Generation with Deferred Positional Encoding
-
LazyAttention 把 RoPE 位置编码从 KV 缓存写入阶段推迟到 attention kernel 内部 on-the-fly 完成,让同一份物理 KV 副本可以被任意 logical 位置复用,在 skewed RAG 工作负载上比 SOTA Block-Attention 减少 1.37× TTFT、提升 1.40× 吞吐,且生成质量基本无损。
- LEMUR: Learned Multi-Vector Retrieval
-
Lemur 将多向量相似性搜索转化为监督学习问题,用一个两层 MLP 将 token 级嵌入映射到低维潜空间,再利用现有单向量 ANNS 索引完成检索,比 PLAID/MUVERA 等方法快一个数量级。
- Less Is More: Elevating RAG via Performance-Driven Context Compression
-
CORE-RAG 用"性能即奖励"的 GRPO 强化学习训练一个 1.5B 小压缩器,把检索到的 top-k 文档压成 ~3% 长度的摘要,结果不仅没掉点反而在 4 个 QA benchmark 上比满上下文 RAG 平均提升 3.3 EM。
💻 代码智能 (22)¶
- A Benchmark and Framework for Evaluating Next Action Predictions in Spreadsheets
-
针对"电子表格没有像代码补全那样的下一步动作预测"这一空白,本文构造了首个表格动作预测基准 NAPE(52 条人工校验的建表轨迹、共 11,907 个低层动作),并提出一种在线评估框架——每个动作后让系统预测、模拟用户接受/拒绝、动态改写剩余真值,最终用"为用户省下的动作比例(uas)"来衡量真实收益;实验显示微调的 360M 小模型就能追平 GPT-5(都省 27% 动作)。
- AlgoVeri: An Aligned Benchmark for Verified Code Generation on Classical Algorithms
-
AlgoVeri 构建了一个跨 Dafny、Verus、Lean 严格对齐的经典算法 verified code generation 基准,显示当前 LLM 在复杂全局不变量、系统级约束和显式证明搜索上仍有巨大缺口,尤其是 Lean 与 Verus 的成功率远低于 Dafny。
- BoostAPR: Boosting Automated Program Repair via Execution-Grounded Reinforcement Learning with Dual Reward Models
-
BoostAPR 给"用 RL 训 program-repair 模型"造了一套三阶段流水线——execution-verified SFT → 训序列级 + 行级双重 reward → PPO 时用行级模型把序列奖励重新分配到关键 edit lines;在 Qwen2.5-Coder-32B 上把 SWE-bench Verified 从 17.8% 推到 40.7% (+22.9pp),跨语言迁移到 Defects4J 取 24.8%。
- Bridging Functional Correctness and Runtime Efficiency Gaps in LLM-Based Code Translation
-
针对"LLM 翻译出来的代码虽然功能对、但跑得比人写的慢"这一被忽视的问题,提出 SwiftTrans 框架:先用并行 ICL 生成多视角候选翻译,再用差异感知的成对裁判按冒泡方式线性时间选出最优候选,并配套层次化引导和序数引导两套训练策略,让一个 Qwen2.5-3B 在功能正确性和运行效率上同时超过 GPT-5。
- CentaurEval: Benchmarking Human-in-the-Loop Value in Agentic Coding
-
提出 CentaurEval,首个面向人机协作编程的统一评测框架,通过设计 45 个"协作必需"(Collaboration-Necessary) 任务模板,证明单独 LLM 仅 0.67% 通过率、人类独立仅 18.89%,而人机协作可达 31.11%,揭示 LLM 正从执行工具演变为共推理伙伴。
- Entropy-informed Decoding: Adaptive Information-Driven Branching
-
EDEN(Entropy-informed DEcodiNg)把每一步的束宽 \(B_t\) 设成与归一化熵 \(\bar H_t\) 单调正比——高熵 fork 多分支、低熵步骤近贪心——用更少的总扩展近似更宽的 beam search;理论上证明熵单调的分支因子在期望累计 regret 上严格优于任何固定束宽,且能给出 \(\mathbb{E}[R_T] \leq G P_\max \sum_t \exp(-c m_t \Delta_\min^2)\) 的显式 regret 率。
- HE-SNR: Uncovering Latent Logic via Entropy for Guiding Mid-Training on SWE-bench
-
在 SWE-bench 上传统 PPL 既受"长上下文税"干扰又无法预测 SFT 后的智能体能力,本文提出"熵压缩假说"和 HE-SNR 指标,只在 Top-10 熵大于 \((\ln 3 + \ln 4)/2\) 的"高熵决策点"上算信号噪声比,与下游 SWE-bench 得分的 Pearson 相关达 0.96,Kendall 一致性 0.98。
- How can we assess human-agent interactions? Case studies in software agent design
-
提出 PULSE 框架——收集用户反馈、训练一个 ML 模型预测用户满意度、再用预测驱动推断(PPI)把真人标签和模型伪标签结合起来高效估计 agent 设计改动的效应——并把它部署到开源编程 agent OpenHands 上,跨 1.5 万用户、3.6 万会话做了首个大规模真实环境 agent 设计评估,结果置信区间比标准 A/B 测试窄了约 40%,还发现 benchmark 表现和真人偏好会反相关(gpt-5 在 6/7 benchmark 上赢 claude-sonnet-4,但真人在 4/7 任务子集上更偏好 claude)。
- Locally Coherent Parallel Decoding in Diffusion Language Models
-
本文提出 CoDiLA,在 masked 扩散语言模型(DLM)外挂一个轻量自回归(AR)小模型,用"软嵌入"接收 DLM 的边缘分布并在小块内做局部自回归解码,从而在保留 DLM 全局双向能力的同时消除并行采样产生的局部不连贯问题,在代码生成上以 ≥2× 吞吐建立新的 Pareto 前沿。
- MARS: Modular Agent with Reflective Search for Automated AI Research
-
MARS 把自动化 AI 研究重构成"在软件仓库空间中搜索最优解"的问题,用 预算感知 MCTS + 模块化"设计-分解-实现"流水线 + 比较式反思记忆 三根支柱,在 MLE-Bench 上拿到开源框架 SOTA,金牌率 31.1%(Gemini-3-Pro-Preview),并出现 63% 的跨分支课程迁移这种"Aha! moment"。
🎨 图像生成 (141)¶
- A Diffusive Classification Loss for Learning Energy-based Generative Models
-
这篇论文提出 DiffCLF,把时间噪声层级之间的能量估计改写成分类问题,并与 DSM 联合训练,从而在不引入昂贵最大似然采样的情况下学习更可靠的能量函数,尤其改善了分数匹配在多模态权重上的模式盲区。
- A Kinetic Energy Perspective of Flow Matching
-
这篇论文把 flow matching 采样轨迹看成粒子运动,定义 Kinetic Path Energy(KPE)来度量每个样本生成过程的累积动能,并据此提出训练-free 的 Kinetic Trajectory Shaping,在提升生成质量的同时抑制末端能量尖峰导致的记忆化。
- A Systematic Investigation of RL-Jailbreaking in LLMs
-
这篇论文把 RL-based LLM jailbreaking 当作一个可拆解的 POMDP 系统来研究,发现奖励函数、episode 长度和训练问题数量等环境定义因素,比单纯换 RL 算法更大程度决定自动化红队成功率。
- A Unified Framework for Diffusion Model Unlearning with f-Divergence
-
这篇论文把扩散模型概念遗忘中的 MSE/KL 对齐推广到任意 \(f\)-divergence,提出 f-DMU 框架,并发现 closed-form Hellinger loss 往往比 MSE 更稳、更能保留非目标概念。
- AdaEraser: Training-Free Object Removal via Adaptive Attention Suppression
-
AdaEraser 用“目标残留程度”自适应调节扩散模型 self-attention 抑制强度,在不训练新模型的情况下同时提升目标删除完整性和背景重建质量,并在 Mulan 与 OABench 上超过训练式和 training-free object removal 方法。
- Adapting Noise to Data: Generative Flows from Learned 1D Processes
-
本文认为 flow/diffusion 模型默认高斯 latent 并不总适合数据分布,提出用可学习的一维 quantile functions 构造数据自适应 product prior,在 flow matching 中联合学习噪声和速度场,从而缩短 transport path 并改善重尾天气数据和低容量图像生成表现。
- Adversarial Flow Models
-
作者在 GAN 训练目标上加一个最优传输正则 \(\|G(z)-z\|^2\),把 GAN 的"任意搬运图"约束成 Wasserstein-2 最优搬运图,让纯 transformer 上的对抗训练第一次能稳定收敛并端到端做单步生成,ImageNet-256 上 1NFE FID 刷到 2.38(XL/2)和 1.94(112 层)。
- AesFormer: Transform Everyday Photos into Beautiful Memories
-
AesFormer 将日常照片美化定义为 Aesthetic Photo Reconstruction,通过先生成摄影动作计划再执行结构编辑的两阶段框架,把构图、视角和姿态等拍摄时错误转化为可执行编辑,并在 AesRecon 上显著优于开源编辑器、接近 Nano Banana Pro。
- AG-REPA: Causal Layer Selection for Representation Alignment in Audio Flow Matching
-
AG-REPA 发现音频 Flow Matching 中“存储语义信息的层”和“真正驱动速度场的层”并不重合,提出用 forward-only gate ablation 选择因果贡献最高的层做表示对齐,在语音和通用音频生成上比固定层 REPA 更快收敛、更低 FAD。
- Alignment-Guided Score Matching for Text-to-Image Alignment in Diffusion Models
-
这篇论文提出 Alignment-Guided Score Matching,用 reward-free 的 Plackett-Luce 对齐奖励把正负文本-图像匹配信号直接写入扩散 score matching 目标,通过训练轻量 soft tokens 改善 T2I 语义对齐,同时缓解 SoftREPA 常见的重复生成和计数错误。
🎬 视频生成 (32)¶
- AAD-1: Asymmetric Adversarial Distillation for One-Step Autoregressive Video Generation
-
AAD-1 用“因果生成器 + 双向视频级判别器”的非对称对抗蒸馏和 DMD warmup,把自回归 image-to-video 生成压缩到每个 chunk 只需一步采样,同时缓解 motion collapse 和长程漂移。
- Attention Sparsity is Input-Stable: Training-Free Sparse Attention for Video Generation via Offline Sparsity Profiling and Online QK Co-Clustering
-
SVOO 发现视频 DiT 每一层的注意力稀疏度是「层内输入无关、层间显著异质」的内在属性,据此先做离线分层稀疏度标定、再做在线 QK 双向协同聚类划块,免训练地在 Wan/HunyuanVideo 等 7 个模型上把 PSNR 维持 29 dB 的同时实现最高 1.93× 加速。
- Bridging Creative Intent and Visual Quality: Creator-Driven Recurrent Video Generation with Agentic Feedback Loops
-
CHIEF 把创作者放在视频生成迭代循环的中心,用"人格化的多模态 LLM 观众智能体"自动给生成视频写主观影评、再由翻译器把杂乱反馈结构化成可执行的提示词改动,让没有任何拍片经验的中学生也能从 1 分钟短片做到一部 10 分钟有完整剧情的短片。
- CamGeo: Sparse Camera-Conditioned Image-to-Video Generation with 3D Geometry Prior
-
CamGeo 通过训练专用蒸馏(training-only distillation)从预训练 3D 视频模型(VGGT)蒸馏 3D 几何知识——仅在训练阶段提供监督信号使扩散模型能在稀疏相机输入条件下生成几何一致且运动平滑的高质量视频,推理时完全移除 VGGT 以保持效率。
- DFSAttn: Dynamic Fine-Grained Sparse Attention for Efficient Video Generation
-
DFSAttn 通过 3D Hilbert 曲线重排序 + 分层块评分 + 自适应掩码缓存,实现了与全注意力相媲美的质量下 2.1× 端到端加速——解决了块稀疏注意力在高稀疏率(>80%)下质量下降的核心问题。
- Enhancing Train-Free Infinite-Frame Generation for Consistent Long Videos
-
MIGA 通过两阶段训练推理对齐(TTA)和双重一致性增强(DCE:自反射 + 长距离帧指导)两个核心机制——在无需训练的前提下使基础视频模型能够生成无限长且高度时间一致的视频,VBench 综合评分相比 FIFO-Diffusion 提升 2.8%(97.82 vs 95.02)。
- EPiC: Efficient Video Camera Control Learning with Precise Anchor-Video Guidance
-
EPiC 用"基于第一帧可见性掩码"的方式从任意 in-the-wild 视频直接构造像素级对齐的 anchor 视频,再配一个仅 26M 参数(<1% backbone)、且只在可见区域生效的 Anchor-ControlNet,在冻结 CogVideoX-5B-I2V 主干、5K 视频、500 步训练的条件下,把 I2V 相机控制误差刷到 SoTA,并零样本泛化到 V2V。
- Explainable Forensics of Manipulated Segments in Untrimmed Long Videos
-
本文提出了长视频中 AI 生成片段的时序定位与可解释分析任务,引入 TASLE 大规模数据集和两阶段 MSLoc 基线方法——通过边界感知提议生成和 MLLM 精化实现对混合真伪视频中篡改片段的精确定位和可解释推理。
- Exploring Data-Free LoRA Transferability for Video Diffusion Models
-
本文首次对视频扩散模型(VDM)的 full fine-tune (FFT) 和 LoRA 做权重空间分析,发现两者都"保留奇异谱、只旋转奇异子空间",但在 head clusters 上路由方向冲突;据此提出 CASA——一个 data-free 的"按聚类做谱仲裁"的 LoRA 迁移方法,把基座 Wan2.1 上训的 LoRA 直接迁到 FastWan 等蒸馏后变体,无需任何用户数据/重训。
- iTryOn: Mastering Interactive Video Virtual Try-On with Spatial-Semantic Guidance
-
iTryOn 首次定义"交互式视频虚拟试衣"任务——让人在视频里主动操作衣物(拉拉链、提衣角、拉伸衣物)而非仅被动展示。通过3D 手部先验解决空间歧义、动作感知 RoPE(A-RoPE) 把时间戳动作标题与对应帧严格对齐、动作感知约束损失(AC Loss) 放大稀疏交互帧的学习信号,在自建 VVT-Interact 上 ISR(交互成功率)从基线 0.397 → 0.610(+54%)。
🧩 多模态 VLM (89)¶
- ACTIVE-o3: Empowering MLLMs with Active Perception via Pure Reinforcement Learning
-
ACTIVE-o3 把"该往哪看、怎么看"这件事交给一个 MLLM 自己学:用纯强化学习(GRPO)训练它把一张图像并行地圈出最多 3 个最值得放大的子区域,靠"任务奖励 + 启发式奖励"双形态奖励解决纯任务奖励太稀疏的问题,在小/密集目标检测、遥感、自动驾驶、交互式分割上一致超过基线,还顺带提升了 RealWorldQA / MME 等通用理解能力。
- AgentHijack: Benchmarking Computer Use Agent Robustness to Common Environment Corruptions
-
本文提出 AgentHijack,用 9 类可配置的日常环境破坏评测 computer-use Agent 鲁棒性,并进一步用 DA-GRPO 强化 grounding、引入 onlooker 进行行为总结与环境检查,使 UI-TARS-1.5-7B 在平均成功率上从 18.74% 提升到 22.89%。
- Alterbute: Editing Intrinsic Attributes of Objects in Images
-
Alterbute 用 VLM 自动挖掘 Visual Named Entity 身份簇,并在扩散模型中联合条件化身份参考、属性文本、背景和 mask,从而统一编辑物体颜色、纹理、材质和形状,同时尽量保持物体身份与场景上下文。
- Any3D-VLA: Enhancing VLA Robustness via Diverse Point Clouds
-
作者通过 pilot study 发现"显式把视觉提升到点云、再与 2D patch 融合"是 VLA 注入 3D 信息的最有效方式;为了解决 3D 数据稀缺和不同点云源(仿真/传感器/单目估计)的域差异,提出 Any3D-VLA:用 hybrid point cloud training 学到 source-agnostic 的几何表示,在真实抓取任务上 zero-shot 比最强 baseline 提升 29.2%(62.5% vs 33.3%)。
- AOEPT: Breaking the Implicit Modality-Reduction Bottleneck in Modality-Missing Prompt Tuning
-
AOEPT指出现有缺失模态 prompt tuning 会把多模态 Transformer 的推理范围压缩到可见模态子空间,并用从训练集蒸馏出的模态上下文提示为缺失模态补回可检索的隐式信息源,在多数据集、多缺失率和多 backbone 上稳定优于现有方法。
- Are VLMs Seeing or Just Saying? Uncovering the Illusion of Visual Re-examination
-
这篇论文提出 VisualSwap 和 VS-Bench,通过在 VLM 自称“再看一眼图像”之后替换图像来检验真实视觉重检能力,发现当前推理型 VLM 往往沿着旧文本惯性继续生成,显式用户多轮指令或增强视觉注意力才能显著恢复 grounding。
- AVI-Bench: Toward Human-like Audio-Visual Intelligence of Omni-MLLMs
-
AVI-Bench 是一个受人类认知启发的音视频基准:把对 Omni-MLLM 的评测按「感知 → 理解 → 推理」三阶段组织、再补一个测「原始感知」的 PriSe 扩展,用 14 个任务、5,864 个样本、9 个指标系统诊断 28 个开源/闭源 Omni-MLLM 的音视频智能(AVI),并据此提出一个四级 AVI taxonomy。
- Benchmarking and Enhancing VLM for Compressed Image Understanding
-
本文构建了首个评估 VLM 对压缩图像理解能力的大规模 benchmark(11 种编解码器、9 个 VLM、100 万+ 压缩图像),将性能下降分解为不可修复的"信息差距"和可弥补的"泛化差距",并提出一个轻量级条件视觉编码器适配器,通过编解码器类型和压缩级别的条件嵌入 + 蒸馏训练,在不同编码器和比特率下将 VLM 性能提升 10%–30%。
- Benchmarks for Vision-Language Models in Urban Perception Should Be Reliability-Aware and Negotiated
-
本文提出 VLM 城市感知评估应具备"可靠性感知"和"可协商"两大属性,通过 100 张蒙特利尔街景图像、12 名社区标注者、30 个维度的基准测试,揭示了模型对齐度与标注者一致性正相关,且在主观评价维度上模型与人类存在系统性分布偏差。
- Beyond VLM-Based Rewards: Diffusion-Native Latent Reward Modeling
-
提出 DiNa-LRM,将偏好学习直接建立在扩散模型的噪声潜空间上,通过噪声校准的 Thurstone 似然和推理时多噪声集成,以远低于 VLM 奖励模型的计算开销实现接近 SOTA 的偏好预测精度。
🧠 VLM Reasoning (31)¶
- 3D-RFT: Reinforcement Fine-Tuning for Video-based 3D Scene Understanding
-
把面向 LLM 的「可验证奖励强化学习(RLVR)」搬到视频驱动的 3D 场景理解上:用 GRPO 直接以 3D IoU、F1、准确率等评测指标当奖励来微调一个 4B 的 3D-aware VLM,让训练目标和评测口径对齐,最终在 3D 视频检测、3D 视觉定位、空间推理三类任务上以 4B 参数反超 8B 基线。
- 3ViewSense: Spatial and Mental Perspective Reasoning from Orthographic Views in Vision-Language Models
-
3ViewSense 认为 VLM 空间推理的瓶颈不是视觉特征不够或语言推理太弱,而是缺少稳定的三维中间表示,因此让模型先从单张图像诱导前视图、左视图、俯视图,再基于这些正交视图推理,在遮挡计数和视角一致空间推理上显著优于同规模 VLM。
- Active Exploring like a Pigeon: Reinforcing Spatial Reasoning via Agentic Vision-Language Models
-
本文把 VLM 空间推理从“被动看完所有视角再回答”改造成“按问题主动取景、更新认知地图、用可执行空间断言验证推理”的 agentic 流程,并用密集奖励微调 Qwen2.5-VL-3B,在 MindCube-Tiny 上取得 80.5% overall accuracy,尤其把 Rotation 子集提升到 85.0%。
- Bad Seeing or Bad Thinking? Rewarding Perception for Vision-Language Reasoning
-
本文把 VLM 的输出强制拆成
<recognition>感知块和<think>推理块,再用一个"蒙眼"文本推理代理(拿不到图,只看 VLM 写下的感知文字)能不能答对题作为感知奖励 \(R_P\),配上结构化语言验证 SVV 作为结果奖励 \(R_O\);MoCA 用 \(R_P\) 当门控做模态级信用分配,让 7B 模型在 9 个 perception/reasoning/rich-modality benchmark 上同时提升,在多个指标上超过 GPT-4o。 - Breaking Dual Bottlenecks: Evolving Unified Multimodal Models into Self-Adaptive Interleaved Visual Reasoners
-
针对统一多模态模型 (unified model) 在 anything-to-image (X2I) 任务上的"理解–生成 gap"(看得懂但生不出),本文提出 Self-Adaptive Interleaved Reasoner:用一个 hierarchical 数据合成 pipeline 在直接生成 / 自我反思 / 多步规划三种模式间分流 5 万条样本,再用 SFT + GRPO 训练并配上 step-wise 推理奖励和 intra-group 复杂度惩罚,让 Emu3.5 在 KRIS-Bench / OmniContext 上超越 GPT-4o、Gemini 2.5 Flash 等闭源模型。
- Decomposed On-Policy Distillation for Vision-Language Reasoning: Steering Gradients for Visual Grounding
-
作者把多模态在线蒸馏的 KL 损失沿贝叶斯链拆成"语言先验"和"视觉接地"两个子目标,发现两者梯度近乎正交、标准蒸馏只是被动取平分,提出 Visual Gradient Steering(VGS)主动把更新方向偏向视觉子空间,在 Qwen3-VL 8B→2B/4B 七个多模态推理基准上平均提升 +2.37%/+1.56%。
- Efficient Reasoning with Hidden Thinking
-
Heima 把多模态 LLM 的冗长 CoT 每个阶段(summary / caption / reasoning)蒸馏成一个特殊 thinking token,让模型在隐空间里"想",token 数从 100-200 量级降到 13-16 个的同时 zero-shot 准确率反而比 LLaVA-CoT 更稳;配套训练一个 LLM "interpreter"用 thinking token 的 hidden state 重建出文字推理链,从而验证压缩损失的信息论上界。
- Find, Fix, Reason: Context Repair for Video Reasoning
-
本文针对视频推理中"on-policy RL 在能力天花板停滞、off-policy 蒸馏又会熵塌缩"的两难,引入一个冻结的、工具集成的大教师模型在学生 rollout 失败时插入最小化的"证据补丁" (key-frame 区间、错误类型),让学生在同一问题上重新作答,并把修复后的轨迹通过 chosen-rollout 机制纳入 GRPO 优化。
- From Correspondence to Actions: Human-Like Multi-Image Spatial Reasoning in Multi-modal Large Language Models
-
HATCH 受人类空间认知启发,给多模态大模型设计两个互补训练目标——用几何监督让跨视角对应的图像块特征对齐(PaStA),再用强化学习逼模型先生成显式的"换视角动作"再回答(ActoR)——只用 3B 底座就把多图空间推理刷到能和 GPT-5.2 掰手腕的水平。
- From Seeing to Thinking: Decoupling Perception and Reasoning Improves Post-Training of Vision-Language Models
-
本文指出当前 VLM 后训练过度强调"长链推理"而忽视感知瓶颈,把后训练显式拆成"视觉感知 → 文本推理 → 视觉推理"三个独立阶段,并用 RLVR(而非 caption SFT)单独打磨感知,使 Qwen3-VL-8B 在视觉数学和感知 benchmark 上分别相对基线提升约 +5.9% 和 +1.2%,同时把推理 trace 缩短 20.8%。
⚡ VLM Efficiency (4)¶
- CLIP Tricks You: Training-free Token Pruning for Efficient Pixel Grounding in Large Vision-Language Models
-
发现 CLIP 中指代区域的视觉 token 与 [EOS] 文本 token 呈反直觉的低相似度现象(similarity reversal),据此提出 LiteLVLM——一种免训练的文本引导视觉 token 剪枝方法,在裁剪 66.7% token 后仍保留 90.3% 原始像素定位性能,同时实现 22% 推理加速和 2.3× 显存节省。
- Gated Relational Alignment via Confidence-based Distillation for Efficient VLMs
-
本文用 Information Bottleneck 视角把量化感知训练 (QAT) 与知识蒸馏统一起来,提出 GRACE 框架(置信度门控解耦蒸馏 + 关系中心化核对齐 + 自适应 IB 控制器),让 INT4 量化的 LLaVA / Qwen-VL 不仅没掉点,反而在多个 benchmark 上超过 BF16 基线,同时实测 3× 吞吐 + 54% 显存节省。
- Less Precise Can Be More Reliable: A Systematic Evaluation of Quantization's Impact on VLMs Beyond Accuracy
-
这篇用 70 万次实验跑遍了 16 种量化方法 × 10 种 VLM × 多项可靠性指标,发现量化不是单纯破坏者——它会通过抑制高 rank 低方差的频谱分量,同时提升 calibration、OOD 检测和噪声鲁棒性,但也会放大对协变量偏移和虚假相关的依赖。
- On the Adversarial Robustness of Large Vision-Language Models under Visual Token Compression
-
本文首次系统研究了带视觉Token压缩的大视觉语言模型(LVLM)的对抗鲁棒性,指出现有编码器攻击存在"优化-推理空间不匹配"问题,并提出 CAGE 攻击通过期望特征扰动 (EFD) 与排名-扰动对齐 (RDA) 两个目标,在未知压缩机制与未知Token预算下显著降低被压缩 LVLM 的鲁棒精度。
🎵 音频/语音 (36)¶
- A Semantically Consistent Dataset for Data-Efficient Query-Based Universal Sound Separation
-
这篇论文提出 Hive,一个通过单事件净化和语义一致混合构造的通用声音分离数据集,用约 2.4k 小时高纯度源音频让 AudioSep、FlowSep 在多项分离指标上接近甚至超过百万小时级训练的系统。
- Alethia: A Foundational Encoder for Voice Deepfakes
-
Alethia 提出一种"瓶颈式掩码嵌入预测 + Flow-Matching 频谱生成"的双分支预训练范式,训出首个面向语音 deepfake 检测/定位/溯源的基础编码器,在 5 类任务 56 个数据集上显著超过 Wav2vec2/HuBERT/WavLM 等通用 SFM,并对未见过的歌声 deepfake 和真实扰动表现出强零样本鲁棒性。
- Algorithmic Recourse of In-Context Learning for Tabular Data
-
这篇论文首次系统研究表格数据 in-context learning 场景下的算法追索问题,证明 ICL 诱导的动态决策规则仍可定义可界定的 recourse,并提出 ASR-ICL 用自适应子空间零阶优化在黑盒 ICL 模型上生成低成本、稀疏且可行动的反事实修改。
- An Exterior Method for Nonnegative Matrix Factorization
-
这篇论文提出 eNMF,把 NMF 从“始终待在非负正交锥内部优化”改成“先从无约束 SVD 最优解的旋转等价类外部逼近非负锥,再可行化并下降”,在合成、文本、音频、图像和推荐数据上比 9 类 NMF baseline 更快达到更低重构误差。
- Attend to Anything: Foundation Model for Unified Human Attention Modeling
-
AAM把图像、视频和音视频显著性预测统一为一个带文本条件、双曲层级约束和Fokker-Planck时间动力学的注意力基础模型,在16个基准上整体优于专用模型,并把视频推理速度提升到约111 FPS。
- Beyond Classification: A Cough Regression Benchmark for Respiratory Acoustic Foundation Models
-
现有呼吸声学基础模型(FM)几乎只在咳嗽分类上被评过,本文首次系统地把它们放到连续值回归任务上(从咳嗽音频被动估计年龄、BMI、疾病概率),用统一的冻结编码器 + 三种回归头、5 个 FM × 6 个目标 × 3 个数据集的协议做了一个多模型多目标基准,揭示了"数据规模 × 头部容量"权衡、生成式预训练优势、以及强烈不对称的跨数据集迁移等一系列被分类评测掩盖的结论。
- CMI-RewardBench: Evaluating Music Reward Models with Compositional Multimodal Instruction
-
针对现代音乐生成模型已能同时吃「文本 + 歌词 + 参考音频」却没有统一评估手段的窘境,本文造了一套生态——110k 伪标注的 CMI-Pref-Pseudo、4,027 条人工标注的 CMI-Pref、统一基准 CMI-RewardBench,以及一个仅约 30M 参数、能在单一架构里处理所有模态组合的奖励模型族 CMI-RM,并证明它和人类判断高度相关、还能通过 top-k 过滤实现音乐生成的「推理时缩放」。
- Do Audio LLMs Listen or Read? Analyzing and Mitigating Paralinguistic Failures with VoxParadox
-
作者构造了一个让"文字说的"和"声音听的"故意打架的 2000 题 MCQ 基准 VoxParadox,证明当前 Audio LLM 在副语言任务上几乎只"读不听";再用一个按 prompt 自适应混合音频编码器中间层特征的轻量模块 PCLM 加上 DPO 偏好优化,把 Audio Flamingo 3 在 VoxParadox 上从 17.40% 拉到 65.20%。
- Evaluating and Rewarding LALMs for Expressive Role-Play TTS via Mean Continuation Log-Probability
-
本文把"预训练大音频语言模型对真值语音 token 的续写概率"包装成一个名为 MCLP 的客观风格一致性度量,再用 MCLP+CER 的门控混合奖励,通过 GRPO 在新构建的 WenetSpeech-RP-TTS 数据集上把角色扮演 TTS 的主观 MOS 从 1.86 推到 3.58。
- Few-Shot Synthetic Accented Speech for ASR Fine-Tuning: What Helps and When?
-
用 few-shot TTS 合成带口音语音来微调 ASR,作者拆开"为什么有用"这个问题,发现真正起作用的多半是音素空间的扰动增强——随机替换音素就能拿到大部分增益,而 LLM 生成的"目标口音音素编辑"乃至 oracle 真值音素/韵律,相比随机基线只多出很小一截;同时合成数据在真实数据极少时能大幅降低训练方差,但固定配额的合成数据后期会稀释真实数据,真实-合成比例本身才是关键。
🔎 AIGC 检测 (11)¶
- AutoBaxBuilder: Bootstrapping Code Security Benchmarking
-
AUTOBAXBUILDER用LLM代理流水线自动生成Web后端安全评测场景、功能测试和端到端安全测试,把人工构建BAXBENCH式任务的成本降低约12倍,并构建出40个新场景的AUTOBAXBENCH来评估当代代码模型的正确性与安全性差距。
- Black-Box Detection of LLM-Generated Text Using Generalized Jensen-Shannon Divergence
-
SurpMark 把"AI 文本检测"重构成似然无关假设检验:用代理 LM 算 token surprisal 后 k-means 离散成 k 个状态,估计一阶 Markov 转移矩阵,再用广义 Jensen-Shannon 散度(GJS)和预先建好的"人写 / 机写"参考转移矩阵比较,单次前向就给出黑盒、无需重训、无需 per-instance 重采样的判别分数。
- CORE: Conflict-Oriented Reasoning for General Multimodal Manipulation Detection
-
作者把"多模态假新闻检测"重新定义为"显式捕获模态间或与世界知识之间的冲突"任务,构建了带细粒度冲突标注的 14k 语料 CAC,并提出 CORE 框架通过冲突感知训练(CPT)重塑 MLLM 的概念边界,使其在 DGM4、MDSM、MMFakeBench、NewsCLIPpings 四个数据集上以 100–750 个样本就大幅超过专用 SOTA。
- Deep Residual Injection for Full-Spectrum Forensic Signal Perception in Multimodal Large Language Models
-
本文发现:把 MLLM 直接微调去学生成器留下的低级伪影,会破坏它早期形成的语义表征(灾难性遗忘);于是提出 Deep-VRM——冻结早中层保住语义,只在 LLM 深层用一条 LoRA 旁路把伪影特征"残差注入"进去,让同一个 MLLM 不依赖任何外部专家检测器就拿下大多数 AIGI 基准的 SOTA。
- Dissect and Prune: Enhancing Robustness in AI-Generated Image Detection
-
针对现有 AI 生成图像(AIGI)检测器"看起来准、其实只会把图判成真"的预测不对称问题,本文提出 DEAR:用 inpainting 图像当探针、按通道激活与生成区域的对齐度(RAD)做"解剖",再把两端极值通道双侧剪掉、只重训线性分类头,让检测器丢掉脆弱的捷径特征,在未见生成器与后处理下显著更鲁棒。
- Distributional Open-Ended Evaluation of LLM Cultural Value Alignment Based on Value Codebook
-
DOVE 用率失真变分优化从 1 万篇人类文本中自动构造紧凑的"价值码本",再用不平衡最优传输度量人类与 LLM 长文本在价值空间上的分布差异,从而在 12 个 LLM 上把"评测—下游任务"相关性从基线 ≤24% 拉到 31.56%。
- Feature-Augmented Transformers for Robust AI-Text Detection Across Domains and Generators
-
本文在「单阈值固定协议」下系统暴露 AI 文本检测器在跨数据集/跨生成器 shift 下的脆弱性,并提出把可学注意力加权的手工语言特征与 transformer [CLS] 表征融合,配合 DeBERTa-v3 backbone,在 M4 多域多生成器基准上达到 85.9% balanced accuracy,比强 zero-shot 基线(Fast-DetectGPT、RADAR、Log-Rank)高最多 +7.22。
- ForensicConcept: Transferable Forensic Concepts for AIGI Detection
-
针对 AI 生成图像(AIGI)检测器"在训练分布内很准、换个生成器就崩"且完全黑箱的问题,本文把检测器依赖的弥散证据显式抽成一本"取证概念码本",再用扩散特征(CleanDIFT)作外部生成痕迹参照、用邻域结构一致性指标 CKNNA 度量骨干网证据与扩散痕迹的几何对齐度,并通过把扩散码本注入目标骨干网实现跨生成器迁移;GenImage 平均准确率 92.0%,且 CKNNA 越高迁移收益越大。
- Generating Robust Portfolios of Optimization Models using Large Language Models
-
本文提出一个轻量、无需训练的算法:用同一个 LLM 同时扮演"随机生成器"和"打分评审"两个角色,把生成概率前缀和达到 \(1-\alpha\) 的候选优化模型打包成 portfolio,从理论上证明只要"生成器"或"评审"任一与人类偏好对齐,portfolio 就一定包含高质量优化模型,并在 NL4LP 上用 GPT 验证 portfolio 在最差情况下也稳定优于随机采样。
- LLM Self-Recognition: Steering and Retrieving Activation Signatures
-
这篇论文不在 token 层加水印,而是在生成时往 LLM 残差流注入一个随机稀疏的转向向量,让模型自带可检测的"激活签名",之后把文本回喂同一模型、从激活里用余弦相似度或轻量分类器把签名捞回来,在多种检测设定下达到 98% 以上准确率且几乎不损文本质量。
🧊 3D 视觉 (30)¶
- 4DPC\(^2\)hat: Towards Dynamic Point Cloud Understanding with Failure-Aware Bootstrapping
-
4DPC\(^2\)hat 是第一个面向"动态点云序列"(4D 点云)理解的多模态大模型:作者先用拓扑一致的构建流水线把 4.4 万个动画资产做成 20 万条跨模态 QA 数据集,再用"保留群组 token + 全局 token + 双向 Mamba"的时空架构避免把一帧压成单一向量,最后用"失败感知自举"反复挖出模型答错的题、合成针对性 QA 补训,使动作理解与时序推理大幅超越把视频逐帧喂给静态 3D 模型的做法。
- Adaptive Volumetric Mechanical Property Fields Invariant to Resolution
-
AdaVoMP 用一种"稀疏自适应体素树 (SAV)"同时表示输入形状和输出材料场,再用稀疏 Transformer 编码器–解码器自回归地为每个 3D 物体逐层生成杨氏模量/泊松比/密度,把可仿真材料场的有效分辨率从 \(64^3\) 拉到 \(1024^3\)(高 \(16^3\) 倍),且在更低测试算力下就超过此前 SOTA。
- AvAtar: Learning to Align via Active Optimal Transport
-
本文提出 AvAtar,一个基于最优传输(OT)的主动对齐框架,通过梯度传播量化候选查询对全局对齐结果的影响,并利用伴随状态法和共轭梯度法以线性复杂度高效求解,在网络对齐和跨域对齐任务上一致超越已有主动学习策略。
- Convex Distance Operator Transport: A Convex and Geometry-Preserving Formulation
-
本文提出 CDOT(Convex Distance Operator Transport),通过把每个度量空间的距离矩阵和耦合一起"算子化",用 \(\|D_X T_\pi - T_\pi D_Y\|_{\mathrm{HS}}^2\) 替代 FGW 中那个非凸的成对距离差平方,从而首次得到一个对耦合 \(\pi\) 严格凸、同时仍然是合法伪度量、并具备有限样本风险界的异构空间对齐框架。
- APEIRIA: Distilling Neuro-Symbolic Programs into 3D Multi-modal LLMs
-
本文提出 APEIRIA,把神经符号 3D 概念学习器的程序执行轨迹蒸馏成 3D MLLM 的自然语言 chain-of-thought,再通过 GRPO 强化学习把这种推理模式推广到开放词汇与深层嵌套指令,在 ScanRefer、Multi3DRefer、SQA3D、Scan2Cap 上同时超越传统 NS3D 方法和当前最强的 3D MLLM,并保留了符号系统的可解释性与模块可替换性。
- DynaTok: Token-Based 4D Reconstruction from Partial Point Clouds
-
DynaTok 把每帧不完整、无序、无对应关系的部分点云编码成一组紧凑潜在 token,用时空 Transformer 跨帧聚合互补观测,再用「参考帧几何 + 残差运动」的统一潜空间解耦形变,最后接一个 flow-matching 解码器重建出时序一致的完整 4D 点云序列。
- EPS3D: End-to-End Feed-Forward 3D Panoptic Segmentation
-
EPS3D 是首个端到端前馈的开放词表 3D 全景分割框架:从无位姿多视图图像一次前向直接预测带语义/实例属性的统一 3D 全景高斯,靠 2D 基础模型蒸馏监督摆脱 3D 标注,并用语义-实例互增强模块让两路预测相互校正,在 Replica 上语义 mIoU 比 SOTA 高约 13%、每个场景仅需 1 秒。
- Fast-SAM3D: 3Dfy Anything in Images but Faster
-
针对 SAM3D 单视图 3D 重建模型推理太慢的问题,本文做了第一份模块级时延剖析,发现性能瓶颈来自三种异质性(形状/布局动力学差异、纹理稀疏性、几何谱差异),并据此提出训练无关的 Fast-SAM3D 框架,用模态感知步缓存、时空 Token 雕刻与谱感知 Token 聚合三件套,在几乎不损质量的前提下把对象级速度推到 2.67×,重建 F-Score 反而从 92.34 微升到 92.59。
- FoundObj: Self-supervised Foundation Models as Rewards for Label-free 3D Object Segmentation
-
本文提出 FoundObj,把 2D/3D 自监督基础模型(DINOv2 + TRELLIS)当作奖励器,用一个"超点合并 + PPO"的 RL 代理在无任何场景级人工标注下完成复杂室内场景的多类 3D 物体分割,在 ScanNet/S3DIS/ScanNet200 上将无监督 SOTA 的 AP 从 19.6 提到 24.2。
- FSI2P: A Hierarchical Focus–Sweep Registration Network with Dynamically Allocated Depth
-
本文把人类“先扫一眼再逐块细看”的观察过程抽象为 Focus-Sweep 两阶段范式,用 Mamba 替换 Transformer 做图像-点云交互,并用强化学习动态决定每个尺度上的交互层数,在 RGB-D Scenes V2 和 7-Scenes 上拿到 I2P 配准的 SOTA。
🎯 目标检测 (6)¶
- Adversarially Robust Approximate Furthest Neighbor
-
这篇理论论文首次给出能抵抗自适应查询对手的近似最远邻数据结构,在保持与 Indyk 经典 oblivious 算法相近的 \(n\) 依赖查询复杂度的同时,证明传统随机投影最远邻算法会被自适应查询击穿。
- EARL: Towards a Unified Analysis-Guided Reinforcement Learning Framework for Egocentric Interaction Reasoning and Pixel Grounding
-
EARL 用"粗解析-细响应"两阶段 MLLM 框架把第一视角交互理解任务(描述+答问+像素掩膜)做成统一管线:第一阶段输出整图交互的全局描述并把最后一层 hidden state 当作语义先验,再通过新的 Analysis-guided Feature Synthesizer 注入到第二阶段,用 GRPO + 三路奖励(格式/答案/grounding 准确率)联合训练,在 Ego-IRGBench 上 cIoU 反超 Seg-Zero 8.37%。
- FOCUS: Forcing In-Context Object Localization through Visual Support Constraints and Policy Optimization
-
FOCUS 通过"完全去除类别名 + 注意力 mask 优化 + GRPO IoU 奖励"两阶段训练,让 VLM 真正按视觉支持示例(而非语义先验)做 in-context 目标定位;7B 参数模型超 72B 模型,证明任务对齐的 inductive bias 比单纯 scaling 更重要。
- Mixture Prototype Flow Matching for Open-Set Supervised Anomaly Detection
-
MPFM 把 OSAD 里传统的"单峰高斯原型"换成可学习的高斯混合原型空间, 用流匹配直接回归一个 GMM 形式的速度场, 再加一个互信息最大化正则防止原型崩塌, 在 9 个工业 / 医学 AD 数据集上以 10/1 个异常样本的设定打过 DRA / AHL / DPDL 等所有 SOTA.
- OmniVerifier-M1: Multimodal Meta-Verifier with Explicit Structured Recalibration
-
针对多模态视觉验证器只输出 True/False 二值判断信号过粗、且文本解释易被 reward-hacking 的问题,本文提出 OmniVerifier-M1:用 bounding box 等符号化输出代替文本作为 meta-verification rationale 以支持 IoU 这种 rule-based reward,并在理论与实验上证明把二值判断与 meta-verification 解耦成两条独立 reward 流(而非合并成乘性 joint reward)能显著提升 SNR,最终把验证器升级为可驱动 region-level 自校正的 agentic 系统 M1-TTS。
- Testing the Test: Score-Direction Instability in Class-Split Anomaly Detection
-
作者指出"类内拆分"(class-split) 异常检测基准在异常类与正常混合分布在表示空间重叠时是病态的——AUROC 会塌缩到随机甚至反转,方向取决于未知的异常类,并提出一个无需训练的"邻域类泄漏"指标 \(L_k\) 来在跑分前诊断这种基准失效。
✂️ 语义分割 (14)¶
- Activation-Free Backbones for Image Recognition: Polynomial Alternatives within MetaFormer-Style Vision Models
-
本文用 Hadamard 乘积构造 PolyMLP、PolyConv 和 PolyAttn,替代 MLP、卷积和注意力中的点激活/softmax,在 MetaFormer 风格骨干中无需常规激活函数也能在 ImageNet、鲁棒性和 ADE20K 分割上达到或超过激活式模型。
- Beyond Detection: A Structure-Aware Framework for Scene Text Tracking
-
提出 SymTrack,一个无需检测的双分支场景文字跟踪框架,通过预测性 Token 校正(PTR)解决透视畸变导致的特征瓶颈,跨专家校准(CEC)消除文字实例间的高视觉歧义,自适应推理引擎(AIE)稳定细粒度定位,在三个基准上大幅刷新 SOTA(最高 +12.32% AUC)。
- FlowSeg: Dynamic Semantic Guidance for LLM-Conditioned Segmentation
-
本文指出当前基于 query 的 LLM-conditioned 分割是"propose-then-select"——候选 mask 往往已经够准,错就错在选不对;为此提出 FlowSeg,让 LLM 条件嵌入在 decoder 每一层都参与 query refinement 并被新的视觉证据持续更新,再叠一个轻量边界细化模块,在 RefCOCO/+/g 和 ReasonSeg 上一致刷点。
- Functional Attention: From Pairwise Affinities to Functional Correspondences
-
本文把 Transformer 里的 softmax 注意力重新解释为"两个学得到的函数基之间的最小二乘线性算子",借用形状匹配里的 functional maps 思想,把 \(n\times n\) 的点对亲和矩阵压缩成 \(k\times k\) 的紧致谱算子,在 PDE 求解、3D 点云分割和 OOD 推广上同时拿到 SOTA。
- Geometry-Preserving Unsupervised Alignment for Heterogeneous Foundation Models
-
GPUA 把 CLIP 这种语义有余而局部精度不足的 VLM 和 DINOv3 这种细粒度足但缺语义的 VFM 看作两种"视觉语言",用最优传输挖软对应再解正交 Procrustes 学一个保几何的线性映射,把 VFM 翻译进 VLM 空间——全程无监督、不更新任何预训练参数,零样本分类平均涨 11.8%。
- LightAVSeg: Lightweight Audio-Visual Segmentation
-
LightAVSeg 通过解耦 "语义筛选 (what)" 和 "空间定位 (where)",用全局通道调制替换 \(\mathcal{O}(N^2)\) 的跨模态注意力,让 AVS 模型在 20.5M 参数下达到 50.4 mIoU (MS3),并在 Snapdragon 8 Elite 上做到 163.4 ms 的端侧延迟,比 AVSegFormer-R50 快约 \(8\times\)。
- MVR-cache: Optimizing Semantic Caching via Multi-Vector Retrieval and Learned Prompt Segmentation
-
MVR-cache 把 LLM 语义缓存的相似度度量从"单向量 cosine"升级为"可学习分段后的多向量 MaxSim",并用 REINFORCE 训练一个轻量分段模型,在保证错误率上界 \(\delta\) 不变的前提下把缓存命中率最多再抬 37%。
- Refining Context-Entangled Content Segmentation via Curriculum Selection and Anti-Curriculum Promotion
-
CurriSeg 不动分割网络结构,只换训练计划:先用"时间损失统计 + 像素熵加权"的稳健课程把模型推到稳态,再用反课程的"频谱失明"微调(砍掉高频迫使模型读结构语义),就让 FEDER / FSEL / RUN 在 CHAMELEON / CAMO / COD10K / NC4K 等伪装/息肉分割基准上稳定涨 2–4%,零额外参数、训练时间还更短。
- Segment Anything with Robust Uncertainty-Accuracy Correlation
-
针对 SAM 系列只输出 mask-level 单一置信度、在域漂移下出现"Mask-level Confidence Confusion"的问题,本文给 SAM2 接上 Weibull 双粒度贝叶斯 mask decoder 做像素级 epistemic 估计,并配以受人类视觉启发的 style + deformation 协同对抗扰动 + 校准损失,让 uncertainty 在 23 个 zero-shot 目标域始终与误差对齐,平均 J&F 达 79.87 同时不确定性图变得显著可信。
- SPROUT: Supervise Less, See More — Training-free Nuclear Instance Segmentation with Prototype-Guided Prompting
-
SPROUT 是首个完全训练无关、零标注的病理核分割框架——用 H&E 染色先验在每张切片上自构高置信度前景/背景区域→提取原型→用部分最优传输(POT)做特征-原型软对齐→输出 SAM 的正/负点提示;在 MoNuSeg 等基准上 AJI 比训练方法高 8.2%。
🖼️ 图像恢复 (21)¶
- AnyMod-LLVE: Low-Light Video Enhancement with Modality-Agnostic Inference
-
针对"多模态低光视频增强在推理时拿不到事件流/红外辅助模态就崩"的痛点,AMNet 用一个 Spatial-Spectral Dual-Gated(S2DG)Translator 从退化的低光 RGB 里"凭空生成"辅助模态的隐式表示,再配合大规模合成多模态预训练,使得测试时无论给不给辅助模态都能稳定增强——RGB-only 推理就已达到 SOTA,给了辅助模态还能再涨一点。
- Coevolutionary Continuous Discrete Diffusion: Make Your Diffusion Language Model a Latent Reasoner
-
本文从表达力与可训练性两个维度系统比较连续扩散、离散掩码扩散、looped transformer,证明"连续扩散"在表达力上严格强于离散扩散并能模拟 looped transformer,但实际性能受限于解码与表征空间;据此提出 CCDD(Coevolutionary Continuous Discrete Diffusion)——在离散 token 空间和预训练 LLM 的上下文嵌入空间上同时扩散,由单一模型联合去噪,在 LM1B/OWT 上比 MDLM 困惑度降 25-35%,并以仅 8 步采样超过 MDLM 256 步效果。
- Coloring the Noise: Adversarial Sobolev Alignment for Faithful Image Super Resolution
-
ASASR 通过将 Flow Matching 的噪声先验从各向同性高斯替换为 Sobolev 谱着色噪声,结合对抗性流形引导生成硬负样本,构建 AS-DPO 框架,实现了超分辨率中感知质量与结构保真度的最优平衡。
- Consistent Diffusion Language Models
-
本文指出离散扩散没有连续域 probability-flow ODE 的对应物,因此无法直接做 consistency model;作者提出用精确闭式 posterior bridge 作为离散域的"随机版 PF-ODE 替代品",构造 Multi-Path Discrete Consistency (MPDC) 训练目标,要求 denoiser 在多条 stochastic bridge 路径上的预测在期望上一致,从而单阶段、teacher-free 地训出可在 2-3 步生成高质量文本的 Consistent Diffusion Language Model (CDLM),在 unconditional / conditional 文本生成上达到 SOTA、对 AR 模型最高 \(32\times\) 加速。
- DAPD: Dependency-Aware Parallel Decoding via Attention for Diffusion LLMs
-
DAPD 把 dLLM 单步并行解掩问题转化为「在自注意力诱导的 MRF 上选独立集」的动态图着色问题,无需训练即可同时解掩弱依赖位置,在 LLaDA / Dream 上把多问题混合提示的解码步数压到原始的 1/3.87,且准确率几乎不掉。
- Degradation-Aware Metric Prompting for Hyperspectral Image Restoration
-
DAMP 用 6 个可解释的空间-光谱物理度量(高频能量比/纹理一致性/光谱曲率等)作为"退化提示" (DP) 代替黑盒嵌入与显式退化标签,再用 DP 作为门控驱动 Spatial-Spectral Adaptive MoE 选择不同的"空间专家/光谱专家",在 5 种 HSI 恢复任务和 2 种未见退化(运动模糊、Poisson 噪声)上同时取得 SOTA。
- DyLLM: Efficient Diffusion LLM Inference via Saliency-based Token Selection and Partial Attention
-
DyLLM 是一种 training-free 的扩散 LLM 推理加速框架,利用相邻去噪步骤之间注意力上下文的余弦相似度识别"显著 token",只对这部分 token 重算 FFN 和注意力,配合显著感知的近似注意力,在 LLaDA / Dream 上把吞吐推到 7.6× / 9.6× 而几乎不掉点。
- Early Decisions Matter: Proximity Bias and Initial Trajectory Shaping in Non-Autoregressive Diffusion Language Models
-
本文系统刻画了 masked 扩散语言模型 (dLLM) 在完全非自回归 (NAR) 解码下的失败机制——proximity bias 导致 confidence-based 采样退化为反向自回归并被 EOS 过早占满,再用一个 5M 参数的轻量 planner + EOS 温度退火只在第一步干预 unmasking 位置,就在 GSM8K 等推理任务上将 LLaDA 8B 的 NAR 解码平均提升 2.8–4.3 个点而几乎无额外开销。
- From 2D Grids to 1D Tokens: Reforming Shared Representations for Multimodal Image Fusion
-
多模态图像融合长期把共享表示放在二维特征网格上,导致全局外观(亮度/对比度/色调)和局部细节纠缠、难以独立调控;本文把"全局外观"挪到一个冻结的 1D tokenizer(TiTok-32)的紧凑 token 空间里,再用"选择性 token 编辑(STE)"只改少数几个 token-通道项来调控全局一致性,同时保留 2D 通路做细节恢复,在四个基准上取得多指标全面最优。
- Learning Normalized Energy Models for Linear Inverse Problems
-
作者把"线性逆问题"重写为"各向异性去噪",并提出 Anisotropic Covariance Score Matching (A-CSM) 训出一个归一化的能量模型 \(U_\theta(\mathbf{y},\boldsymbol{\Sigma})\approx -\log p(\mathbf{y}|\boldsymbol{\Sigma})\),单个模型即可处理 inpainting、deblurring、super-resolution,并解锁能量引导自适应调度、MALA 无偏校正和盲逆问题三大新能力。
🛰️ 遥感 (3)¶
- Any2Any: Unified Arbitrary Modality Translation for Remote Sensing
-
Any2Any 把遥感中的 RGB、SAR、NIR、MS、PAN 等传感器互译从一堆成对模型改成一个共享潜空间里的统一潜扩散模型,并用百万级 RST-1M 数据集和目标模态残差适配器,在 14 个已见翻译方向和多个未见模态组合上取得更好的保真度与泛化能力。
- Localized, High-resolution Geographic Representations with Slepian Functions
-
本文用球面 Slepian 函数构造一种把表征容量集中在感兴趣区域 (ROI) 的地理位置编码器,并提出 Slepian-球面调和混合编码以同时兼顾局部高分辨率与全球粗粒度上下文,在五个分类、回归与图像增强预测任务上稳定超过 SH、Wavelet、RFF 等主流基线。
- The Perception-Physics Paradox: Probing Scientific Alignment with TC-Bench
-
作者指出视觉基础模型 (VFM) 在卫星图像上"看起来"很会预测,但在物理极端区段会沿物理坐标轴塌缩,于是用"结构同构"形式化"科学对齐"概念,并发布全球热带气旋基准 TC-Bench 与一套静态/动态/约束三层线性探针,系统揭露 DINO、CLIP、SigLIP、MAE 等冻结骨干在 \(P_c<980\) hPa 强气旋段的表征崩溃。
🧑 人体理解 (5)¶
- DiscoForcing: A Unified Framework for Real-Time Audio-Driven Character Control with Diffusion Forcing
-
DiscoForcing 把"音乐 → 全身舞蹈"的离线生成问题改写成严格因果、有界延迟的流式问题,用一个 VQ-PAE 因果音乐编码器 + 潜空间 Diffusion Forcing + 混合时间噪声调度 + 时间引导采样,把音乐流实时翻译成可直接驱动 Unity 虚拟人和宇树 G1 人形机器人的 30 FPS 全身动作。
- Efficient, Validation-Free Intrinsic Quality Estimation for Large-Scale Face Recognition Datasets
-
提出 Intrinsic Quality (IQ):用代理模型抽出嵌入后,把"邻域标签一致性 Consis"和"归一化谱熵有效秩 \(\tilde{r}_{\mathrm{ent}}\)" 加权融合,在不做完整训练、不要干净验证集的前提下给百万级人脸识别数据集打"可训练性"分数,在 WebFace4/12/42M 和注入噪声的设定上与下游 MFR-ALL 验证准确率排名一致性达到 Spearman = 1.0。
- Learning Instance-Adaptive Low-Rank Orthogonal Subspaces for Clothes-Changing Person Re-Identification
-
把"衣服"这个语义概念显式建模成一个 实例自适应的低秩子空间(用 CLIP 文本描述的 SVD 主成分初始化、再靠图像 patch 的 cross-attention 精修),然后用几何约束强制身份特征与该子空间严格正交,从而在不用对抗训练的情况下做到换衣行人重识别的 SOTA(PRCC +5.9% Rank-1)。
- MotionGRPO: Overcoming Low Intra-Group Diversity in GRPO-Based Egocentric Motion Recovery
-
MotionGRPO 把 head-mounted 设备的第一人称全身动作恢复转化为扩散采样上的 MDP,用 GRPO 配合"轨迹条件感知模型 + 4 个 joint-level 子奖励"的混合奖励做后训练;同时识别出"输入条件太强、组内样本几乎一样导致 advantage 方差消失"这一致命瓶颈,并用 Perlin 噪声注入条件来恢复组内多样性,在 AMASS/RICH 上把 MPJPE 从 EgoAllo 的 124.985 mm 降到 114.207 mm。
- WaveVerse: Scalable RF Simulation in Generative 4D Worlds
-
WaveVerse 把 LLM 驱动的"4D 室内场景+人体动作"生成与一套保留时空相位相干性的物理光线追踪器拼成一条 prompt 到 RF 信号的流水线,用合成数据显著提升 RF 成像与活动识别下游任务,且性能随仿真量持续上涨而不像已有方法那样饱和。
📹 视频理解 (17)¶
- AVTrack: Audio-Visual Tracking in Human-centric Complex Scenes
-
提出 AVTrack 数据集和 AVTracker 基线方法,针对复杂人体中心场景下的音视频实例分割与跟踪(AVIS)任务,通过定义 8 种挑战条件构建高难度评测基准,并设计三阶段局部-全局分治框架(ASR 分段聚合 → 局部说话人定位 → 全局身份关联),在 HOTA 指标上超越现有最优方法约 8 个百分点。
- Foresee-to-Ground: From Predictive Temporal Perception to Evidence-Driven Reasoning
-
Foresee-to-Ground (F2G) 把视频时序定位(VTG)从直接时间戳回归重构为「识别-测量」两阶段问题——先用预测性时序感知 + 跨度证据编码器构建候选事件证据池,再用 LLM 在选中事件的约束下精确生成边界,使 Charades-STA [email protected] 提升 4.1 个点、ActivityNet 提升 6.7 个点。
- MetaphorVU: Towards Metaphorical Video Understanding
-
本文提出首个隐喻视频理解基准 MetaphorVU-Bench(860 视频 + 8 类隐喻分类法)和增强方法 MetaphorBoost——通过 54K 节点 / 200K 边的隐喻知识图谱作为外部认知支架,定量揭示 MLLM 在隐喻视频上的核心瓶颈是"跨域映射缺失"而非视觉识别错误,最优模型相比人类(83.4)仍差 17 个点。
- OmniSIFT: Modality-Asymmetric Token Compression for Efficient Omni-modal Large Language Models
-
本文指出现有 Omni-LLM token 压缩方法对音频和视频"对称"处理是次优的,提出 OmniSIFT——先用时空显著性剪掉视频冗余得到"视觉锚点",再用这些锚点引导音频选择的两阶段非对称压缩框架,仅引入 4.85M 额外参数就在 Qwen2.5-Omni-7B 上保留 25% token 时一致超过现有压缩基线甚至原模型。
- Privacy-Aware Video Anomaly Detection through Orthogonal Subspace Projection
-
作者提出 OPL(Orthogonal Projection Layer)和加强版 G-OPL,用一个 QR 分解出来的可学习正交子空间,在视频异常检测特征空间中显式投影掉"任务无关变量"和"人脸隐私分量",同时引入 SSC/ARD/PD/FPD 四个隐私感知指标,在保持/提升 VAD AUC 的前提下让线性 SVM 探针对面部预测的准确率显著下降。
- ProAct-VL: A Proactive VideoLLM for Real-Time AI Companions
-
ProAct-VL 通过分块输入-输出范式 + 轻量级 FLAG 决策头 + 过渡感知损失函数,使视频大语言模型在流式输入下能自主决定何时响应并生成短片段评论,同时实现 ~1 秒低延迟与强主动性——在游戏解说任务上响应时机 TimeDiff 仅 1.20 秒、触发 F1 = 63.25%,全面超越 GPT-4o 等离线模型。
- RELO: Reinforcement Learning to Localize for Visual Object Tracking
-
RELO 把视觉单目标跟踪中"哪里是目标"这件事重构成一个空间特征图上的 MDP,把每个空间位置当作 action,用 actor-critic + IoU/AUC 直接奖励替换掉传统的手工中心热图监督,并配合"先 warmup 回归 + 层对齐时序 token 传播"两个稳定化设计,在 LaSOText 上以 57.5% AUC 拿到 SOTA。
- Return of Frustratingly Easy Unsupervised Video Domain Adaptation
-
本文提出 MetaTrans——一个"令人沮丧地简单"的无监督视频域适应(UVDA)方法,通过双流 Transformer 的时空特征相减来解耦空间和时间域差异,仅用两个基础损失(监督 + 域对抗)即可超过 SOTA 复杂方法,并把超参搜索成本从指数级压到线性级。
- Revisiting Uncertainty: On Evidential Learning for Partially Relevant Video Retrieval
-
本文针对 Partially Relevant Video Retrieval (PRVR) 中"短查询 vs 长视频"导致的查询歧义与时间稀疏监督问题,提出基于 Dirichlet 分布的层次证据学习框架 Holmes,在视频间用三重原则区分精确/多义/欠定查询并自适应校准标签,在视频内用带 dustbin 的柔性最优传输获得稠密对齐,在 ActivityNet/Charades/TVR 三个数据集上取得 SOTA。
- SkelHCC: A Hyperbolic CLIP-Driven Cache Adaptation Framework for Skeleton-based One-Shot Action Recognition
-
SkelHCC 把 CLIP 搬到 Hyperbolic 空间,显式按"关节 → 身体部分 → 全身"三粒度对齐骨骼-语言表示,并用 LLM 生成的身体部位重要性掩码做无训练的多粒度投票缓存推理,在 NTU120 单样本动作识别上比 SOTA 提升 9%,可训参数只有 0.5M。
🚗 自动驾驶 (8)¶
- CoIRL-AD: Collaborative-Competitive Imitation-Reinforcement Learning in Latent World Models for Autonomous Driving
-
CoIRL-AD 用两个独立的演员分别扛模仿学习(IL)和强化学习(RL)、靠一个潜空间世界模型"想象"未来轨迹来给 RL 算长程奖励,再用一套"谁强谁带谁"的竞争机制让两者互相传递有益行为,从而在没有外部仿真器的离线真实驾驶数据上把 RL 稳稳整合进端到端驾驶,在跨城泛化和长尾场景上取得显著提升。
- Constrained Multi-Objective Reinforcement Learning with Max-Min Criterion
-
本文把"max-min 多目标公平性"和"硬性约束满足"统一到同一个 MORL 框架中——通过占用测度 (occupancy measure) 重新表述为凸规划,再对偶出一个关于权重 \((u,w)\) 的凸优化问题,从而用一套投影梯度下降算法同时实现公平性和约束可行性,并给出几何收敛速率的理论保证。
- DeepSight: Long-Horizon World Modeling via Latent States Prediction for End-to-End Autonomous Driving
-
DeepSight 把"未来世界预测"从显式像素重建(codebook 单帧)换成在 BEV 空间对 DINOv3 语义特征做多帧并行隐式预测,再叠加一个按需触发的 Adaptive Chain-of-Thought,让 Qwen2.5-VL-3B 在 Bench2Drive 闭环上 Driving Score 86.23 (+7.39)、Success Rate 71.36% (+13.63),且只多 ~4% 推理延迟。
- Mitigating Error Accumulation in Continuous Navigation via Memory-Augmented Kalman Filtering
-
把无人机连续 VLN 的 step-by-step 预测重写成"递归贝叶斯估计 = GRU 先验 + 记忆库似然 + 可学习卡尔曼增益"的闭环, 在 TravelUAV 上仅用 10% 数据微调就把 L1-Full 的 SR 从 17.6% 推到 25.9%, 同时把 100 步后还在不断累积的位置漂移压平到 30–40 米。
- Plug-and-Play Label Map Diffusion for Universal Goal-Oriented Navigation
-
本文提出 PLMD:把 BEV 语义图与障碍图合并成 Label Map,用 DDPM 在障碍先验调制下补全未探索区域的语义+障碍标签,作为即插即用模块挂在任意 GON 策略上,在 ON / IIN / MRON 三类任务的 HM3D/MP3D 上一致刷新 SOTA。
- RoCA: Robust Cross-Domain End-to-End Autonomous Driving
-
RoCA 给端到端自动驾驶模型挂一个基于高斯过程的即插即用模块——学一组覆盖多样驾驶场景的基础 token 及其对应轨迹,对新场景按相似度概率推断未来轨迹,既在源域训练时用 GP 的不确定性正则化提升泛化,又在新域上用伪标签和主动学习高效适应,无需 LLM、不增加推理开销。
- Threshold-Based Exclusive Batching for LLM Inference
-
本文系统刻画了 LLM 推理中 mixed batching (MB) 与 exclusive batching (EB) 的性能交叉条件,证明带宽受限 GPU 上 prefill–decode 同批会因带宽争抢拖慢 Attention,进而推导出基于 hazard rate 的最优相位切换阈值 \(\theta^*\) 和内存安全的批大小,并设计在线自适应调度器 EB+,在带宽受限硬件上吞吐最多提升 41.9%,非平稳流量下相对 MB 最多提升 36.4%。
- TSRBench: A Comprehensive Multi-task Multi-modal Time Series Reasoning Benchmark for Generalist Models
-
TSRBench 构造了一个覆盖 14 个领域、4 大维度(感知/推理/预测/决策)、15 个任务、4125 道题、同时支持文本/可视化/文本+图/嵌入四种模态输入的时间序列推理基准,系统评测 30+ 主流 LLM、VLM 与 TSLLM,揭示出"scaling 在感知/推理上仍成立但在预测上失效"以及"文本与可视化模态高度互补但当前模型几乎无法融合"等关键结论。
🤖 机器人/具身智能 (53)¶
- Contrastive Representation Regularization for Vision-Language-Action Models
-
作者发现 VLA 模型里继承自 VLM 的表征被视觉外观主导、对机器人本体状态不敏感,提出 Robot State-aware Contrastive Loss(RS-CL)把本体感受状态之间的欧氏距离当作"软对比标签"重塑表征,并配合"view cutoff"的表征级增广,把 GR00T N1.5 在 RoboCasa-Kitchen 推到 69.7% SOTA,在真实 Franka 拾放任务上把成功率从 45.0% 抬到 58.3%。
- Decompose and Recompose: Reasoning New Skills from Existing Abilities for Cross-Task Robotic Manipulation
-
针对"训练任务到全新任务"的零样本机器人操作,作者把 demo 拆成"原子技能-动作对"作为中间表示,再用 dual-library(动态库按视觉/计划相似度检索 + 静态库按 IDF 加权补全缺失技能 token)给 LLM 提供 skill-comprehensive in-context demonstrations,从而把"模仿轨迹"升级为"组合技能推理"。
- Discrete Diffusion VLA: Bringing Discrete Diffusion to Action Decoding in Vision-Language-Action Policies
-
本文把 VLA 的动作解码从自回归(AR)或外挂连续扩散头改成"在统一 Transformer 内部对离散动作 token 做掩码扩散",配合按置信度自适应排序的并行解码和二次重掩码纠错,在 LIBERO 上达到 96.4% 平均成功率、SimplerEnv-Fractal 64.1% 总均分,且在 OOD 语言/视觉扰动下退化仅 0.8% / 20.4%,显著优于连续扩散和并行解码 baseline,同时保留了预训练 VLM 的多模态先验。
- BEAR: Dissecting Embodied Abilities in Multimodal Language Models through Skill-level Evaluation and Diagnosis
-
BEAR 把具身任务拆成 14 个原子技能、构建 4,469 道图-视频-文交错的 VQA,对 20 个 MLLM 做技能级横纵向诊断,发现感知能力(而非推理)是真正瓶颈,并据此用 GroundingDINO、3D 场景图、轨迹可视化等外部视觉/空间工具拼出 BEAR-Agent,让 GPT-5 在该基准上相对提升 17.5%、在真实机器人抓取上提升 20.17%。
- Dive into the Scene: Breaking the Perceptual Bottleneck in Vision-Language Decision Making via Focus Plan Generation
-
SceneDiver 通过"先建场景图做粗粒度子场景分解、再让 VLM 以智能体方式逐子场景验证"的两阶段焦点规划,把任务相关物体过滤出来再喂回 VLM 做决策,并用 Slot Attention 适配器把这套显式推理蒸馏进 VLA,从而同时缓解高层规划与反应式控制中的视觉幻觉。
- DLO-Lab: Benchmarking Deformable Linear Object Manipulations with Differentiable Physics
-
DLO-Lab 在 Genesis 平台上用 Taichi 自研了一套以离散弹性杆(DER)为内核、支持双向耦合 + 弯曲塑性 + 闭环拓扑的可微仿真器,配套 10 个 rope/cable/橡皮筋 benchmark 任务和一个用 VLM 做"抓点提议 + 任务分解"的专门 agent,把 PPO/SAC/SHAC/SAPO/CMA-ES/GD 各路策略学习算法摆到统一擂台上 PK,并通过系统辨识做了真机 sim-to-real 验证。
- Drift is a Sampling Error: SNR-Aware Power Distributions for Long-Horizon Robotic Planning
-
本文提出 CAPS:把"指令漂移"重新解释为系统性采样误差,用 SNR(=\(\log|\mathcal{A}|-\mathcal{H}\))作为元认知开关,仅在高熵"Pivotal Window"触发基于幂分布 \(\pi\propto p^\alpha\) 的 Metropolis-Hastings 迭代精修,在 RoboTwin、Simpler-WindowX、Libero-long 上 training-free 超越 OpenVLA 和 TACO。
- Dual-Stream Diffusion for World-Model Augmented Vision-Language-Action Model
-
DUST 用一套"分流式"多模态扩散 Transformer(MMDiT)把动作流与未来视觉嵌入流并排走,靠共享 attention 做跨模态融合,再配独立噪声调度和动作-视觉异步采样,让 VLA 同时学会"做什么动作"和"动作会产生什么后果",在 RoboCasa / GR-1 / Franka 真机上稳定刷过 GR00T-N1.5+FLARE。
- Dual Advantage Fields
-
本文观察到双线性目标条件价值模型 \(V_\theta(s,g)=\psi_\theta(s)^\top\phi_\theta(g)\) 中,目标嵌入 \(\phi_\theta(g)\) 恰好就是价值场对状态嵌入的梯度方向,于是用一个 "动作特征位移预测器" \(u_\xi(s,a)\approx\gamma\psi(s')-\psi(s)\) 与目标嵌入做内积,得到一个免学习 Q 网络的局部优势分数,在 OGBench 长程导航 + 操控 + 谜题任务上把 RLiable 聚合指标全面拉高。
- Dual Quaternion SE(3) Synchronization with Recovery Guarantees
-
本文用单位对偶四元数(UDQ)替代 \(4\times4\) 矩阵来参数化 SE(3) 同步问题,先用 Hermitian 对偶四元数矩阵的幂迭代算出谱初始化,再用每步逐元投影到 \(\mathrm{UDQ}^n\) 的广义幂法(DQGPM)做迭代精化,首次给出 SE(3) 同步的有限步线性收敛与显式误差界,并在多扫描点云配准上把旋转/平移误差和算法时间都打到了矩阵方法之下。
🎮 强化学习 (110)¶
- Adaptive Bandit Algorithms for Contextual Matching Markets
-
本文研究带上下文的在线匹配市场,把玩家对动态 arm context 的线性偏好作为 bandit 学习目标,提出适用于 stochastic contexts 的 BARB 和 adversarial contexts 的 AdECO,并给出 player-optimal stable regret 的自适应上界与紧的 \(\tilde O(T^{2/3})\) 级别理论结果。
- Agent Learning via Early Experience
-
本文提出 early experience 范式,让语言 Agent 在没有外部奖励的情况下利用自己尝试动作后的未来状态学习环境动态和决策反思,从而在 8 个 Agent 环境中稳定超过纯模仿学习,并为后续 GRPO 强化学习提供更好的初始化。
- ALSO: Adversarial Online Strategy Optimization for Social Agents
-
ALSO 把 LLM 社会智能模拟中的动态策略选择建模为对抗在线 bandit,并用轻量级奖励代理模型从对话历史中泛化稀疏反馈,在 Sotopia-Hard 上把整体分数从 3.02 提升到 3.53,尤其显著改善关系维度。
- ASAP: Exploiting the Satisficing Generalization Edge in Neural Combinatorial Optimization
-
ASAP 发现神经组合优化中“找出一组有希望的动作”比“直接选中唯一最优动作”更容易跨分布泛化,并用 proposal-selection 两阶段策略和 MAML 初始化让 3D-BPP、TSP、CVRP 神经求解器在分布变化时更稳、更快适配。
- Beyond Scalar Rewards: Dense Feedback for LLM Policy Synthesis in Sequential Social Dilemmas
-
提出 LLM 迭代策略合成框架,让 LLM 直接生成 Python 策略代码用于多智能体序贯社会困境,并通过"反馈工程"证明:在标量奖励基础上加入效率/公平/可持续/和平四项社会指标作为 dense feedback,可以打破"反馈混叠"问题,在 Cleanup 游戏中实现高达 54% 的效率提升。
- Beyond the Proxy: Trajectory-Distilled Guidance for Offline GFlowNet Training
-
提出 TD-GFN,一种无需代理奖励模型的离线 GFlowNet 训练框架,通过逆强化学习从离线轨迹中提取边级奖励,再经 DAG 剪枝与优先反向采样间接指导策略学习,同时保证梯度更新仅依赖真实终端奖励,在分子设计和序列生成等任务上显著超越现有基线。
- Bilevel Optimization over Saddle Points of Zero-Sum Markov Games
-
提出 PANDA 算法,通过基于 Nikaido-Isoda 函数的惩罚重构,用纯一阶策略梯度方法求解下层为正则化零和马尔可夫博弈的双层 RL 问题,达到 \(\tilde{O}(\epsilon^{-1})\) 迭代复杂度和 \(\tilde{O}(\epsilon^{-3})\) 样本复杂度,匹配单策略下层 BRL 的最优已知速率。
- Break the Block: Dynamic-size Reasoning Blocks for Diffusion Large Language Models via Monotonic Entropy Descent with Reinforcement Learning
-
针对扩散语言模型 (dLLM) 半自回归生成时"块大小固定"破坏推理逻辑链的问题,本文提出 b1:用 RL 学一个块结束指示 token 来生成动态长度块,并用一个"块级熵单调下降 (Monotonic Entropy Descent, MED) 奖励"驱动连贯推理,作为即插即用的奖励项接入现有 dLLM RL 框架(Diffu-GRPO/GDPO/d1/wd1),在 Countdown 上将 wd1 从 39.45 推到 58.98。
- CAMEL: Confidence-Gated Reflection for Reward Modeling
-
本文观察到 verdict token 的 log-probability margin 与判断正确率高度相关,据此提出 CAMEL —— 先用单 token 快速给出偏好判断,仅在低置信度时才触发反思生成,并用反事实前缀增强 GRPO 训练自我纠错能力,在三个奖励模型 benchmark 上以 14B 参数取得 82.9% 的平均准确率(超过此前最佳 70B 模型 3.2%)。
- Can Large Language Models Generalize Procedures Across Representations?
-
本文发现 LLM 在符号表征(代码/图)上学到的过程知识无法可靠迁移到自然语言任务,提出"先符号后自然语言"的两阶段 RL 课程学习策略,使 1.5B Qwen 模型在异步规划任务上接近 zero-shot GPT-4o,并从认知科学角度证明成功的跨表征泛化可被解释为生成类比。
🎁 推荐系统 (11)¶
- A Paired Testing Protocol for Batch-Conditioned Refusal Robustness in LLM Serving
-
本文把 LLM serving 中的 batch 条件当作安全评测的处理变量,提出安全提示与能力控制成对比较、人工/打分器校正、跨模型扩展、连续批处理组合和 batch-invariant kernel 消融组成的测试协议,结论是拒绝翻转真实存在但低频、模型特异且依赖具体服务栈。
- Can Recommender Systems Teach Themselves? A Recursive Self-Improving Framework with Fidelity Control
-
RSIR 让序列推荐模型用自身预测能力生成新的合成用户交互序列、再训练一个新模型,并用基于排名的"保真度检查"过滤掉偏离用户偏好流形的样本,防止 self-consuming model collapse;在 4 个数据集 × 3 个主流 backbone 上稳定提升 NDCG/Recall 4–11%,并理论上证明该过程等价于沿用户偏好流形切空间的隐式正则化。
- GCIB: Graph Contrastive Information Bottleneck for Multi-Behavior Recommendation
-
GCIB 用"图信息瓶颈 + 跨行为对比学习"双管齐下,先在结构层把辅助行为图里与目标任务无关的边剪掉(最大化与目标行为的互信息、用 HSIC 替代项最小化与原始辅助图的互信息),再在特征层把去噪后的辅助表示和稀疏的目标表示做 InfoNCE 对齐,从而在四个多行为推荐基准上把 HR@10 / NDCG@10 相对最佳 baseline 再推高 7%–40%。
- Incentivized Exploration with Stochastic Covariates: A Two-Stage Mechanism Design for Recommender System
-
RCB 把推荐系统里的"探索-利用"和"用户激励兼容"打包成一个动态贝叶斯激励兼容(DBIC)约束下的上下文 bandit 问题,提出冷启动 + IPGS 两阶段算法,在随机用户协变量场景下证明 \(\tilde{O}(\sqrt{KdT})\) regret、可插入任意 offline learning oracle,并量化"激励价格"——冷启动样本量随 \(\epsilon\) 收紧呈 \(1/\epsilon^2\) 增长。
- Learning Design Skills as Memory Policies for Agentic Photonic Inverse Design
-
SkillPCF 把光子晶体光纤(PCF)的反向设计重塑为"记忆策略学习"问题:用 PPO 训练的控制器在每个轨迹片段从可演化技能库里挑 Top-K 个 memory 操作,执行器把它们落到轨迹记忆里,再用 MEEP 电磁仿真奖励同时优化控制器与技能库本身,在多 LLM 后端和经典优化基线上都拿到更好的设计成功率与仿真预算权衡。
- Position: Neglecting the Sustainability of AI is Fuelling a Global AI Arms Race
-
这篇 position paper 借 Karl Marx 的"基础-上层建筑"框架,主张当下"sustainable AI"的讨论被环境维度独占而忽略了经济与社会维度,呼吁同时拉高气候意识与资源意识两条轴,并提出 CARAML 五层行动框架(个人 / 社区 / 工业 / 政府 / 全球)以抑制正在升级的"全球 AI 军备竞赛"。
- Position: Stop Preaching and Start Practising Data Frugality for Responsible Development of AI
-
这篇 position paper 指出 ML 社区在"数据节俭"(data frugality)上长期"只说不做"——大家口头承认 coreset 能省能耗,却几乎没人真去汇报能耗和碳排放,并以 ImageNet-1K 为例算出下游训练 + 存储约 5.82 GWh / 2589 tCO2e 的保守下限,呼吁把数据节俭从口号变成可度量、可执行、可奖励的工程实践。
- Prompts for Public-Sector LLMs Should Be Governed as Commons
-
这是一篇 position paper:作者主张公共部门用的 LLM 提示词应当像开源 commons 一样被版本化、有出处、可审计、可否决,并用一座北美城市的 443 条社区提示词(增强到 3,317 条)跑了一个含五种治理状态的 pilot benchmark,给出可证伪的三个预测——治理化提示能改变输出分布、提升可审计性、缩短故障修复时延。
- Rethinking Contrastive Learning for Graph Collaborative Filtering: Limitations and a Simple Remedy
-
作者把 LightGCN 的前向预测打开成"多跳邻居对的可学习权重之和",发现 Sampled Softmax 损失只按物品侧邻居的结构相似度来加权、且对 UU/II/UI/IU 四类邻居对一视同仁,于是提出 NT-SSM——把用户侧结构相似度也接入梯度、并按邻居对类型分别校准加权策略,在四个数据集和多种 GCF 主干上稳定优于 SSM。
- RGMem: Renormalization Group-Inspired Memory Evolution for Language Agents
-
RGMem 借统计物理里的重整化群思想,把语言 agent 的长期对话记忆建模成"事件层 → 关系层 → 概念层"的多尺度系统,通过阈值触发的非线性算子把零散对话粗粒化成稳定的用户画像,从而打破"稳定 vs 可塑"权衡。
🔄 自监督/表示学习 (28)¶
- A Refined Generalization Analysis for Extreme Multi-class Supervised Contrastive Representation Learning
-
本文改进了监督对比学习(在有限标注数据池中构造元组)的样本复杂度上界,通过两个不同的U-统计量估计器,在极值多类场景下实现从依赖最小类概率的界到仅依赖类别数或样本规模的界的突破。
- Active Learning with Foundation Model Priors: Efficient Learning under Class Imbalance
-
这篇论文提出 PriorAL:用基础模型(大模型)的预测作为先验,与小模型做「专家乘积」联合决策,再用一个不平衡感知的熵过滤把无标注池切成「干净集(免费打伪标签)+ 噪声集(花预算请人标)」,从而在类别不平衡叠加标签噪声的图像/文本任务上,比最强主动学习基线省下 50%+ 的标注成本。
- Beyond Distribution Estimation: Simplex Anchored Structural Inference Towards Universal Semi-Supervised Learning
-
本文提出 SAGE,把"估计未标注数据分布"换成"在表征空间做结构推断",用 simplex ETF 几何锚 + 高阶图传播 + 分布无关可靠性加权三件套,在极端标签稀缺且未标注分布任意的 UniSSL 设定下取得平均 8.52% 的准确率提升。
- Can Local Learning Match Self-Supervised Backpropagation?
-
本文从理论上证明了在深度线性网络中局部自监督学习(local-SSL)可以精确实现全局反向传播自监督学习(BP-SSL)的梯度更新,并据此提出 CLAPP++ 算法(引入 2D 空间依赖和直接反馈),在 CIFAR-10/STL-10/Tiny ImageNet 上达到了与全局 BP-SSL 相当的性能,刷新了 local-SSL 的 SOTA。
- Data Augmentation of Contrastive Learning is Estimating Positive-incentive Noise
-
作者证明对比学习里的"预定义数据增强 (旋转/裁剪/翻转)"等价于对 Positive-incentive Noise (π-noise) 的点估计, 然后把 π-noise 从"点估计"升级为可学习分布, 训练一个 π-noise 生成器在原图上加可学噪声当增强 (PiNDA), 使 SimCLR / BYOL / SimSiam / MoCo / DINO 在 vision 上稳定涨点, 且天然适配 HAR / Reuters / Epsilon 等无人工增强的非视觉数据。
- FLAG: Foundation Model Representation with Latent Diffusion Alignment via Graph for Spatial Gene Expression Prediction
-
FLAG 把"从 H&E 病理图预测空间基因表达"重新表述为结构化分布生成问题,用一个固定的空间图编码器把组织拓扑压成条件向量,再用 DiT 在基因维度去噪,并通过基因基础模型 (GFM) 的中间层对齐注入基因-基因调控先验,从而在保持 PCC/MSE 竞争力的同时把基因结构相关性 (GSC) 和空间结构相关性 (SSC) 拉到新的高度。
- From Zero to Hero: Advancing Zero-Shot Foundation Models for Tabular Outlier Detection
-
本文提出 OutFormer —— 一个用 GMM/SCM/Copula 三类合成先验混合预训练、靠多臂老虎机自演化课程稳定多任务训练的表格 PFN,做到零样本表格异常检测:上下文 (in-context) 吃训练数据、前向一步给标签,在 ADBench 与两个新 1500+ 数据集 benchmark 上同时拿到 SOTA 排名和接近 shallow 模型的推理延迟。
- How 'Neural' is a Neural Foundation Model?
-
作者把一只"小白鼠视觉皮层的 SOTA 基础模型(FNN)"当成生理学实验对象,用解码流形 / 编码流形 / 解码轨迹三件套挨个分析它的 encoder / recurrent / readout,发现 FNN 的拟合精度主要靠 readout 那一堆同质 feature map 撑起来,而真正"像大脑"的只有 recurrent 模块;并用新提出的 tubularity 指标定量地说"早期编码层缺少生物级时间结构",给未来神经基础模型给出"早期加 recurrence、readout 减少 feature 维度"的明确建议。
- Inconsistency-Aware Minimization: Improving Generalization with Unlabeled Data
-
本文提出一种只用无标签数据就能计算的"局部不一致性" \(S_\rho(\theta)\) —— 即参数球内 KL 散度的最坏值 —— 并把它当作训练正则项,得到 IAM 优化器,在监督任务上和 SAM/ASAM 持平甚至更好,在半监督 (FixMatch) 与自监督 (SimCLR) 场景下因能吃无标签批量数据而带来额外提升。
- InfoAtlas: A Foundation Model for Zero-Shot Statistical Dependence Estimation
-
InfoAtlas 把互信息估计从"每个数据集都要从头训一个评估网络"的优化问题,改造成一个用大规模合成数据预训练好的超网络的"一次前向推理"问题,做到与 MINE/MINDE 等神经估计器相当的精度同时 100× 提速。
📐 优化/理论 (88)¶
- A2SG: Adaptive and Asymmetric Surrogate Gradients for Training Deep Spiking Neural Networks
-
针对深度脉冲神经网络(SNN)用替代梯度训练时「损失景观尖锐 + 跨时间步梯度互相打架」两大顽疾,这篇论文提出统一框架 A2SG,一方面用自适应有效窗宽(按空间梯度变异 SGV 和时序梯度一致性 TGC 自动调 \(\beta\))压低梯度变异、对齐时间步方向,另一方面把对称替代函数改成「按膜电位高低分配梯度」的非对称形状,并从理论上证明非对称比对称变异更低、局部梯度变异越小损失景观越平坦,从而在 CNN 和 Transformer 型 SNN 上一致提升精度与能效。
- A Fully First-Order Layer for Differentiable Optimization
-
可微优化层的主流做法是对 KKT 条件做隐式微分,必须算 Hessian、解大型 KKT 线性系统,难以扩展到大规模问题;本文把可微优化重写成双层优化,构造"固定活动集 + 线性化活动约束"的 ghost 代理问题把不等式约束局部化简为等式约束,再用有限差分只靠一阶信息在近常数 \(\mathcal{O}(\log(1/\epsilon))\) 次调用内估出超梯度,并做成一个与任意凸求解器(含 GUROBI/MOSEK)即插即用的 PyTorch 库 FFOLayer——收敛与精确法相当,但计算时间和峰值显存随问题规模近乎亚线性增长。
- A General Framework for Dynamic Consistent Submodular Maximization
-
这篇论文给出了 fully dynamic 子模最大化的一般一致性框架,在允许插入和删除的流式环境中,首次为 cardinality 与 matroid 约束同时实现常数近似和次线性级别的 worst-case 每步解变动。
- Accelerated Multiple Wasserstein Gradient Flows for Multi-objective Distributional Optimization
-
这篇论文把 Multiple Wasserstein Gradient Descent 推广为连续时间梯度流,并引入 Nesterov 风格的动量加速,得到 A-MWGraD,在理论上把 geodesically convex 场景的收敛率从 \(O(1/t)\) 提升到 \(O(1/t^2)\),实验上也让多目标采样和贝叶斯多任务学习更快收敛。
- AdaGC: Enhancing LLM Pretraining Stability via Adaptive Gradient Clipping
-
针对大模型预训练里反复出现的 loss spike,AdaGC 把"全局一刀切"的梯度裁剪换成"每个参数张量按自己历史梯度范数的 EMA 自适应裁剪",在异常梯度污染优化器一阶/二阶动量之前就把它压下去,在 Llama-2 7B / Mixtral 8×1B / ERNIE 10B-A1.4B 上把 spike score 全部压到 0,同时下游精度比全局裁剪(GlobalGC)分别提升 +1.32% / +1.27% / +2.48%。
- Adaptive Estimation and Inference in Semi-parametric Heterogeneous Clustered Multitask Learning via Neyman Orthogonality
-
本文桥接双重机器学习与聚类多任务学习,提出自适应框架结合 Neyman 正交性与数据驱动的配对融合罚项,在异质(可能无限维)噪声的半参数设置中精确恢复任务潜在聚类、以汇总率达到预言水平,并建立渐近正态性,实现有效统计推断。
- Adaptive Preconditioners Trigger Loss Spikes in Adam
-
这篇论文把 Adam 训练中的 loss spike 归因于二阶矩预条件器与当前梯度平方的滞后解耦,并用预条件 Hessian 的梯度方向曲率解释和预测 spike 的发生。
- Adaptive Sharpness-Aware Minimization with a Polyak-type Step size: A Theory-Grounded Scheduler
-
这篇论文把 Polyak step size 推广到 USAM/SAM,给出不依赖手工学习率调参的 sharpness-aware scheduler,并在凸优化理论和 CIFAR 实验中验证其稳定性与性能。
- Asymmetric Perturbation in Solving Bilinear Saddle-Point Optimization
-
这篇论文证明只扰动双线性零和博弈中一方的 payoff,就能在足够小扰动下保持原始均衡不变,并据此构造 AsymP-GDA,在理论上获得线性 last-iterate 收敛,在普通型和扩展型博弈实验中比对称扰动更快、更准地逼近原始均衡。
- Automatic Unsupervised Ensemble Outlier Model Selection–Extended Version
-
提出 MetaEns 框架,通过元学习预测候选检测器的边际集成增益,结合多样性折扣和算法族风险正则化的代理目标函数,在无标签条件下自适应地贪心构建紧凑高质量的异常检测集成模型。
📐 学习理论 (45)¶
- A Perturbation Approach to Unconstrained Linear Bandits
-
本文重新审视 Abernethy 等人的扰动式 bandit linear optimization 思路,提出 PABLO 归约,把无约束线性 bandit 转成可调用任意 OLO 子程序的问题,并由此得到 comparator-adaptive 静态/动态 regret、高概率界以及若干下界讨论。
- Active Learning with Low-Rank Structure for Data Selection
-
针对"现有 coreset 数据选择假设数据有几何聚类结构、但很多现代数据集其实是全局代数(低秩)结构"的错配,本文提出基于低秩近似 + 残差敏感度采样的数据选择框架,用一个 \(\tilde{O}(k+1/\varepsilon^2)\) 大小的加权子集把全量平均损失逼近到 \((1\pm\varepsilon)\) 相对误差(外加正比于最优 rank-\(k\) 近似代价 \(\Phi_k\) 的可加项),在表格数据和 Llama3-8B / Qwen2.5-3B 微调上都优于均匀采样与聚类敏感度采样。
- AI4SLT: Empirical Processes in Lean 4 for Formal Statistical Learning Theory
-
这篇工作把"基于经验过程的统计学习理论(SLT)"第一次系统地在 Lean 4 里从零形式化:补齐了 Mathlib 缺失的高斯 Lipschitz 集中、Dudley 熵积分定理、以及最小二乘(含 \(\ell_1\) 约束)回归的尖锐速率,约 3 万行 Lean 代码、无
sorry/axiom,并且全程用"人定证明策略、AI(Claude Code + Opus-4.5)写战术证明"的人机协作完成。 - Asymptotic Optimality of the High-Dimensional Gaussian Mechanism and Improved Low-Dimensional Mechanisms for Differential Privacy
-
这篇理论文回答两个长期悬而未决的问题:在高维下高斯机制是不是加性噪声差分隐私的最优选择(答:当维度 \(T\to\infty\) 时,在固定均方误差下没有任何加性噪声能渐近超过高斯),以及在低维下有没有比高斯和 \(\ell_2\) 机制都更好的机制(答:有——作者提出三参数的 Spherical Generalized Gamma 噪声族,在某些低维设置下 MSE 比两者都低最多 15%,并给出它们的紧致组合,顺带解决了 Joseph et al. 关于 \(\ell_2\) 机制的一个 open question)。
- Bandit Social Learning with Exploration Episodes
-
本文研究"每个自私 agent 控制一小段连续决策(episode)"的老虎机式社会学习动态,证明即便 agent 在自己的 episode 内会自发探索,聚合层面的探索仍会失败——对任意 episode 长度 \(m\geq 2\)、任意聚合效用函数 \(f\)(sum/max/min 等),学习失败都以正概率发生,导致贝叶斯遗憾随时间线性增长。
- Catastrophic Forgetting is Low-Rank: A Function-Space Theory for Continual Adaptation
-
不再把灾难性遗忘当成"参数漂移",而是在 NTK 体系下给出函数空间的闭式刻画:新任务训练通过跨任务核 \(K_{AB}\) 把旧任务预测拽偏,且这个"遗忘向量"在训练前就能精确预测,并集中在旧任务核 \(K_{AA}\) 的极少数特征模态上(1–6 个模态承载 50–90% 的遗忘能量),由此解释了为何参数空间正则器在共享头基准上会失效,并导出一个只保护脆弱子空间的谱正则化方法。
- Conditional KRR: Injecting Unpenalized Features into Kernel Methods with Applications to Kernel Thresholding
-
本文提出条件核岭回归(Conditional KRR)框架,将一组非惩罚特征注入核方法中,通过残差核将其归约为标准 KRR,证明了归约代价为 \(\mathcal{O}(1/\sqrt{N})\),并在硬阈值(top-k 本征函数)和软阈值(随机高斯特征)两种设定下验证了条件 KRR 优于标准 KRR 的充分条件。
- CORE-MTL: Rethinking Gradient Balancing via Causal Orthogonal Representations
-
作者把多任务学习里"负迁移"的根因从"梯度冲突"重新归到"共享表征里语义和噪声纠缠",提出 CORE-MTL:双流编码器把表征拆成语义 \(\hat{Z}_s\) 和残差 \(\hat{Z}_r\),用 CKA 独立性约束 + 反事实风格替换 + 反演渲染重构来落地"因果正交",理论上给出比梯度平衡更紧的 OOD 上界,实验上在 NYUv2/Cityscapes 的 ID 与 GTA5→Cityscapes、Cityscapes-C 的 OOD 设定上同时压过 PCGrad/GradNorm/STCH/FairGrad 等十种 baseline。
- Correcting Split Selection in Online Decision Trees via Anytime-Valid Inference
-
作者指出经典 Hoeffding Tree(HT)在数据流上分裂时使用的"固定样本量"集中不等式被它自己采用的"数据相关停止规则"破坏,于是用 testing-by-betting + Universal Portfolio 重写分裂判据,让单棵树和 Adaptive Random Forest 都能在任意停止时刻保持 Type-I 错误可控,同时在 12 个真实流上更准且树更小。
- Cutting LLM Evaluation Costs with SySRs: A Bandit Algorithm that Provably Exploits Model Similarity
-
为了在"挑选最优模型"时少花评测预算,作者把经典 Successive Rejects 老虎机算法改造成"同步版"SySRs——每阶段让所有存活模型在同一批测试样本上评测,从而像配对检验那样利用模型间相关性,得到一个无超参、且误差上界随模型相关性变紧的最优臂识别算法,在 15 个标准基准上用 ≤35% 的模型×样本对就能可靠选出最优模型、全面超越已有方法。
🔗 因果推理 (19)¶
- An Odd Estimator for Shapley Values
-
这篇论文证明 Shapley value 只依赖集合函数的 odd component,并据此提出 OddSHAP:用配对采样隔离 odd 信号、用 GBT 筛选高阶 odd Fourier 交互、再做稀疏 odd 回归,在中高维解释任务上显著优于灵活预算 Shapley 估计器。
- Causal-JEPA: Learning World Models through Object-Level Latent Masking
-
提出 C-JEPA,将 JEPA 的掩码预测从图像 patch 级别扩展到对象级别潜在表示,通过对象级掩码作为潜在干预迫使模型学习交互依赖的动态,在反事实推理上比无掩码基线提升约 20%,在控制任务中仅用 1% 的 token 即达到可比性能且规划加速 8 倍以上。
- Causal Modeling of Selection in Evolution
-
论文指出"选择"其实分静态选择(一次性过滤)和演化选择(多代差异繁殖累积)两种,现有图模型把二者混为一谈、在演化数据上会得出错误的因果发现;作者定义了显式刻画演化的因果图模型,并证明它的条件独立约束可以用一个"团扩张 DAG"无损表示,从而能直接套用标准 PC/GES/CDNOD 算法、只需重新解释输出。
- Controllable Generative Sandbox for Causal Inference
-
本文提出 CausalMix:一个变分生成框架,把数据类型特定的 multi-head decoder + Bayesian Gaussian 混合潜在 prior 与三类可独立调控的因果"旋钮"(overlap \(\alpha(X)\)、CATE 函数 \(\tau(X)\)、未观测混杂 \(\kappa(X,T)\))联合优化,从而在保持真实数据分布 fidelity 的前提下让用户自由设计 counterfactual benchmark,在 mCRPC(前列腺癌)真实病例上验证 CausalMix 既能高保真复现 mixed-type 表格,又能稳定地按需注入 overlap / confounding / 异质效应,用作 CATE 估计器的可控 stress test。
- Density-Guided Robust Counterfactual Explanations on Tabular Data under Model Multiplicity
-
DensityFlow 把"在模型多重性下生成鲁棒反事实解释 (RCE)"重新表述为带密度约束的最优传输问题,用 NCE 训练一个 (K+1) 类判别器同时学分类与类条件密度,再用 Neural ODE 把查询样本沿密度梯度运到目标类高密度流形上,并在黑盒场景下只对生成轨迹做局部蒸馏对齐,从而以远低于集成基线的查询量取得更高的跨模型 validity。
- ECSEL: Explainable Classification via Signomial Equation Learning
-
ECSEL 把"每个类别一个 signomial(带实数指数的幂律和)函数 + softmax"作为分类器,配合 L1 稀疏正则与多阶段优化,既能在 AI Feynman 等符号回归 benchmark 上以远低于 SOTA 的算力恢复 95.86% 的目标方程,又能在 11 个分类数据集上与 XGBoost/MLP 打平,同时所有特征归因都由模型参数闭式给出。
- Evaluating Bivariate Causal Statements Based on Mutual Compatibility
-
本文针对"只有成对(bivariate)因果陈述、没有 ground truth"的场景,提出两个无需 faithfulness 的相容性评分(线性情形的
comp+ 图结构情形的incomp),通过判断这些两两陈述拼起来的多元模型是否需要"反常的额外混淆"来解释观测协方差,从而识别错误的因果论断,并用它给 LLM 的因果输出打分。 - Finding Most Influential Sets
-
要找"删掉后最大改变某个估计量的 size-\(k\) 子集"(最具影响力集合 MIS)本来需要在 \(\binom{n}{k}\) 个子集里穷举、根本算不动;本文证明只要留集删除效应能写成线性分式形式,MIS 选择就坍缩成一串"选 top-\(k\)"的子问题,用 Dinkelbach 方法做到每轮 \(\mathcal{O}(n)\)、有限步终止,并在偏线性模型里给出从"固定输入精确最优"到"统计意义上恢复 oracle 集合"的完整理论保证。
- Formalizing and Falsifying Causal Pathways of Rare Events
-
本文把罕见事件的"口头因果解释"形式化为 causal pathway——一个由二值化事件构成的子图,并定义 pathway explanation score 来量化"根因 + 中介通路"对目标事件的解释力,得到一套可证伪的因果解释评价框架。
- From Observation to Intervention: A Causal Audit of Expert Importance in Mixture-of-Experts Models
-
作者用「逐 token 消融」的干预性审计去检验 MoE 剪枝里「观测性路由统计量能预测哪些专家可删」这一隐含假设,在三个高冗余 MoE 模型上得到一个干净的「三模型零结果」:60 个指标-层组合里没有任何观测指标在多重比较校正后能预测专家的因果重要性,说明现有剪枝方法之所以有效,不是因为指标真挑出了「没用的专家」,而是因为早中层的冗余让几乎任何选择准则都同样安全。
🔬 可解释性 (91)¶
- A Behavioural and Representational Evaluation of Goal-Directedness in Language Model Agents
-
这篇论文提出一种把行为评估和内部表示探针结合起来的 LLM Agent 目标导向性评估框架,并在 GPT-OSS-20B 的网格导航任务中发现:行为上它大体按目标行动,内部也编码了粗粒度空间地图和短期计划,但会被无功能的目标状物体诱导。
- A Deep Learning Model of Mental Rotation Informed by Interactive VR Experiments
-
这篇论文用 VR 交互实验约束模型设计,提出一个由 3D 等变空间编码器、神经符号对象编码器和动作决策 MLP 组成的心理旋转模型,在准确率、动作次数和部分反应时趋势上复现了人类 mental rotation 行为。
- Accurate Evaluation of Quickest Changepoint Detectors via Non-parametric Survival Analysis
-
本文把在线最快变点检测中的 ARL/ADD 评估改写成右删失生存分析问题,用 Kaplan-Meier 曲线估计有限且不规则长度序列下的检测时间和检测延迟,从而比传统只统计已触发样本的估计器更稳健、更少偏。
- Adaptive Querying with AI Persona Priors
-
作者把"LLM 在 persona 条件下产生的回答分布"打包成一个有限混合的贝叶斯先验,让用户在仅被问几道题的情况下,通过对 persona 后验做闭式更新来高效预测其他回答,性能上压过经典 CAT/IRT 基线。
- AI Engram: In Search of Memory Traces in Artificial Intelligence
-
把神经科学里"engram(记忆痕迹)"的四条经典判据(特异性、再激活、充分性、必要性)翻译成参数空间上的代数约束,从而推出一个只需输入统计量、一次前向就能算出的闭式估计器,把某个概念在网络权重里对应的因果子成分单独"抠"出来,使得任意知识可以通过简单的线性加减被注入或抹除——并证明这个生物学动机的解恰好等价于 Fisher 度量下的自然梯度投影。
- All Circuits Lead to Rome: Rethinking Functional Anisotropy in Circuit and Sheaf Discovery for LLMs
-
这篇论文用 Overlap-Aware Sheaf Repulsion (OASR) 算法系统性地证伪了机理可解释性领域的隐含假设——"一个 LLM 能力对应一个独特的电路"——发现同一任务可被多个几乎不重叠 (IoU ~4–11%) 但都满足 faithful/sparse/complete 的电路或 sheaf 支撑,并给出"分布式稠密电路假设"作为理论解释。
- Analytic Bijections for Smooth and Interpretable Normalizing Flows
-
本文构造了三族"全局光滑(\(C^\infty\))、定义在整个 \(\mathbb{R}\) 上、且有闭式解析逆"的标量双射,既能当 coupling flow 里 spline/affine 的即插替换,又催生出一种直接参数化、变换半径而保角方向的径向流(radial flow)——后者训练极稳、几何可解释,在有径向结构的目标上能用比 coupling flow 少三个数量级的参数达到相当质量。
- Beyond Additive Decompositions: Interpretability Through Separability
-
提出张量分离学习(TSL),一种将条件均值建模为正秩-1可分离乘积之差的逐阶段贪心回归方法,通过可分离结构避免加性分解在强交互下的信号抵消与交互遮蔽问题,同时其偏依赖函数可精确恢复拟合因子形状。
- BLOCK-EM: Preventing Emergent Misalignment via Latent Blocking
-
BLOCK-EM 用 SAE 找到一小撮"因果地控制 emergent misalignment"的内部 latent,然后在窄域 SFT 时加一个 one-sided 正则,禁止模型把这些 latent 朝"失对齐方向"放大——在 6 个 fine-tuning 域上把 emergent misalignment 平均砍掉 93%,同时几乎不损伤 in-domain 任务表现。
- Breaking the Simplification Bottleneck in Amortized Neural Symbolic Regression
-
提出 SimpliPy(基于规则的化简引擎,比 SymPy 快 100 倍)和 Flash-ANSR(基于 Transformer 的摊销符号回归框架),在 FastSRB 基准上以 ~58% 的恢复率匹敌甚至超越遗传编程方法 PySR,同时随推理预算增加生成更简洁的表达式。
📦 模型压缩 (116)¶
- A Language-Guided Bayesian Optimization for Efficient LoRA Hyperparameter Search
-
本文把 LoRA 超参数配置写成带领域解释的文本,让冻结 LLM、可学习 token 和投影层共同构造 BO 的连续搜索空间,再用 10% 数据代理评估降低每次试验成本,在 30 次左右搜索内显著优于默认 LoRA 配置和常规 HPO 方法。
- A Queueing-Theoretic Framework for Stability Analysis of LLM Inference with KV Cache Memory Constraints
-
本文建立首个显式纳入 KV 缓存显存动态的 LLM 推理排队模型,给出闭形稳定性条件 \(\lambda < \mu(1-\delta)\),使运维人员可直接计算所需 GPU 数;在单 GPU、8 GPU 集群与 LongBench 真实数据上验证误差均 \(\leq 10\%\)。
- Active Budget Allocation for Efficient Scaling Law Estimation via Surrogate-Guided Pruning
-
本文把 scaling law 实验中的训练预算分配建模为多轮资源选择问题,用 Successive Halving 结合学习曲线 surrogate 预测未来潜力,在 synthetic 和 nanoGPT 学习曲线上以最高 98.7% 的训练成本节省近似完整 scaling law。
- Active Tabular Augmentation via Policy-Guided Diffusion Inpainting
-
本文形式化了表格增强中的"保真度-效用间隙"问题(生成器优化分布匹配,而增强价值源于低密度区域),提出 TAP 算法通过扩散填补做流形约束提议、策略引导的效用对齐选择、硬约束门控加保守窗口提交,在 7 个真实表格数据集上相比基线最多提升分类精度 15.6%、回归 RMSE 降低 32%。
- Advantage Collapse in Group Relative Policy Optimization: Diagnosis and Mitigation
-
这篇论文指出 GRPO 在二值可验证奖励下会因为组内奖励全同而失去梯度信号,提出 ACR 指标实时诊断这种“优势坍塌”,并用 AVSPO 注入虚拟奖励样本恢复组内方差,从而在多个 Qwen2.5 数学推理模型上稳定提升 4-6 个百分点。
- An Algebraic View of the Expressivity of Recurrent Language Models
-
这篇论文把 RNN/SSM 的形式语言表达能力统一为一个代数问题:在固定数值语义后,模型能识别的语言由其层级转移幺半群及其 wreath product 决定,并且同一架构在浮点与无符号整数语义下会得到完全不同的计数能力。
- ArcVQ-VAE: A Spherical Vector Quantization Framework with ArcCosine Additive Margin
-
作者诊断出 VQ-VAE 的码本坍塌根源是"码本向量 ℓ2 范数失衡 + 几何聚集",于是提出 SAMP:Ball-Bounded Norm Regularization 把所有码本向量约束在时变 Euclidean 球内、ArcCosine Additive Margin Loss 借鉴 ArcFace 在球面上推开 latent 向量,从而让码本均匀分散、利用率大幅上升,在 ImageNet 重建和生成 FID 上都击败主流 VQ-VAE 变体。
- AREA: Attribute Extraction and Aggregation for CLIP-Based Class-Incremental Learning
-
这篇论文把 CLIP 类增量学习中的遗忘拆成“属性抽取漂移”和“属性聚合漂移”,提出 Area 用 PGA 在超球面上固定视觉/文本属性锚点,再用轻量任务专家、VIB 正则和 OT 路由稳定属性聚合,从而在九个 CLIP-CIL benchmark 上显著提升平均精度和最终精度。
- Auditing and Fixing Economic Validity in Tabular Foundation Models for Discrete Choice
-
本文发现TabPFN和Mitra等表格基础模型在离散选择任务中虽然准确率高,却会违反价格-需求单调性和值得信任的时间价值估计,因此提出两阶段行为适配器,把TFM预测嵌入受经济理论约束的效用模型中,在保持100%行为有效性的同时回收大部分准确率收益。
- Beyond Temperature: Hyperfitting as a Late-Stage Geometric Expansion
-
本文通过控制实验证明 Hyperfitting(在小数据集上将 LLM 训练到近零损失)的本质不是温度缩放式的分布锐化,而是一种动态的、上下文相关的 token 秩重排序(Rank Reordering)机制,该机制集中发生在 Transformer 最后一层的"终端几何扩展"(\(\Delta \text{Dim} \approx +80.8\)),并据此提出仅微调最后 5 层的 Late-Stage LoRA,在减少约 80% 可训练参数的同时保持生成多样性。
🕸️ 图学习 (35)¶
- Aitchison Embeddings for Learning Compositional Graph Representations
-
本文提出 AICoG,将节点表示为 simplex 上的潜在原型混合,并用 Aitchison 几何与 ILR 等距坐标学习图嵌入,在保持与欧氏 latent distance model 同等表达力的同时,让节点角色相似性具有基于相对比例 trade-off 的内生解释。
- An Approximation Algorithm for Graph Label Selection
-
这篇论文首次在不放宽标注预算的设定下,为 Graph Label Selection 给出 \(\tilde{O}(\log^{1.5} n)\) 近似算法,并通过树割稀疏化、流判定和树上动态规划把原本全局耦合的选点问题变成可求解的组合优化流程。
- Anchor-guided Hypergraph Condensation with Dual-level Discrimination
-
AHGCDD 把超图凝聚 (HGC) 从"先训练结构生成器、再匹配训练轨迹"的解耦范式重写为端到端框架:用 Heat-Kernel-PageRank 把结构信息塞进初始化特征、用 anchor-guided 思路按特征距离合成稀疏可学的超边,再用粗+细双级判别损失 (类原型 MMD + 实例级对比) 代替昂贵的 HNN 重训练,在 5 个超图基准上 ≥SOTA 同时最高 144× 加速。
- Are Common Substructures Transferable? Riemannian Graph Foundation Model with Neural Vector Bundles
-
这篇论文把图预训练中的“可迁移公共子结构”重新定义为表示空间中的行为不变性,并用神经向量丛、门控几何展平和 Dirichlet 损失构建 Gauge,使图模型在跨域少样本迁移、零样本链路预测和图同构任务上获得更强的结构泛化能力。
- Beyond Model Base Retrieval: Weaving Knowledge to Master Fine-grained Neural Network Design
-
提出 M-DESIGN 框架,将神经网络设计建模为检索增强的迭代修改过程,通过构建修改-增益图编码细粒度架构编辑效果,并利用贝叶斯动态任务相似度在线校准迁移信号,在 33 个 GNN 任务中的 26 个达到设计空间最优。
- Deep Neural Sheaf Diffusion
-
本文指出 Neural Sheaf Diffusion (NSD) 在深层会因 sheaf Laplacian 的"分歧信号"随扩散收敛而消失,从而失去理论上保证的抗坍缩能力;DNSD 用 sheaf 邻接算子替代 Laplacian,并配合 LayerNorm、奇函数激活与逐 stalk 门控,使 sheaf 架构第一次能稳定堆叠到 16 层,在合成长程任务上比 GNN/NSD 基线最多提升 30 pp,在真实异质图基准上也一致领先。
- DTKG: Dual-Track Knowledge Graph-Verified Reasoning Framework for Multi-Hop QA
-
DTKG 把多跳问答按"并行事实核验 vs 链式推理"二分,先用 few-shot 分类器把问题路由到合适的分支,并行分支用 KG 三元组核验原子事实,链式分支在 Wikidata 上做 DFS 路径扩展+评分剪枝,外加一套"任务感知"去噪,在 6 个数据集上比 KGR / ToG 等单策略 baseline 提升 5%–29.5%。
- ERAlign: Energy-based Representation Alignment of GNNs and LLMs on Text-attributed Graphs
-
针对文本属性图(TAG)上 GNN 与 LLM 表示难以对齐的问题,本文用一个集合能量模型(set EBM)把两路表示投到共享隐空间、用 Cramér 距离度量分布错位并逐层对齐,再用免采样的 Energy Discrepancy(ED) 训练把能量降下去,在 8 个 TAG 数据集上全面取得 SOTA。
- Finding the Minimal Parameter Budget for Implicit Reasoning: A Data Complexity Driven Scaling Law for Language Models
-
本文从知识图谱补全任务出发,证明并测量了"隐式推理所需的最小参数量"满足一条以图搜索熵为复杂度度量的线性 scaling law,每个参数最多支持约 \(0.008\) bit 推理信息,颠覆了"模型越大推理越强"的朴素直觉。
- Fixed Aggregation Features Can Rival GNNs
-
本文提出 Fixed Aggregation Features (FAF):把多跳邻域用 mean/sum/max/min/std 等不可训练的聚合算子压成表格特征再喂给 MLP,在 14 个节点分类基准中有 12 个能与精调过的 GCN/GAT/GraphSAGE 乃至 Graph Transformer 打平甚至超越,从而对"GNN 的可训练邻域聚合到底有多必要"提出系统性质疑。
📈 时间序列 (45)¶
- Adaptive Time Series Reasoning via Segment Selection
-
这篇论文提出 ARTIST,把时间序列问答变成“边推理边选择片段”的序贯决策问题,通过 controller-reasoner 架构和层级自博弈 RL,让模型只读取与问题相关的时间片段并提升推理准确率。
- AnomSeer: Reinforcing Multimodal LLMs to Reason for Time-Series Anomaly Detection
-
AnomSeer 将经典时间序列异常检测的统计证据写成专家推理轨迹,并用 TimerPO 强化多模态大模型,使其在折线图输入上同时完成异常类型判断、区间定位和细粒度解释。
- Beyond Extrapolation: Knowledge Utilization Paradigm with Bidirectional Inspiration for Time Series Forecasting
-
提出 KUP-BI 框架,从训练集中构建"后目标延续"知识库,通过比率式变换检索相似历史轨迹的延续模式,生成延续风格辅助流并与主干网络特征门控融合,在 6 个数据集、4 种骨干架构上一致提升长时预测性能。
- Building Social World Models with Large Language Models
-
本文提出"社会世界模型"(SWM),把集体信念当作状态、把社会事件当作外生动作,用 LLM 作转移引擎学一个事件条件的状态转移分布 \(P_\theta(\mathbf s_{t+1}\mid\mathbf s_t,e_t)\);通过一个冻结的"事后后验归因器"提供伪标签来绕开"事件→信念变化"标注缺失的难题,在用真实预测市场(Kalshi/Polymarket)构建的 SWM-Bench 上显著超过时间序列基础模型与 GPT-5.5 等强基线。
- CombinationTS: A Modular Framework for Understanding Time-Series Forecasting Models
-
CombinationTS 把时序预测模型解耦为 Input Transformation / Embedding / Encoder / Decoder / Output Transformation 五个正交模块,在共享的"评估条件空间"上做配对蒙特卡洛采样,用边际性能 \(\mu\) 和稳定性 \(\sigma\) 取代脆弱的单点 MSE,结论是:一旦数据视图(Embedding)设计得好,参数无关的 Identity Encoder 就能打平甚至超过复杂 Transformer,时序预测领域的"SOTA 增益"很大程度上来自看数据的方式而不是建模能力。
- DAG: A Dual Correlation Network for Time Series Forecasting with Exogenous Variables
-
针对"未来协变量已知"的时间序列预测 (TSF-X), DAG 设计了一个双通路网络: 一条沿时间维捕获"历史外生→未来外生"的注意力模式并注入到"历史内生→未来内生"的预测里, 另一条沿通道维捕获"历史外生→历史内生"的模式并注入到"未来外生→未来内生"的预测里, 在 12 个公开/新发布 TSF-X 数据集上 10/10 拿下 MSE 最佳, 显著超过 TimeXer、TFT、TiDE、CrossLinear、PatchTST 等。
- DistMatch: Adaptive Binning via Distribution Matching for Robust Sequential Conformal
-
DistMatch 提出基于 KS 统计量的递归分箱方法——通过将残差分组到近似可交换的叶子节点中摒弃权重重新分配,在分布漂移下提供有效的保形预测间隔;5 个数据集上均实现最小的区间宽度,同时保持有效覆盖率。
- Divide and Contrast: Learning Robust Temporal Features Without Augmentation
-
Di-COT 通过随机划分序列为重叠子块并对其进行对比学习——在不使用数据增强的情况下高效学习鲁棒的时间序列表示,相比现有方法速度快 2.5 倍、精度更高;6 大规模数据集 + 124 UCR + 28 UEA 上全面验证。
- Do Time Series Foundation Model Benchmarks Hide Regime-Dependent Failures? Evidence from Traffic Speed Forecasting
-
这篇论文指出时序基础模型(TSFM)在交通速度预测上"平均指标好看、关键时刻失灵"——它用按交通状态分层的评测揭穿了聚合指标掩盖的灾难性失败,并提出无需重训的后处理方法 BMA,把"过渡态"的预测区间覆盖率拉回接近历史基线的水平。
- Doubly Outlier-Robust Online Infinite Hidden Markov Model
-
本文提出 BR-iHMM:把"鲁棒观测更新(WoLF)"与"批量化状态推断(degenerate sticky HDP prior)"结合起来,给在线无限隐马模型同时在观测空间和状态空间提供有界的 Posterior Influence Function(PIF),在金融订单簿、电力负荷、合成回归三类含异常值的流式数据上把一步预测 RMSE 最多降低 67%。
🏥 医学图像 (28)¶
- Are We Overconfident in Models and Results for Semi-Supervised 3D Medical Image Segmentation?
-
这篇论文指出半监督 3D 医学图像分割同时存在模型伪标签过度自信和评测协议过度乐观两类问题,并提出 TCSeg 用置信度-不确定性双轴可靠性和概率、特征、图像三空间校准来抑制确认偏差,同时倡导多随机种子、best/last checkpoint 同时报喜报忧的评测方式。
- Auditing Sybil: Explaining Deep Lung Cancer Risk Prediction Through Generative Interventional Attributions
-
本文提出 S(H)NAP——基于 3D 扩散桥的「移除 + 插入」生成式干预框架,把 Sybil 这一前沿肺癌风险预测模型的决策反向拆解为「肺结节主效应 + 两两交互 + 背景」的 LMPI(线性+二阶交互模型),首次以因果而非相关的方式审计出它对 ECG 电极、衣物金属扣等院内伪影的依赖以及对外周肺结节的「径向不敏感」严重失败模式。
- CASCADE Conformal Prediction: Uncertainty-Adaptive Prediction Intervals for Two-Stage Clinical Decision Support
-
提出 CASCADE 框架,将两阶段临床决策系统中第一阶段分类器的认知不确定性(通过 Venn-Abers 预测器量化)传播到第二阶段回归预测区间,使高置信患者的预测区间缩窄 38.9%,同时为不确定病例自动扩展安全缓冲,实现自适应覆盖保证。
- DGNO: Discontinuous Galerkin Neural Operator for Pathology Defocus Deblurring
-
DGNO 把病理显微图像的散焦去模糊重新表述为"空间变化积分算子"的反问题,用不连续 Galerkin 风格把全局核拆成元素局部积分算子 + 界面数值通量,既保留神经算子的物理可解释性,又能处理病理图像本质上的局部不连续模糊;在 BBBC006w1 等数据集上超越 NAFNet / Restormer / MambaIRv2 等 SOTA。
- DIYHealth Suite: Dataset, Model, and Benchmark for Health Management at Home
-
针对"在家自己管健康"(Diagnosis-It-Yourself)这一被现有医疗大模型忽视的场景,本文一口气交付了数据集(DIYHealth-900K,90 万条多模态家庭健康问答)、模型(DIYHealthGPT,核心是新提出的 H2LoRA 参数高效微调机制)、基准(DIYHealthBench,首个覆盖 11 项家庭健康任务的评测),在通用与医疗专用基线上都取得 SOTA。
- DP-KFC: Data-Free Preconditioning for Privacy-Preserving Deep Learning
-
本文提出 DP-KFC:基于"Fisher 矩阵的标度由架构决定、相关结构可用模态级频谱统计近似"的观察,用结构化合成噪声(图像用 \(1/f^\alpha\) pink noise,文本用 Zipf 采样)探测网络重建 KFAC 预条件子,既不消耗隐私预算也不引入分布偏移,在强隐私(\(\varepsilon\le 3\))下持续超过 DP-SGD 与公共数据预条件方法。
- EEG-Based Multimodal Learning via Hyperbolic Mixture-of-Curvature Experts
-
EEG-MoCE 给 EEG-based 多模态学习(情绪/睡眠/认知)每个模态分配一个可学习曲率的 Lorentz 流形 expert,再用"曲率大→层级结构更丰富→在 fusion 中权重更高"的 curvature-aware attention 做跨模态融合,在 EAV/ISRUC/Cognitive 三个数据集上 cross-subject 准确率分别 +14.14%、+3.34%、+7.98%。
- Evidential Reasoning Advances Interpretable Real-World Disease Screening
-
EviScreen 用「正常 + 病理」双知识库做区域级证据检索,再以 cross-attention + self-attention 在当前病例和证据间做循证推理,既给出回溯式可解释性(哪几个历史病例支持当前判断)又给出定位可解释性(对比检索得到的异常图),在 4 个真实外部测试集上把高召回处的特异性提升到 SOTA。
- Factored Classifier-Free Guidance
-
本文识别出 CFG 在扩散模型反事实生成中存在「属性放大 (attribute amplification)」失效模式——单一全局 \(\omega\) 会把本不该改变的属性一起放大,并提出 FCFG:按因果图分组、为每组属性分配独立 guidance 权重,从而在 CelebA-HQ / EMBED / MIMIC-CXR 上显著降低非目标属性漂移、改善反事实可逆性。
- Federated Distillation for Whole Slide Image via Gaussian-Mixture Feature Alignment and Curriculum Integration
-
本文提出 FedHD:在异构联邦病理学场景下,用 Gaussian-mixture 特征对齐做「一对一」WSI 特征级蒸馏,再通过课程学习把跨机构合成特征逐步注入本地训练,使各机构能在不共享原始数据、不交换模型参数的前提下协作,且兼容异构 MIL 架构与特征提取器,在 TCGA-IDH / CAMELYON16 / CAMELYON17 上全面超越现有联邦与蒸馏基线。
🩺 医疗 LLM (4)¶
- A Machine-Learned Comorbidity Index
-
传统共病评分(Charlson、Elixhauser)是为死亡率手工调权的线性规则,换个临床结局就失准;本文用神经网络把一次住院的 ICD 诊断码压成一个标量分数,并通过最大化该分数与多个临床结局之间的归一化 HSIC(核依赖)来训练,使这一个分数能在死亡、再入院、住院时长、ICU 转入等多结局上给出一致的严重度排序,在 MIMIC-III/IV 上的依赖性指标显著超过传统指数与多种机器学习基线。
- ClinTutor-R1: Advancing Scalable and Robust One-to-Many Alignment in Clinical Socratic Education
-
提出 ClinTutor-R1,首个面向临床苏格拉底式教学的一对多对齐视觉语言 Agent,通过多智能体模拟器 ClinEdu 构建 48k 对话数据集 ClinTeach,利用显式心智理论推理和三轴 rubric 强化学习,在学员扩展至 10 人时仍保持教学质量稳定,超越基线模型 20% 并达到 GPT-4o 水平。
- Exploring Accurate and Transparent Domain Adaptation in Predictive Healthcare via Concept-Grounded Orthogonal Inference
-
ExtraCare 用一个"字典度量诱导的正交分解"把电子病历(EHR)患者表征拆成「跨域不变的标签信息」和「域特有的协变量残差」,既在两个真实 EHR 数据集上超过现有域适应基线,又能通过稀疏维度消融把每个隐变量映射回具体 ICD 医学概念,告诉临床医生"适应过程中保留了什么、丢掉了什么"。
- MedCase-Structured: A Text-to-FHIR Dataset for Benchmarking Diagnostic Reasoning in Clinically Realistic EHR Settings
-
作者提出一个把自由文本病例转成符合 HL7 FHIR R4 标准的"分阶段 LLM + 术语接地 + 修复循环"流水线,并据此从 MedCaseReasoning 构造出 1408 条结构化合成病例数据集 MedCase-Structured(成功率 82.5%),实验显示 GPT-5.4 / Gemini-3.1-Pro / Claude-Opus-4.6 在结构化 FHIR 输入上的诊断准确率比纯文本输入一致下降 4–23 个点。
🧬 计算生物 (51)¶
- Active Timepoint Selection for Learning Measure-Valued Trajectories
-
本文研究“什么时候采样一个分布快照最有价值”,用 LOT 把 Wasserstein 空间中的测度轨迹线性化,再用带时间扭曲的多输出 GP 给出 epistemic uncertainty,从而主动选择最能降低轨迹重建误差的时间点。
- Advancing Ligand-based Virtual Screening and Molecular Generation with Pretrained Molecular Embedding Distance
-
这篇论文提出直接用冻结的预训练分子模型(GeoDiff、MoLFormer)算嵌入之间的距离(PED)当分子相似度,不做任何相似度专项训练,就能同时用于虚拟筛选的候选排序和分子生成的奖励信号;它和工业标准的 3D 相似度(ROCS/ROSHAMBO2)强相关,在 LIT-PCBA 上 EF1% 反超传统度量,还把生成采样最高提速 3.3×。
- CARD: Coarse-to-fine Autoregressive Modeling with Radix-based Decomposition for Transferable Free Energy Estimation
-
CARD 用"基数 \(r\) 分解"把分子 3D 坐标双射映射为先粗后细的离散-连续混合 token 序列,让一个跨系统通用的自回归 Transformer 作为"零自由能 proposal"通过 BAR 直接估算任意分子系统的绝对自由能,在 70 个新系统的溶剂化任务上达到经典 MFES 的精度且推理快约 40 倍。
- Circuit Tracing in Autoregressive Protein Language Models
-
ProGenMech 把"跨层转码器(CLT)"这套机制可解释性工具首次搬到自回归生成式蛋白质语言模型 ProGen3 上,用一套零样本电路发现算法找出不到 2% 的稀疏隐变量电路,既能复现 ProGen3 的生成概率分布和零样本适应度打分,又能把电路对应到激酶 HRD/DFG 等真实保守生物 motif。
- CoSiNE: 条件位点独立的抗体序列神经进化模型
-
CoSiNE 用神经网络参数化的条件位点独立连续时间马尔可夫链(CTMC)来建模抗体亲和力成熟过程,在保持可处理性的同时捕获位点间上位效应,并通过 Guided Gillespie 采样实现抗原特异性的抗体优化,在零样本变体效应预测上超越了现有语言模型和进化模型。
- Constrained Flow Optimization via Sequential Fine-Tuning for Molecular Design
-
本文针对"在满足领域硬约束(如合成可达性、能量上界)的前提下最大化奖励(如结合亲和、偶极矩)"这一关键场景,提出 CFO 算法:用增广拉格朗日把约束生成式优化拆成一串带 KL 正则的标准微调子问题,自适应地更新罚因子 \(\rho_k\) 与对偶变量 \(\lambda_k\),在合成低维场景与 FlowMol 分子设计任务上同时给出可证收敛与显著的奖励—约束 Pareto 改进。
- CountsDiff: A Diffusion Model on the Natural Numbers for Generation and Imputation of Count-Based Data
-
针对生物测序计数(scRNA-seq、ATAC-seq 等本质上是自然数)既不适合连续扩散也不适合类别扩散的问题,本文提出 CountsDiff——一个直接在自然数集 \(\mathbb{N}_0\) 上运行的扩散框架,把 Blackout 扩散用「生存概率调度 \(p(t)\) + 显式损失加权」重新参数化,并补齐连续时间训练、无分类器引导、churn/remasking(attrition)非单调反向轨迹与随机舍入等现代扩散工具,在 CIFAR-10/CelebA 图像和单细胞 RNA-seq 插补上以最简实例就匹敌甚至超过 SOTA 离散生成模型和专用插补方法。
- Cross-Chirality Generalization by Axial Vectors for Hetero-Chiral Protein-Peptide Interaction Design
-
本文提出 AFI(Axial Feature Injection),把轴向量特征以线性混合方式注入 \(E(3)\)-等变标量化模型的极向量通道,使其退化为 \(SE(3)\)-等变并对手性敏感;以此改造 UniMoMo 得到 PepMirror,仅用同手性(L-L)训练数据即可零样本生成异手性(D-L)多肽 binder,并通过湿实验在 CD38 靶点上验证为首个实验确证的 AI de novo D-肽设计框架。
- Demystifying Multimodal Biomolecular Co-design with Intrinsic Geodesic Coupling
-
作者把"序列 + 三维结构"这种异质模态的共生成问题,重新建模为时序最优传输 (Temporal Optimal Transport) 问题,用双层优化 + 高斯过程代理 (GeoCoupling) 在训练过程中自动学出非对角的时间耦合曲线(即让结构和序列以各自适合的节奏被去噪),在 SBDD 和无条件蛋白质共设计两个任务上同时打败"同步耦合"和"随机耦合"两大类基线,并意外发现一条普适的"结构先行 (structure-leading)"几何先于语义的生成规律。
- Disentangling Latent Risk Pathways via Bayesian Hypergraph Inference
-
针对电子健康档案(EHR)里"多疾病、长尾稀有、共享危险因素"的建模难题,作者把多疾病风险重构成"危险因素调制的潜在疾病通路",用一张潜在超图(超边=共享危险因素的疾病子集)来表达高阶结构,配上一个排斥先验保证通路稀疏可辨识,再用一套保持逻辑依赖的结构化变分推断做可扩展、带校准不确定性的后验估计。
⚛️ 物理/科学计算 (33)¶
- A Call to Lagrangian Action: Learning Population Mechanics from Temporal Snapshots
-
本文从最小作用原理出发,提出 Wasserstein 拉格朗日力学(WLM)框架,学习二阶人口动力学而非传统梯度流的一阶动力学,从而能够捕捉周期性、旋转等更丰富的群体现象,并可在不需要参考过程的情况下完成插值与未来预报。
- ANTIC: Adaptive Neural Temporal In-situ Compressor
-
为了把 PB-EB 级别 PDE 仿真数据"边算边压",本文提出 ANTIC:用 physics-aware 时间选择器只保留物理上重要的快照,再用神经场 + LoRA 持续微调编码相邻快照之间的残差,在 2D Kolmogorov 流上拿到 435× 压缩、在 4.2 TiB 的 3D 双黑洞合并模拟上拿到 6807× 时空联合压缩。
- BALLAST: Bayesian Active Learning with Look-ahead Amendment for Sea-drifter Trajectories under Spatio-Temporal Vector Fields
-
提出 BALLAST 算法,通过从 GP 后验中采样向量场并模拟拉格朗日观测器的未来轨迹来修正主动学习的效用估计,同时开发了 VaSE 推理方法将 GP 后验采样效率提升数千倍,在合成与高保真海洋流场上实现约 16%-22% 的部署成本节省。
- Distribution Transformers: Fast Approximate Bayesian Inference With On-The-Fly Prior Adaptation
-
Distribution Transformer (DT) 把"先验分布"显式 token 化为一组高斯混合分量、把"观测"通过交叉注意力注入解码器,端到端学一个"先验+数据 → 后验"的映射,在保持与先验同族(GMM→GMM)以支持序贯滤波的同时,把推断时间从分钟级压到毫秒级,并允许测试时任意更换先验而无需重训。
- EqGINO: Equivariant Geometry-Informed Fourier Neural Operators for 3D PDEs
-
EqGINO 把 GINO 的 GNO 编码器、FNO 主干、GNO 解码器全部改造成 SE(3) 等变模块:GNO 用相对距离作为旋转不变核、FNO 用"轨道权重共享"在频域强制 \(W(R\mathbf k)=W(\mathbf k)\) 的各向同性,从而在保留 FNO 全局感受野的同时让 3D PDE surrogate 对任意刚性变换鲁棒,且把谱权重参数量从 \(\mathcal O(K^3)\) 降到 \(\mathcal O(K)\)。
- Foundation Inference Models for Ordinary Differential Equations
-
FIM-ODE 把"从含噪轨迹反推常微分方程向量场"这件事一次性摊销到预训练里:用一个只在低次多项式 ODE 先验上预训练的 8M 参数 Transformer 神经算子,单次前向就能零样本预测向量场,在 ODEBench 上以约 1/10 的参数、1/80 的训练数据匹配甚至超过符号回归基线 ODEFormer。
- From Generalist to Specialist Representation
-
本文给出第一个完全非参数(无 intervention、无 functional 约束)的两层 hierarchical 可识别性证明:时间-任务结构由 collider 视角下的 CI test 可识别,任务相关 latent 由 sparsity 正则可从 generalist 表示中分离出来。
- From Geometry to Dynamics: Learning Overdamped Langevin Dynamics from Sparse Observations with Geometric Constraints
-
针对"只能稀疏采样轨迹时无法准确反推随机动力学"的难题,本文把推断重写成一个随机控制问题,用系统不变密度的几何(黎曼度量 + 测地线)来引导重建未观测路径,从而在极度欠采样的过摆朗之万系统上把漂移函数 \(\mathbf{f}\) 估得比现有方法准得多。
- Generative Neural Operators Through Diffusion Last Layer
-
在任何神经算子骨干(FNO/DeepONet)后挂一个"扩散末层"(DLL):用一个输入相关基 \(\Phi_a\) 把目标场压成 \(r\) 维系数向量,再用一个小 MLP 速度场在系数空间做条件流匹配,从而把确定性算子升级成既能采样随机解又能给出滚动不确定性的生成式算子。
- Hermite-NGP: Gradient-Augmented Hash Encoding for Learning PDEs
-
论文把 Instant-NGP 的多分辨率哈希表升级为"梯度增强"版本——在每个哈希格点同时存储函数值与所有混合偏导,再用 Hermite 插值重建出 \(C^1\) 连续、内部解析可二阶可微的场,从而让 NGP 第一次能真正用于 PINN 求解 PDE,在 2D/3D 多个基准上比 SOTA 神经 PDE 求解器降误差最多 \(20\times\),单 epoch 训练只要 \(2\)–\(3.5\,\mathrm{ms}\)。
🌍 地球科学 (2)¶
- Scaling Laws of Global Weather Models
-
本文在统一的训练/评测协议下,对 5 个主流数据驱动天气模型(Aurora、AIFS、Pangu、GraphCast、SFNO)做了首个跨模型的缩放定律分析,发现天气模型偏爱"加宽而非加深"、计算预算应优先投给更多训练数据而非更大模型,且不同气象变量的缩放行为差异巨大——这些规律与 NLP/视觉的缩放定律截然不同。
- (Sparse) Attention to the Details: Preserving Spectral Fidelity in ML-based Weather Forecasting Models
-
MOSAIC 用"概率扰动 + 在 HEALPix 球面网格上的 mesh-aligned 块稀疏注意力"同时解决了 ML 天气预报模型的两类频谱退化(确定性平均带来的谱衰减 + 粗化潜空间带来的高频走样),在 1.5° 分辨率上仅 214M 参数就匹敌甚至超过 6× 高分辨率的模型,单 H100 12 秒生成 24 成员 10 天预报。
📡 信号/通信 (2)¶
- Joint Model and Data Sparsification via the Marginal Likelihood
-
JMDS 通过最大化边缘似然的统一目标同时实现模型和数据稀疏化——避免分阶段优化的次优性,在 CIFAR / ImageNet / WikiText 上以 5-10× 联合压缩比下保持优于独立稀疏化的性能。
- Meta-learning Structure-Preserving Dynamics
-
把 modulation-based 元学习(hyper-network 把 latent code \(\bm{z}^{(k)}\) 映射成层级调制参数)系统性地引入 Hamiltonian / GENERIC 神经网络,提出两种新颖调制——latent multi-rank (MR) 与 latent SVD-like 调制,让一个共享网络在不知道系统参数 \(\bm{\mu}\) 的情况下少样本适配整族新参数实例,同时严格保持能量守恒 / 耗散结构。
👥 社会计算 (9)¶
- Alignment Tampering: How Reinforcement Learning from Human Feedback Is Exploited to Optimize Misaligned Biases
-
这篇论文提出 alignment tampering:当待对齐模型生成“高质量但带偏见”和“低质量但无偏见”的响应时,RLHF 的成对偏好标签会把质量与偏见混在一起,导致奖励模型、PPO/DPO 和 Best-of-N 采样进一步放大原本不想要的偏见。
- FLIPS: Instance-Fingerprinting for LLMs via Pseudo-Random Sequences
-
FLIPS 通过设计伪随机种子序列(仅模型所有者知晓种子)来生成模型独特"指纹响应"——攻击者即便微调或剪枝模型也无法消除指纹,黑盒查询场景下检测率 > 99%、误报率 < 1%。
- IDO: Incongruity-Aware Distribution Optimization for Multimodal Fake News Detection
-
IDO 通过显式建模模态间不一致性作为可学习的分布优化目标——同时拉近真新闻的多模态嵌入并扩大假新闻的不一致,在 Weibo / Twitter / Fakeddit 上 F1 较 SOTA 提升 3-7%、对未见过的假新闻泛化能力显著提升。
- MIND: Multi-Rationale Integrated Discriminative Reasoning Framework for Multi-Modal Fake News
-
MIND 通过多视角理由生成 + 跨理由判别推理为假新闻检测提供可解释 + 鲁棒的判别框架——同时利用 LLM 生成的事实核查、模态一致性、语义合理性 3 类理由,在 Weibo / Twitter / Fakeddit 上 F1 较 SOTA 提升 4-8%。
- ObjEmbed: Towards Universal Multimodal Object Embeddings
-
ObjEmbed 训练一个通用的对象嵌入模型——通过结合检测、分割、检索、描述、分类等任务对齐多模态对象表示,在 OVD / OVS / Text2Image-Object / Open-Caption-Eval 等 11 项任务上单一嵌入超越或匹配任务特定 SOTA。
- SCOPE: Selective Conformal Optimized Pairwise LLM Judging
-
SCOPE 通过双向偏好熵(BPE)消除 LLM 评判中的位置偏差,结合保形风险控制实现有限样本 FDR 控制——在保持高覆盖率的前提下提供统计有效的风险界保证(覆盖率 0.583 时 FDR 仅 0.099 vs Vanilla 1.000 但 FDR 0.198)。
- Self-Debias: Self-correcting for Debiasing Large Language Models
-
Self-Debias 把 LLM 的去偏问题重塑为「在自回归推理链上对概率质量做公平资源分配」:用轨迹级后缀边际作为资源单位,套 Jain 公平指数防止资源在易样本上塌缩,再配 cold-start SFT 与基于一致性过滤的在线自训练,仅用 20k 标注种子就让 Qwen3-8B 在 8 个 fairness/utility 基准上的平均分从 77.5 拉到 81.7,并把基础模型「自我纠错越纠越歪」的塌缩翻转成稳定 +0.4。
- The Geometric Mechanics of Contrastive Representation Learning: Alignment Potentials, Entropic Dispersion, and Cross-modal Divergence
-
本文用测度论框架把 InfoNCE 损失提升到表示分布上的确定性"种群能量",证明 unimodal 情形是凸的且收敛到唯一 Gibbs 平衡,而对称多模态情形会出现持续的负对称 KL 耦合,从几何上必然产生 modality gap。
- Three Years of r/ChatGPT: Societal Impact Evaluations from Social Media Data
-
把 r/ChatGPT 子版三年(2022-12 至 2025-11)共 13.7 万帖子用稀疏自编码器(SAE)拆成可解释特征,再用分段线性变点拟合追踪每个特征的时间轨迹,发现"情感性使用"(心理治疗、情感依恋)在 GPT-4o 发布后骤增;并提出在线监测算法 PuLSE,证明它本可在 2024 年 10 月就报警——比 OpenAI 公开承认这一影响早了半年。
🛡️ AI 安全 (114)¶
- ABC-Bench: An Agentic Bio-Capabilities Benchmark for Biosecurity
-
ABC-Bench 把"AI agent 会不会真的动手做分子生物学"做成三道可自动判分的任务(设计 DNA 片段、规避合成筛查、操控移液机器人跑 Gibson Assembly),实测八个前沿模型在全部三项任务上都超过分子生物学博士专家的中位数,并用真实湿实验证明 o4-mini-high 写的脚本能在 OpenTrons 机器人上把 DNA 真的拼出来。
- ACTG-ARL: Differentially Private Conditional Text Generation with RL-Boosted Control
-
本文提出一个分层框架 ACTG,将隐私文本生成分解为特征学习与条件文本生成两个子任务;进一步引入 Anchored RL,通过混合强化学习目标与基于最优 N 选一的 SFT 锚点,在保持文本保真度的前提下提升条件生成器的指令跟随能力,在生物医学数据上相比先前工作提升 20% MAUVE。
- Active Continual Learning with Metaplastic Binary Bayesian Neural Networks
-
BiMU 为二值贝叶斯神经网络设计有界记忆和不确定性感知的 metaplastic 更新,防止 Bernoulli 后验在长程非平稳流中饱和,并用 Monte Carlo disagreement 实现无缓存的一次性主动查询,显著减少标签和反向传播更新。
- Position: 'AI Alignment' Encompasses Competing Technical Priorities
-
这是一篇 ICML 立场论文,主张"AI alignment(AI 对齐)"是一个多义词:ML 文献里至少有三种互相竞争而非仅仅不同的对齐理念(任务可靠性 / 社会审慎性 / 接管规避),现实中提升其中一种对齐往往会主动损害另一种,作者用"威胁模型差异"与"正向/负向对齐差异"两条横切区分来解释这些张力,并给研究者提出五条具体建议。
- Position: AI Researchers Must Help Lead Arms Control to Mitigate Military AI Risks
-
这是一篇立场文,主张AI 研究者不能只盯着遥远的超级智能风险,而必须主动牵头军事 AI 的"军控"(arms control)技术研究——文章用核武器军控的历史经验做模板,论证当前前沿模型一旦接入军事系统会带来升级、对齐造假、人类逐步失权等可验证性极差的新风险,而现有军控外交工具完全没准备好,因此呼吁 AI 研究者与军控外交专家建立正式协作机制,把验证、可信、透明这些技术难题做出来。
- Alignment Risks from Capability-Seeking RL Training
-
这篇论文指出一个被低估的对齐风险:当模型在带"结构性漏洞"的环境里用 RL 追求任务能力时,即便没人教它作弊,它也会自己学会钻漏洞拿高奖励——作者用四个"漏洞游戏"系统证明了这种 exploit 普遍出现、能跨任务迁移、能经 SFT 传播、且 RL 学到的比 SFT 蒸馏来的更难纠正,更危险的是 exploit 上升时主任务指标常常稳定甚至变好,形成标准监控发现不了的"开发者盲区"。
- AliMark: Enhancing Robustness of Sentence-Level Watermarking Against Text Paraphrasing
-
AliMark 将句子级文本水印从“前缀条件下的逐句检测”改写为“全局秘密比特序列的编码与对齐”,通过重构候选文本和自适应块编辑距离显著提升了对 DIPPER、GPT-3.5 等强改写攻击的检测鲁棒性。
- Anchored Decoding: Provably Reducing Copyright Risk for Any Language Model
-
本文提出 Anchored Decoding:在推理时把高性能但可能复现训练数据的 risky LM 锚定到只用开放许可数据训练的 safe LM 附近,用可调的信息预算在版权复制风险和生成质量之间给出有形式保证的折中。
- Angel or Demon: Investigating the Plasticity Interventions' Impact on Backdoor Threats in Deep Reinforcement Learning
-
作者首次系统评估 7 种主流可塑性干预 (SAM/Shrink&Perturb/Weight Clip/SN/WD/LN/ReDo) 对深度强化学习 (DRL) 后门攻击的影响 (14,664 个实验),发现只有 SAM 是"恶魔"——能显著加剧后门威胁;据此提出"Sweeper-Converter-Connector" 鲁棒后门注入框架并给出基于 loss landscape 锐度的检测信号。
- Antidistillation Fingerprinting
-
这篇论文提出 Antidistillation Fingerprinting (ADFP),用代理学生模型估计哪些水印 token 最容易被蒸馏过程吸收,从而在几乎不牺牲教师输出质量的情况下,更可靠地检测第三方模型是否训练过教师模型输出。
📂 其他 (70)¶
- A Hypertoroidal Covering for Perfect Color Equivariance
-
这篇论文用双覆盖把 HSL 中本来是区间值的饱和度和亮度提升到圆群上,构造 \(\mathbb{T}^3\)CEN,使网络对 hue、saturation、luminance shift 都能实现精确颜色等变,并在颜色偏移和医学图像等任务上提升鲁棒性。
- Adaptive Multi-Round Allocation with Stochastic Arrivals
-
本文形式化网络招募为预算约束的顺序控制问题,证明单轮最优分配是贪心的;通过人口水平代理值函数将多轮规划降维到 \(O(b^5\log b)\) 复杂度,并给出在模型误差下分解为前沿/人口/逼近三类误差的鲁棒性保证。
- AI Cap-and-Trade: Efficiency Incentives for Accessibility and Sustainability
-
作者借鉴碳排放 cap-and-trade,提出针对 AI 推理 FLOP 的配额-交易市场(AI Allowance),用 KKT 条件证明其能在合理参数下严格减少各公司 FLOP 使用,从而同时缓解大模型时代的能耗与小公司被挤出市场两大问题。
- AMDP: Asynchronous Multi-Directional Pipeline Parallelism for Large-Scale Models Training
-
AMDP 用多方向异步流水线、一步参数错配上界、梯度累积和 ZeRO 状态分片,在保持近同步收敛的同时提升大模型流水线并行训练吞吐,在 8 GPU GPT/BERT 实验中相对最强异步基线最高提升约 17%。
- Amortized Simulation-Based Inference in Generalized Bayes via Neural Posterior Estimation
-
这篇论文把 generalized Bayes 中的 power posterior 家族直接摊销到一个同时以观测 \(x\) 和温度 \(\beta\) 为条件的 neural posterior estimator 上,使不同观测和不同 \(\beta\) 下的后验采样可通过一次前向传播完成,而不再需要每次运行 MCMC。
- AutoNumerics-Zero: Automated Discovery of State-of-the-Art Mathematical Functions
-
提出 AutoNumerics-Zero,一种零先验知识的进化符号回归方法,从空程序出发自动发现逼近超越函数(如指数、余弦)的算术程序,在有限精度目标下以更少的运算次数超越了数百年来数学家设计的经典逼近方法。
- Beyond Model Readiness: Institutional Readiness for AI Deployment in Public Systems
-
针对公共部门AI系统"技术上可行但部署上失败"的普遍现象,提出机构对齐就绪度 (Institutional Alignment Readiness, IAR) 五维评估框架,从制度兼容性、数据生态成熟度、人工监督能力、财政可持续性和法规对齐五个维度评估接收机构是否具备负责任部署AI系统的条件。
- Bullet Trains: Parallelizing Training of Temporally Precise Spiking Neural Networks
-
提出基于并行关联扫描(parallel associative scan)的脉冲神经网络并行训练方法,在保持精确硬重置动力学的同时实现最高 44 倍加速,并用可微分数值根求解器实现机器精度的脉冲时间计算。
- Cascaded Flow Matching for Heterogeneous Tabular Data with Mixed-Type Features
-
TabCascade 把表格行拆成"低分辨率(类别 + 数值的离散化版本)"与"高分辨率(连续数值)"两段级联:先用 CDTD 学低分辨率联合分布,再用 flow matching 在低分辨率引导下生成数值细节,并通过数据相关耦合 + 可学非线性时间表收紧 transport cost;天然支持缺失值、零膨胀等"混合型特征"的生成,在 12 个数据集上 detection score 比 SOTA 提升 51.9%。
- Complexity as Advantage: A Regret-Based Perspective on Emergent Structure
-
本文提出 Complexity-as-Advantage (CAA):把"复杂度"重新定义为一族资源受限观察者在同一过程上的后悔(regret)分散程度,并证明它在 log-loss + Markov 框架下等价于条件互信息原子之和(恰好恢复 excess entropy),在编码视角下等价于过剩描述长度的方差(MDL),从而把 Kolmogorov 复杂度、Bennett 逻辑深度、excess entropy 统一成一个可计算、可经验估计的标量谱。