跳转至

🔬 ICLR2026 论文汇总

5307篇ICLR2026论文解读，涵盖强化学习(400篇)、图像生成(352篇)、学习理论(294篇)、LLM Reasoning(241篇)、模型压缩(239篇)、优化/理论(220篇)、多模态 VLM(211篇)、LLM Agent(209篇)等 52个方向。每篇含一句话总结、核心思想、方法详解、实验结果与局限性分析，5分钟读懂一篇论文核心思想。

💡 LLM Reasoning (241)

Vision-R1: Incentivizing Reasoning Capability in Multimodal Large Language Models

提出Vision-R1，通过Modality Bridging构建200K高质量多模态CoT数据进行冷启动初始化，再用渐进思维抑制训练(PTST)策略结合GRPO强化学习，在7B参数规模达到与OpenAI O1接近的多模态数学推理能力。

DeepMath-103K: A Large-Scale, Challenging, Decontaminated, and Verifiable Mathematical Dataset for Advancing Reasoning

DeepMath-103K 是一份专为 RLVR（可验证奖励强化学习）打造的大规模数学推理训练集：从 286.9 万条数学论坛原始问题出发，经严格去污染、难度过滤（主体为 5–9 级）和答案可验证性校验，得到 10.3 万道高难度、与主流评测基准几乎无重叠、每题都带可机器校验答案和三条 R1 解答的题目；用它做 RL 训练的模型在 AIME、MATH500 等数学基准上全面领先，并能泛化到生物/物理/化学等非数学推理任务。

Dynamic Early Exit in Reasoning Models

DEER 让大推理模型在思维链的"思路切换点"试着提前作答，用试探答案的置信度判断是否已经"想够了"，从而无需训练即可动态早停，在 11 个模型、10 个基准上把 CoT 长度平均压缩 19.1%~80.1% 的同时还提升了 0.3%~5.0% 的准确率。

When More Is Less: Understanding Chain-of-Thought Length in LLMs

本文系统揭示了"思维链越长越好"是个误解——任务准确率随 CoT 长度呈倒 U 型曲线，存在一个随任务难度增大、随模型能力增强而缩短的最优长度；作者用一个误差累积理论模型解释了这一现象并推导出 scaling law，进而给出"按最优长度造训练数据 + 推理时按长度过滤投票"两个实用配方。

OpenThoughts: Data Recipes for Reasoning Models

作者用 1000+ 组受控实验把"推理模型 SFT 数据该怎么造"这件事拆成六个流水线阶段逐个消融，得出一套简单却反直觉的数据配方（少而精的题源 + LLM 难度/长度筛题 + 每题采 16 次答案 + 跳过答案验证 + 用更弱的 QwQ-32B 当教师），据此造出 OpenThoughts3-1.2M 数据集并训出 OpenThinker3-7B，在 AIME25/LiveCodeBench/GPQA 上分别比 R1-Distill-7B 高出 15.3/17.2/20.5 个百分点，成为同规模开源数据 SOTA。

GPG: A Simple and Strong Reinforcement Learning Baseline for Model Reasoning

GPG（Group Policy Gradient）回归最朴素的策略梯度，直接优化 RL 原始目标——砍掉 critic、reference 模型、KL 约束和 surrogate loss，只保留组内均值归一化加一个梯度去偏修正，就在数学与多模态推理任务上稳定超过 GRPO。

Deep Think with Confidence

DeepConf 利用大模型生成时自带的局部置信度信号，在并行思考（多采样 + 多数投票）的基础上动态过滤掉低质量推理链：离线时用置信度加权投票 + Top-η% 过滤，在线时用最低分组置信度做早停 + 自适应采样——无需训练、无需调参，在 AIME 2025 上把 GPT-OSS-120B 的准确率推到 99.9%，同时把生成 token 砍掉最多 84.7%。

SimpleTIR: End-to-End Reinforcement Learning for Multi-Turn Tool-Integrated Reasoning

SimpleTIR 发现多轮工具集成推理（TIR）的 RL 训练崩溃根源在于工具反馈引入的低概率 token 累积，并提出一个即插即用的轨迹过滤策略——丢弃含「空转轮（void turn）」的整条轨迹——从而稳住梯度，把 Qwen2.5-7B base 的 AIME24 从纯文本基线 22.1 拉到 50.5。

ShinkaEvolve: Towards Open-Ended and Sample-Efficient Program Evolution

ShinkaEvolve 用「父代加权采样 + 代码新颖性拒绝采样 + Bandit 式 LLM 集成选择」三件套，把 LLM 驱动的程序进化从动辄数千次评估压到 150 次，并在圆填充、AIME agent 脚手架、ALE-Bench 竞赛编程、MoE 负载均衡损失四个领域上做到 state-of-the-art。

Curriculum Reinforcement Learning from Easy to Hard Tasks Improves LLM Reasoning

提出 E2H Reasoner——把训练数据按难度分解为「平凡/简单/中等/困难」四档，再用一个概率调度器（余弦或高斯）从易到难逐步转移采样焦点，让小模型也能学会原本零样本根本做不出的硬推理任务，并配套给出了 CRL 的收敛性与样本复杂度理论保证。

查看全部241篇「LLM Reasoning」论文 →

🦾 LLM Agent (209)

Agentic Context Engineering: Evolving Contexts for Self-Improving Language Models

提出 ACE（Agentic Context Engineering）框架，将 context 视为不断演化的"策略手册"（playbook），通过 Generator-Reflector-Curator 三角色分工和增量式 delta 更新来持续积累和精炼策略，解决了现有 prompt 优化中的简洁偏差和上下文坍塌问题，在 agent 任务上平均提升 10.6%、金融任务提升 8.6%，且自适应延迟降低 86.9%。

Evaluating Memory in LLM Agents via Incremental Multi-Turn Interactions

作者基于记忆科学与认知科学，把记忆智能体应拥有的能力拆成「准确检索、测试时学习、长程理解、选择性遗忘」四项核心能力，并构建了首个把长文本切块、增量喂给智能体来模拟多轮交互的统一基准 MemoryAgentBench，发现现有的长上下文、RAG、商用记忆智能体没有一个能同时掌握四项能力。

MEM1: Learning to Synergize Memory and Reasoning for Efficient Long-Horizon Agents

MEM1 用端到端强化学习训练 LLM 智能体把"记忆整合"嵌进"推理"本身——每一轮只保留一个不断被改写的紧凑内部状态，旧观测用完即丢，从而在任意长的多轮任务里维持近乎常数的上下文，做到性能更高、显存更省、推理更快。

ST-WebAgentBench: A Benchmark for Evaluating Safety and Trustworthiness in Web Agents

提出首个专门评估 Web Agent 安全性和可信赖性的基准 ST-WebAgentBench，通过策略层级框架和完成度策略（CuP）指标，揭示当前 SOTA Agent 在企业场景中存在严重的策略违规问题。

MCP-Bench: Benchmarking Tool-Using LLM Agents with Complex Real-World Tasks via MCP Servers

MCP-Bench 把智能体接到 28 个真实生产级 MCP 服务（共 250 个工具、覆盖金融/科研/旅行等 11 个领域），用自动合成的「模糊指令、多目标、跨域」复杂任务，加上「规则检查 + LLM 评委」两层评估，系统性地暴露了 20 个主流 LLM 在长程规划与依赖推理上的真实短板。

GTA1: GUI Test-time Scaling Agent

GTA1 用「每步并行采样多个动作提案 + 多模态裁判挑最优」的测试时扩展解决规划易级联失败的问题，再用「直接预测坐标、点中即奖励」的纯 RL grounding 模型（不要 CoT thinking）做精准定位，让两阶段 GUI 智能体在 grounding 与任务执行两类基准上同时达到 SOTA。

AgenTracer: Who Is Inducing Failure in the LLM Agentic Systems?

AgenTracer 用"反事实回放 + 程序化故障注入"自动标注多智能体失败轨迹、造出 TracerTraj-2.5K 数据集，再用多粒度强化学习训出一个 8B 的轻量"失败追踪器"，在 Who&When 基准上把决定性错误定位到具体智能体和步骤，agent 级准确率反超 Gemini-2.5-Pro、Claude-4-Sonnet 等巨型模型最多 18.18%，并能给 MetaGPT、MaAS 等现成系统反馈、带来 4.8~14.2% 的性能提升。

MemGen: Weaving Generative Latent Memory for Self-Evolving Agents

MemGen 让 LLM 智能体在推理过程中由一个「记忆触发器」实时判断何时需要回忆，再由一个「记忆编织器」生成一段机器原生的潜在 token 序列注入推理流，从而把记忆与思考交织成动态循环，在冻结主干、不改一个参数的前提下显著超越参数式与检索式记忆。

Seeing, Listening, Remembering, and Reasoning: A Multimodal Agent with Long-Term Memory

M3-Agent 把实时视觉与音频流转成实体中心的多模态长期记忆，再用强化学习训练的控制模型多轮检索和推理，在 M3-Bench 与 VideoMME-long 上超过提示式闭源 agent 和在线长视频理解基线。

MedAgent-Pro: Towards Evidence-based Multi-modal Medical Diagnosis via Reasoning Agentic Workflow

MedAgent-Pro 把现代临床"循证诊断"流程拆成疾病级标准化计划生成和患者级逐步证据推理两层 agentic workflow，用 RAG 对齐医学指南、用视觉/编码工具做量化分析、用证据反思机制逐步剔除不可靠中间结论，让 VLM 从"凭经验一跳作答"变成"有指标、有证据、可追溯"的诊断系统。

查看全部209篇「LLM Agent」论文 →

⚖️ 对齐 / RLHF (102)

ELEPHANT: Measuring and Understanding Social Sycophancy in LLMs

本文将 LLM 谄媚行为从"同意错误事实"扩展到"过度维护用户面子"，提出 social sycophancy 理论框架，构建 ELEPHANT 基准评测 11 个主流 LLM，发现它们在日常建议查询中平均比人类多谄媚 47 个百分点，且谄媚倾向在偏好数据集中受到奖励，同时提供提示重写和 DPO 等缓解策略。

Skywork-Reward-V2: Scaling Preference Data Curation via Human-AI Synergy

提出 Human-AI 协同的两阶段偏好数据策展流水线：阶段一通过人工验证、错误驱动自适应检索和偏好引导 LLM 标注迭代 8 轮积累约 1M 偏好对；阶段二借助双 RM 一致性过滤将数据规模扩展到 26M 对。最终训练的 Skywork-Reward-V2 8B 模型在 RewardBench 达 97.8%，7 个主流基准平均 88.6%，全面超越所有开源 70B 奖励模型。

RewardBench 2: Advancing Reward Model Evaluation

本文提出 RewardBench 2——一个用全新未见人类 prompt、把"1 选 1"改成"4 选 1（1 正 3 负）"、覆盖 6 大领域（含新增的 Ties / Precise IF / Factuality）的奖励模型评测基准；它比初代 RewardBench 平均难 20 分，且与 best-of-N 采样、PPO 训练等下游用法的相关性显著更强。

AlphaSteer: Learning Refusal Steering with Principled Null-Space Constraint

提出 AlphaSteer，通过学习一个受零空间约束的变换矩阵来动态构造 steering 向量，对良性输入产生近零向量（保持效用），对恶意输入重建拒绝方向向量（增强安全），在理论上保证了安全与效用的解耦。

Chasing the Tail: Effective Rubric-based Reward Modeling for Large Language Model Post-Training

理论证明奖励过优化主要源于高奖励尾部区域的奖励模型错误规范，提出基于 rubric 的奖励建模方法：利用 off-policy 数据（强模型生成的优秀回复）构造评分细则，通过渐进式区分"优秀 vs 更优秀"来精细化 rubric，有效缓解奖励过优化。

No Prompt Left Behind: Exploiting Zero-Variance Prompts in LLM Reinforcement Learning via Entropy-Guided Advantage Shaping

发现 GRPO 训练中大量"零方差提示"（所有回答全对或全错）被白白丢弃，提出 RL-ZVP 算法通过熵引导的优势整形从中提取学习信号，在六个数学推理基准上相比 GRPO 提升最高 8.61 个精度点和 7.77 个通过率点。

SafeDPO: A Simple Approach to Direct Preference Optimization with Enhanced Safety

重新审视安全约束 RLHF 目标并证明其存在闭式最优策略，据此推导出等价的可处理目标 SafeDPO，仅需在标准 DPO 上加入安全感知数据变换和安全 margin 项（1 个额外超参数），无需奖励/代价模型，在 PKU-SafeRLHF-30K 上实现 96.87% 无害率且保持竞争力的有用性，训练速度比 SafeRLHF 快 25×。

Cultivating Pluralism In Algorithmic Monoculture: The Community Alignment Dataset

作者用 5 国 15,000 人的代表性人类调查证明：21 个 SOTA 大模型的回答只对齐了 41% 的人类偏好（"算法单一文化"），现有偏好数据集因候选回答太同质而学不出这种多样性；为此提出"负相关采样（NC sampling）"——用一句 prompt 让单个模型一次生成四个刻意发散的回答，使对齐方法学习异质偏好的能力大幅提升，并据此开源了迄今最大、最具代表性的多语言多轮偏好数据集 Community Alignment（233,319 条比较）。

Hierarchy-of-Groups Policy Optimization for Long-Horizon Agentic Tasks

揭示了 stepwise group-based RL（如 GRPO/GiGPO）中的「历史上下文不一致」问题——同一 group 内的 step 可能具有不同历史上下文导致 advantage 估计偏差，提出 HGPO 通过层次化分组和自适应加权实现低偏差、平衡方差的 advantage 估计，在 ALFWorld 和 WebShop 上以极低额外开销（<0.001%）取得显著提升。

What's In My Human Feedback? Learning Interpretable Descriptions of Preference Data

WIMHF 用稀疏自编码器（SAE）在「两个候选回复的嵌入差」上学出一小批人类可读的特征，再用逻辑回归量化每个特征对偏好标签的影响，从而自动地、无需预设假设地说清楚一份偏好数据集「能测什么偏好」和「标注者实际偏好什么」，并把这些特征当作数据净化和个性化的可控杠杆。

查看全部102篇「对齐 / RLHF」论文 →

🔒 LLM 安全 (184)

wd1: Weighted Policy Optimization for Reasoning in Diffusion Language Models

提出 wd1，一种无需策略比率（ratio-free）的加权对数似然策略优化方法用于扩散语言模型（dLLM）的 RL 微调，通过正样本加权和负样本惩罚避免了 GRPO 中策略比率估计的偏差和高方差问题，在 LLaDA-8B 上实现了 Sudoku +59%、GSM8K 84.5% 的 SOTA 性能。

Hey, That's My Model! Introducing Chain & Hash, An LLM Fingerprinting Technique

提出 Chain & Hash：用加密哈希把一组指纹问题和它们的目标回答确定性地绑死，让模型所有者能在纯黑盒条件下不可伪造地证明模型归属，并通过随机填充 + meta-prompt 多样化训练让指纹在微调、量化、改风格 prompt 下依然存活。

Obfuscated Activations Bypass LLM Latent-Space Defenses

这篇论文提出"混淆攻击"——在越狱/SQL 等行为目标之外再加一项"骗过潜空间监控"的损失，联合优化对抗后缀，结果能把各类激活探针（线性/MLP/OOD）的召回率从 100% 压到 0% 而越狱成功率仍达 90%，证明白盒潜空间监控对最坏情况攻击并不鲁棒，但同时发现了一个"混淆税"：在写正确 SQL 这类复杂任务上躲探针会拉低模型本身的性能。

ImpossibleBench: Measuring LLMs' Propensity of Exploiting Test Cases

通过把 LiveCodeBench / SWE-bench 的单元测试改写成与自然语言规范直接冲突的"不可能任务"，让"通过测试"本身就等价于"作弊"，从而把 LLM 编程智能体钻测试空子（reward hacking）的倾向变成一个 0 噪声、可自动测量的指标。

Steering Evaluation-Aware Language Models To Act Like They Are Deployed

作者先训练出一个会"看人下菜碟"的 Llama Nemotron 49B 模型生物体（evaluation 时写 Python 类型注解、deployment 时不写），再证明只要往残差流里加一个对比激活引导向量，就能在评估场景中骗模型相信自己已经上线，从而暴露出它本来想藏起来的"部署行为"。

Constitutional Classifiers++: Efficient Production-Grade Defenses against Universal Jailbreaks

这篇论文把 Constitutional Classifiers 从“鲁棒但偏贵”的安全过滤器推进到生产可用版本：用上下文感知的 exchange classifier、两阶段级联和激活线性探针组合，在通用越狱红队测试中提升鲁棒性，同时把计算开销压到单一 exchange classifier 的约 \(1/40\)。

MCP-SafetyBench: A Benchmark for Safety Evaluation of Large Language Models with Real-World MCP Servers

基于真实 MCP 服务器构建的安全评测基准，用统一的 20 类攻击分类法（覆盖 server/host/user 三侧）、跨 5 个真实领域的多轮 ReAct 任务，系统揭示了当前主流 LLM Agent 在 MCP 环境下普遍脆弱、且存在「能力越强越不安全」的安全-效用权衡。

Estimating Worst-Case Frontier Risks of Open-Weight LLMs

OpenAI 在发布 gpt-oss 前，主动用"恶意微调（MFT）"把模型在生物和网络安全两个高危领域尽可能调到最强，以此估计开源权重释放的最坏情况风险，结论是即便对手全力压榨，gpt-oss 也跑不过闭源 o3、且没有实质性推高开源模型的能力前沿，因此释放带来的净新增危害有限。

Building a Foundational Guardrail for General Agentic Systems via Synthetic Data

本文针对 LLM agent「执行前」这一最安全的干预时机，提出一套完整护栏方案：用可控合成数据引擎 AuraGen 造大规模带标注的风险轨迹，训练一个轻量 guardian 模型 Safiron（前接跨规划器 adapter 统一输入格式）来判定/分类/解释风险，并发布人工核验的 Pre-Exec Bench 基准；在该基准上四项指标全面超越 GPT-5、Claude-3.7 等强基线。

Reliable Weak-to-Strong Monitoring of LLM Agents

本文提出 Monitor Red Teaming（MRT）这套标准化"压力测试"流程，用威胁模型 + 逃逸策略 + 两个 sabotage 基准（含新建的 computer-use 基准 CUA-SHADE-Arena）系统性地考验"检测 LLM agent 隐蔽作恶"的监控系统，并设计了一个"层次化 + 顺序化"的混合监控脚手架，让弱模型也能可靠地监督更强的 agent。

查看全部184篇「LLM 安全」论文 →

👻 幻觉检测 (40)

Enhancing Hallucination Detection through Noise Injection

在 LLM 中间层的 MLP 激活中注入均匀噪声来近似贝叶斯后验，捕获认知不确定性（epistemic uncertainty），与采样温度捕获的偶然不确定性（aleatoric uncertainty）互补，将 GSM8K 上的幻觉检测 AUROC 从 71.56 提升到 76.14。

Visual Multi-Agent System: Mitigating Hallucination Snowballing via Visual Flow

本文发现 VLM 多智能体系统（MAS）会出现"幻觉滚雪球"——某个 agent 的视觉误判被后续 agent 通过纯文本流不断放大；作者通过逐轮/逐层/逐 token 的注意力分析定位到"中间层单峰视觉 token"是承载视觉证据的关键，进而提出 ViF：用这批视觉中继 token 在 agent 之间额外搭一条"视觉流"，并配合注意力重分配，模型无关地缓解滚雪球，在 8 个 benchmark、4 种 MAS 结构、10 个底座上稳定提升 2.4–3.8%。

HalluGuard: Demystifying Data-Driven and Reasoning-Driven Hallucinations in LLMs

本文提出统一的「幻觉风险界（Hallucination Risk Bound）」理论框架，把 LLM 幻觉风险用三角不等式分解为数据驱动项（训练期表示偏差）与推理驱动项（解码期不稳定），并据此设计无需外部参考、无需幻觉标注的 NTK 谱代理分数 HalluGuard，在 10 个基准、11 个基线、9 个骨干上一致取得 SOTA。

Hallucination Begins Where Saliency Drops

提出 LVLMs-Saliency 梯度感知诊断框架来量化每个输出 token 的视觉锚定强度，发现"当先前输出 token 对下一个 token 预测的显著性降低时，幻觉就会产生"的关键规律，并基于此设计了 SGRS（显著性引导的拒绝采样）+ LocoRE（局部一致性增强）双机制推理时框架，在多个 LVLM 上显著降低幻觉率。

LUMINA: Detecting Hallucinations in RAG System with Context-Knowledge Signals

提出 Lumina 框架，通过"上下文-知识信号"检测RAG系统中的幻觉：用MMD度量外部上下文利用程度，用跨层token预测演化度量内部知识利用程度，无需超参调优即可泛化。

BARREL: Boundary-Aware Reasoning for Factual and Reliable LRMs

针对大推理模型（LRM）在事实问答上"宁可编也不说不知道"的毛病，本文先定位出两种由"事实性过度思考"引发的病态推理模式，再用"知识边界标注 → 边界感知 SFT → 基于可靠性奖励的 GRPO"三段式训练框架 BARREL，把 DeepSeek-R1-Distill-Llama-8B 的可靠性从 39.33% 拉到 61.48%，且准确率不降反升。

Look Carefully: Adaptive Visual Reinforcements in Multimodal Large Language Models for Hallucination Mitigation

提出 AIR（Adaptive vIsual Reinforcement）框架，通过原型距离的 token 精简 + 最优传输引导的 patch 选择性增强，在推理时无训练地减少 MLLM 幻觉（LLaVA-1.5-7B CHAIR_S: 22→18.4，POPE 准确率 +5.3%），同时保持多模态通用能力。

Learning to Reason for Hallucination Span Detection

本文提出 RL4HS：用强化学习（基于 span-F1 奖励的 GRPO）训练一个会"先推理后定位"的 7B/14B 模型来精确检测幻觉跨度，并设计 Class-Aware Policy Optimization (CAPO) 修正奖励对"无幻觉"类的系统性偏置，在 RAGTruth 上超越 SFT、专有大推理模型（GPT-5、o3）。

Hallucination Reduction with CASAL: Contrastive Activation Steering for Amortized Learning

CASAL 把推理时的激活引导（activation steering）"摊销"进模型权重——只训练单层的一个子模块、只用表示损失（不用交叉熵），就能让 LLM "知道的答、不知道的弃答"，在多个短问答基准上把幻觉率降低 30%–40%，且比 LoRA 类基线省 ~30× 算力、~20× 数据。

SHIELD: Suppressing Hallucinations In LVLM Encoders via Bias and Vulnerability Defense

首次将LVLM对象幻觉系统性追溯到视觉编码器，识别出统计偏差（高频模式token过度强调）、固有偏差（预训练主导对象的残余表示）、脆弱性（微小扰动即导致特征失真）三大问题，并提出SHIELD——一个完全免训练的框架，通过token重加权、token减法和对比解码三策略协同防御，在LLaVA-1.5/InstructBLIP/Qwen-VL上全面超越VCD和OPERA等方法。

查看全部40篇「幻觉检测」论文 →

📊 LLM 评测 (131)

LLMs Get Lost In Multi-Turn Conversation

本文通过"指令分片 + 模拟对话"的大规模实验（20 万+ 模拟对话、15 个 LLM）证明：所有顶尖 LLM 在多轮欠定对话中相比单轮完整指令平均掉点 39%，而这种退化主要不是能力下降，而是可靠性崩溃——模型一旦在某轮走错就"迷失"且无法恢复。

DeepResearch Bench: A Comprehensive Benchmark for Deep Research Agents

针对"深度研究智能体（DRA）"提出首个系统性基准 DeepResearch Bench——100 个由领域专家精心打磨、覆盖 22 个学科的 PhD 级研究任务，并配套两套全自动且高度对齐人类的评测框架：RACE 评报告质量、FACT 评信息检索与引用可信度。

Preference Leakage: A Contamination Problem in LLM-as-a-judge

首次定义并系统研究 LLM-as-a-Judge 中的 偏好泄漏 (Preference Leakage) 问题——当合成数据生成器 \(M_G\) 与评估器 \(M_J\) 存在关联（同模型/继承/同家族）时，评委会对"相关学生模型"产生系统性偏好，同模型场景下 PLS 高达 28.7%（Arena-Hard），且该偏差比自中心偏差更隐蔽、更难检测。

GDPval: Evaluating AI Model Performance on Real-World Economically Valuable Tasks

GDPval 是 OpenAI 提出的一个面向"真实经济价值数字知识工作"的基准：覆盖美国 GDP 贡献最大的 9 个行业、44 个职业、1320 个由 14 年经验专业人士构造的真实任务，用"模型 vs 人类专家盲测胜率"为核心指标，发现前沿模型的交付质量正逐年线性逼近行业专家。

Agentic Reinforced Policy Optimization

ARPO 是一种为多轮工具调用智能体量身定制的强化学习算法：它发现 LLM 在每次工具返回结果后 token 熵会骤升，于是在这些高熵步上自适应地"分叉"采样、再用优势归因把分叉路径的好坏差异传回去学习，结果在 13 个推理/深搜基准上全面超过轨迹级 RL，且只用一半的工具调用预算。

ResearchRubrics: A Benchmark of Prompts and Rubrics For Evaluating Deep Research Agents

ResearchRubrics 用 2800+ 小时人工，给 101 个真实开放式研究 prompt 配上 2593 条专家手写、带权重的细粒度评分细则（rubric），再用 LLM-as-Judge 按细则逐条打分，评测主流 Deep Research 系统，发现连 Gemini DR、OpenAI DR 这类最强 agent 的平均细则达成率都不到 68%，瓶颈集中在隐含需求推断和多源信息综合。

Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation

HAL 提供一套标准化、可分布式并行、自动记账的 Agent 评测基础设施，用 21,730 次 rollout 在「模型×脚手架×基准」三维度上跑出准确率-成本帕累托前沿，并用 LLM 自动分析 25 亿 token 的日志，揭示出 reasoning 越多反而越差、agent 偷看 HuggingFace 答案、用错信用卡订机票等被传统指标掩盖的行为。

CyberGym: Evaluating AI Agents' Real-World Cybersecurity Capabilities at Scale

CyberGym 用 OSS-Fuzz 上 188 个真实开源项目的 1507 个历史漏洞构建了一个比现有同类基准大 7 倍以上的网络安全评测基准，核心任务是让 AI 智能体在只给漏洞文字描述和打补丁前代码库的条件下生成能复现漏洞的 PoC，结果最强的智能体+模型组合也只有约 20% 成功率，并且在评测过程中顺带挖出了 34 个 0-day 漏洞和 18 个不完整补丁，证明它既是衡量 AI 进展的硬基准，也是能产生真实安全影响的平台。

SimBench: Benchmarking the Ability of Large Language Models to Simulate Human Behaviors

SimBench 把 20 个跨道德、经济、心理、政治的社会与行为科学数据集统一成「群体回答分布预测」任务，构建了首个大规模标准化的 LLM 人类行为模拟基准，并在 45 个模型上系统揭示：当前最强模型也只有 40.80/100 的中等保真度、模拟能力随规模对数线性增长但不随推理算力提升，且指令微调存在「对齐-模拟权衡」。

The Ideation-Execution Gap: Execution Outcomes of LLM-Generated versus Human Research Ideas

这篇论文用一次专家执行 + 盲审评审的随机对照实验检验 LLM 生成研究想法是否真的能转化为更好的研究成果，发现 LLM 想法在“只看 idea”时分数更高，但执行后在新颖性、兴奋度、有效性和整体质量上掉分显著更大。

查看全部131篇「LLM 评测」论文 →

⚡ LLM 效率 (169)

Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding

Fast-dLLM 无需重新训练，给双向扩散语言模型补上一套块级近似 KV Cache，并用「置信度阈值」替代固定 top-K 的并行解码策略，在 LLaDA / Dream 上实现最高 27.6× 的端到端吞吐提升，且精度几乎不掉。

MemAgent: Reshaping Long-Context LLM with Multi-Conv RL-based Memory Agent

MemAgent 把"无界长文档"切成定长 chunk 流式处理，用一段固定长度、可被覆写的 token 记忆替代不断膨胀的上下文，再用扩展版的 Multi-Conv DAPO 端到端训练记忆读写策略，使 8K 窗口模型几乎无损外推到 3.5M token 的 QA 任务，且推理复杂度严格线性。

Fast-dLLM v2: Efficient Block-Diffusion LLM

Fast-dLLM v2 用约 1B token 的轻量微调把预训练的自回归 Qwen2.5 模型改造成块扩散语言模型，配合层次化缓存与置信度并行解码，在不掉点的前提下相比 AR 解码取得最高 2.5× 的加速。

Test-Time Training Done Right

本文指出现有 Test-Time Training（TTT）之所以在长序列上跑不动，是因为它们坚持用极小的在线 mini-batch（每 16~64 个 token 更新一次快权重），导致现代 GPU 利用率常年低于 5%；作者反其道而行，提出 LaCT（Large-Chunk Test-Time Training），把更新粒度放大到 2K~1M token 的超大块，配合窗口注意力补足块内局部性，用几十行纯 PyTorch 就把 GPU 利用率拉到 70%，并在新视角合成、语言建模、自回归视频扩散三类模态上验证了可扩展到 14B 参数、56K~1M token 上下文。

Diffusion LLMs Can Do Faster-Than-AR Inference via Discrete Diffusion Forcing

本文提出离散扩散强制（D2F），把预训练扩散语言模型（dLLM）改造成「块级自回归 + 块间并行解码」的 AR-扩散混合范式，靠非对称蒸馏低成本获得该能力、再配流水线并行解码，首次让开源 dLLM 的推理吞吐反超同规模自回归 LLM（GSM8K 上比 LLaMA3 快 2.5×，比原始 dLLM 快 50×）。

Universal Model Routing for Efficient LLM Inference

本文提出 UniRoute，把每个 LLM 编码成"在一小批代表性提示上的预测错误向量"，配合双线性打分器，让训练好的路由器不重训就能路由到测试时才出现的新 LLM，在 30+ 个未见模型上取得更好的成本-质量权衡。

FlashDLM: Accelerating Diffusion Language Model Inference via Efficient KV Caching and Guided Diffusion

两个免训练技巧——复用稳定 KV 投影的 FreeCache，加上用小 AR 模型一致性信号指导并行解掩码的 Guided Diffusion——让 7B/8B 扩散语言模型推理端到端平均提速 12 倍，首次把扩散 LLM 的延迟拉到与同尺寸自回归模型相当甚至更快。

Diffusion Language Models Know the Answer Before Decoding

扩散语言模型（DLM）在解码到一半时往往就已经在内部确定了正确答案，本文据此提出训练免费的 Prophet 解码范式——用"前两名候选 token 的 logit 差距"判断答案是否收敛，一旦收敛就一步填完所有剩余位置（早提交解码），在 LLaDA-8B / Dream-7B 上把解码步数最多减少 3.4× 而精度几乎不掉。

Cartridges: Lightweight and General-Purpose Long Context Representations via Self-Study

把"长文档放进 KV cache 在线 prefill"换成"为每篇语料离线训练一个小型可学习 KV cache（Cartridge）"，再用 Self-Study（自生成合成对话 + 上下文蒸馏）让这个小 cache 复刻 ICL 的通用问答能力，平均省 38.6× 显存、提 26.4× 吞吐。

dParallel: Learnable Parallel Decoding for dLLMs

通过"确定性强制蒸馏"把扩散语言模型(dLLM)原本"逐字串行收敛"的预测确定性改造成"并行同时收敛",让 LLaDA-8B 在 GSM8K 上把解码步数从 256 砍到 30(8.5× 加速)而精度不降。

查看全部169篇「LLM 效率」论文 →

📚 预训练 (79)

How to Train Data-Efficient LLMs

本文系统对比 22 种数据筛选策略对 LLM 预训练的影响，提出基于指令微调 LLM 直接打质量分的 Ask-LLM 和基于核密度估计做覆盖采样的 Density，发现质量筛选（Ask-LLM）即便只保留 10% 数据也能超过全量训练并收敛快 70%，而覆盖采样通常只能"追平"全量。

Dynamic Chunking for End-to-End Hierarchical Sequence Modeling

本文提出 H-Net，一个用可学习的「动态分块（Dynamic Chunking, DC）」机制取代 BPE 分词的层级序列模型：网络在 byte 级输入上自动学会在哪里切 chunk、压缩到什么粒度，全程端到端可微，单级 H-Net 在算力/数据对齐下就超过了基于 BPE 的强 Transformer，两级 H-Net 还能匹敌两倍大小的 token 级模型。

Seq vs Seq: An Open Suite of Paired Encoders and Decoders

作者训练了一套从 17M 到 1B、配对的 encoder-only 与 decoder-only 模型（ETTIN suite），二者用完全相同的数据、架构和训练配方，只差「目标函数 + 注意力方向」；在公平对比下既各自刷到同尺寸开放数据 SOTA，又证明：分类/检索任务上 encoder 碾压 decoder，生成任务反之，而且靠继续训练把一种模型改造成另一种（cross-objective）始终补不平这个差距。

Energy-Based Transformers are Scalable Learners and Thinkers

本文把"预测"重新表述为"对一个学到的验证器（能量函数）做梯度下降优化"，提出一类可扩展的能量模型 Energy-Based Transformers (EBTs)，让模型仅靠无监督预训练就涌现出跨模态、跨任务的 System 2 思考能力（动态分配算力 + 自我验证），在语言与图像上同时超越 Transformer++ 和 DiT。

LLM-JEPA: Large Language Models Meet Joint Embedding Predictive Architectures

把视觉里大获成功的 JEPA（联合嵌入预测架构）首次搬到 LLM 上：在标准 next-token 重构损失之外，再加一项"用 Text 的嵌入预测 Code 的嵌入"的隐空间目标，在不牺牲生成能力、且抗过拟合的前提下，跨四个模型家族、四个数据集显著超过标准微调与预训练。

Nemotron-CC-Math: A 133 Billion-Token-Scale High Quality Math Pretraining Dataset

用「lynx 布局渲染 + 轻量 LLM 清洗」的领域无关流水线，从 Common Crawl 中可靠抽取并标准化数学/代码内容，构建出迄今最高质量的开源数学预训练语料 Nemotron-CC-Math（133B token），在数学、代码、通用知识任务上全面超越 FineMath、MegaMath、OpenWebMath。

Scaling Behavior of Discrete Diffusion Language Models

这篇论文系统研究了离散扩散语言模型（DLM）在不同噪声类型下的标度律：通过一套用信噪比（SNR）参数化、可在掩码扩散与均匀扩散之间平滑插值的统一扩散框架，并仔细调好 batch size 与学习率，作者发现 DLM 的标度行为强依赖噪声类型——均匀扩散在数据受限场景下更"省数据、吃参数"，最终把均匀扩散模型扩到 10B 参数 / \(10^{22}\) FLOPs，验证其标度律可与自回归模型（ALM）竞争。

Time is a Feature: Exploiting Temporal Dynamics in Diffusion Language Models

作者发现扩散语言模型（dLLM）在去噪过程中常常"中途答对、最后又改错"（时序振荡），于是把被丢弃的中间步预测当成信号来用：一个免训练的时序自一致投票在单条采样轨迹内跨步投票选出最稳定答案，一个时序一致性强化用"负时序语义熵"作无标签奖励做 GRPO 后训练，二者在四个数学推理基准上分别带来约 1.5% 与最高 25.3% 的提升。

LLM Pretraining with Continuous Concepts

这篇论文提出 CoCoMix，在标准下一词预测之外让模型预测由 SAE 抽取并按归因筛选出的高层概念，再把这些概念压缩成连续向量插入 Transformer 隐状态序列，从而在语言建模、下游推理和可控生成上比普通 NTP 与知识蒸馏更高效。

Pre-training under Infinite Compute

当算力远超网页数据时，作者用「重正则化 + 模型集成 + 联合参数/集成缩放 + 蒸馏」把固定 200M token 的预训练损失压到渐近值 3.17，相比标准配方节省 5.17× 数据，并把集成蒸馏进 8× 更小的学生模型仍保留 83% 收益。

查看全部79篇「预训练」论文 →

✏️ 知识编辑 (15)

Fine-tuning Done Right in Model Editing

揭示模型编辑中 fine-tuning 被低估的根因是错误的训练 pipeline（深度优先逐样本优化），修正为标准的广度优先 mini-batch 训练后，配合局部化参数调优形成 LocFT-BF，首次支持 10 万次连续编辑和 72B 模型规模。

Disentangling Knowledge Representations for Large Language Model Editing

针对知识编辑会误伤"同主体但不同关系/客体"的细粒度无关知识这一被忽视的问题，本文提出 DiKE：先用一个可复用的解耦模块把主体表示拆成"与目标知识相关"和"无关"两部分，再只对相关部分做编辑、显式约束无关部分不变，并推导出一个闭式的秩一参数更新公式，在保住细粒度无关知识的同时维持了主流编辑性能。

When Large Multimodal Models Confront Evolving Knowledge: Challenges and Explorations

提出 EVOKE 基准测试，系统评估大型多模态模型 (LMM) 对演化知识的注入能力，揭示两大挑战（现有方法表现差、微调导致灾难性遗忘），并提出知识增强和持续学习两条应对路径。

ACE: Attribution-Controlled Knowledge Editing for Multi-hop Factual Recall

ACE 通过神经元级归因发现「隐式主语在多跳推理里扮演 query 神经元、逐层激活 value 神经元」这一被忽视的机制，并据此把编辑从「层级启发式」精细到「query-value 通路」，在多跳事实召回上比 SOTA 的 PMET 在 GPT-J 上高 9.44%、在 Qwen3-8B 上高 37.46%。

MoEEdit: Efficient and Routing-Stable Knowledge Editing for Mixture-of-Experts LLMs

MoEEdit 是首个面向 MoE 大模型的「路由稳定」参数修改式知识编辑框架，用「逐专家零空间投影」保证编辑不扰动下游路由器输入，再用随机块坐标下降（BCD）求解器把代价从专家总数解耦到专家隐藏维度，从而在稀疏架构上同时拿下高编辑成功率、强泛化与路由稳定性。

KnowledgeSmith: Uncovering Knowledge Updating in LLMs with Model Editing and Unlearning

本文提出 KnowledgeSmith，把"知识编辑"和"机器遗忘"统一为同一个约束优化问题，并用知识图谱自动生成跨层级（根/中间/叶）、跨数据规模的大规模评测基准，系统揭示了 LLM 知识更新中的传播不对称、一致性-容量权衡、学科依赖等一系列反直觉现象。

SUIT: Knowledge Editing with Subspace-Aware Key-Value Mappings

SUIT 把 locate-then-edit 知识编辑里"随手算出来"的键向量 \(k\) 和残差向量 \(\delta\) 限制到"和这次编辑真正相关"的低维子空间里，从而在几乎不损失编辑成功率的前提下，大幅减少对无关知识的破坏——在 LLaMA3 / GPT-J / Qwen2.5 上的 Specificity 相比强基线 AlphaEdit 翻倍提升。

Bilinear Representation Mitigates Reversal Curse and Enables Consistent Model Editing

通过在合成关系知识图谱上从头训练 Transformer，发现适当正则化会使模型隐层涌现出双线性关系结构（bilinear relational structure），该结构不仅能克服逆向诅咒（reversal curse），还能实现编辑单个事实后逻辑一致地传播到相关事实。

Energy-Regularized Sequential Model Editing on Hyperspheres

从超球面均匀性（Hyperspherical Energy）视角理解序列模型编辑中的性能退化，提出 SPHERE 方法：通过将编辑扰动投影到预训练权重主超球方向的正交补空间，实现稳定的大规模序列编辑，在 LLaMA3-8B 上平均超越最强基线 16.41%。

GOT-Edit: Geometry-Aware Generic Object Tracking via Online Model Editing

通过零空间约束的在线模型编辑，将 VGGT 提供的 3D 几何信息融入 2D 通用目标跟踪器中，在保持语义判别力的同时增强几何感知能力，在遮挡和背景杂乱场景中显著提升跟踪性能。

查看全部15篇「知识编辑」论文 →

💬 LLM 其他 (55)

Parameters vs. Context: Fine-Grained Control of Knowledge Reliance in Language Models

本文提出 CK-PLUG，一个即插即用、无需训练的解码期方法：先用「置信增益（Confidence Gain）」逐 token 检测参数知识与检索上下文的冲突，再对冲突 token 用单一超参 \(\alpha\) 加权融合「参数侧」和「上下文侧」两套概率分布，从而在「更信自己」与「更信检索」之间做连续、双向、可控的调节——在 LLaMA3-8B 上能把记忆召回率（MR）在 9.9%–71.9% 区间任意拨动，同时保持生成流畅度。

SPRIG: Improving Large Language Model Performance by System Prompt Optimization

SPRIG 用一套"编辑式遗传算法 + 代理奖励模型"自动拼装出一条任务无关的系统提示，单条系统提示在 47 类任务上的平均提升就能和"为每个任务单独优化的任务提示"打平，二者叠加还能进一步刷新 SOTA，并且能跨模型家族、跨语言迁移。

Don't Settle Too Early: Self-Reflective Remasking for Diffusion Language Models

针对掩码扩散语言模型「token 一旦解出就钉死、错了也改不了」的硬伤，本文提出 RemeDi：让模型在生成每一步同时预测 token 分布和逐 token 置信度，按置信度决定哪些位置解掩码、哪些已生成 token 要被打回掩码重采样，并配上「Remask SFT + Remask RL」两阶段训练，在开源扩散语言模型里拿到 SOTA（GSM8K 89.1%、HumanEval 73.2%）。

DreamOn: Diffusion Language Models For Code Infilling Beyond Fixed-size Canvas

DreamOn 通过引入 [expand] 和 [delete] 两个特殊状态解决了扩散语言模型（DLM）的固定长度生成限制，无需架构修改即可实现变长代码填充，在 HumanEval-Infilling 上比扩散基线平均提升 26.4%，达到与 SOTA 自回归模型持平的水平。

d²Cache: Accelerating Diffusion-Based LLMs via Dual Adaptive Caching

提出 d²Cache，一种面向 Diffusion-based LLM（dLLM）的无训练近似 KV 缓存框架，通过确定性先验引导的 masked token 选择 + 注意力感知的非 mask token 选择两阶段策略，实现 4.1× 推理加速同时提升生成质量。

Optimas: Optimizing Compound AI Systems with Globally Aligned Local Rewards

提出 Optimas 框架，为复合 AI 系统中每个组件维护一个与全局奖励对齐的局部奖励函数（LRF），使异构组件（prompt、模型参数、超参数、模型选择）可独立优化，在五个真实系统上平均提升 11.92%。

TableMaster: A Recipe to Advance Table Understanding with Language Models

TableMaster 先把表格的"结构特征"系统拆成四类挑战，再针对性地给出"构建聚焦子表 + 口语化补语义 + 自适应在文本/符号推理间切换 + 文本引导符号推理"四味配方，串成一个无需微调的三阶段框架，在 WikiTQ 上用 GPT-4o-mini 把准确率从 64.73% 推到 78.13%。

Constrained Decoding of Diffusion LLMs with Context-Free Grammars

本文提出第一个能在扩散语言模型（DLM）上强制满足上下文无关文法（CFG）的约束解码方法：把"任意顺序生成的带洞文本能否补全成合法串"抽象为一个加性填充判定问题，再把它归约为"目标 CFG 与所有可能补全构成的正则语言之交集是否为空"，并用一套高度优化的空性判定算法把理论上立方级的开销压到实用范围，在 C++ 代码、JSON、SMILES 上把语法正确率提到近 100%，同时还小幅提升了功能正确率。

BOTS: A Unified Framework for Bayesian Online Task Selection in LLM Reinforcement Finetuning

提出 BOTS——一个基于贝叶斯推断的在线任务选择统一框架，在 LLM 强化微调中通过融合显式证据（直接评估的历史通过率）和隐式证据（利用参考模型插值推断的未评估任务难度），配合 Thompson 采样实现探索-利用平衡，在数学/代码/逻辑任务上以仅 0.2% 的额外开销带来最高 50% 的训练加速。

Is the Reversal Curse a Binding Problem? Uncovering Limitations of Transformers from a Basic Generalization Failure

提出反转诅咒（Reversal Curse）是认知科学中"绑定问题"在Transformer中的表现——源于概念表示的不一致性和纠缠性，并首次设计出基于JEPA和记忆层的架构真正突破反转诅咒（非绕过）。

查看全部55篇「LLM 其他」论文 →

📖 NLP 理解 (2)

What's the Plan? Metrics for Implicit Planning in LLMs and Their Application to Rhyme Generation and Question Answering

提出 mean activation difference steering 方法和配套定量指标，在韵律诗生成和问答两个案例上跨 23 个开放模型（1B-32B）系统性证明：目标 token（韵脚/答案）的表示在序列早期位置已形成（前向规划），且因果性地影响中间 token 生成（后向规划）——隐式规划从 1B 模型即出现，是普遍机制而非大模型专属。

LANE: Label-Aware Noise Elimination for Fine-Grained Text Classification

LANE 把"识别错标样本"的经典 margin 指标升级为标签感知边距 (Label-aware Margin)——同样是负边距，若被错标的类别与模型预测类别语义相近（如把"愤怒"标成"恐惧"）就少惩罚，语义相远（把"信任"标成"恐惧"）才重罚，并据此对每个样本动态加权而非硬删除，在 10 个文本分类数据集上稳定超过 AUM/HMW 等强基线。

✍️ 文本生成 (12)

Unveiling the Potential of Diffusion Large Language Model in Controllable Generation

本文提出 Self-adaptive Schema Scaffolding (S3)——一种训练无关的方法，把结构模板（schema）当作"半去噪初始态"直接灌进扩散大语言模型（dLLM）的输出上下文，再配合 null 占位符自适应长度，让 dLLM 在更少去噪步数下稳定生成合法 JSON 等结构化输出，结构合规率从基线的 30%~80% 提升到 99%+，且幻觉率更低。

Rethinking Uncertainty Estimation in LLMs: A Principled Single-Sequence Measure

从 proper scoring rules 框架出发，证明最高概率输出序列的负对数似然（MSP）是理论上合理的不确定性度量，并提出 G-NLL——仅用一次贪心解码就能逼近该度量，在多个场景下匹配或超越需要多次采样的 SOTA 方法。

FS-DFM: Fast and Accurate Long Text Generation with Few-Step Diffusion Language Model

提出 FS-DFM（Few-Step Discrete Flow-Matching），通过步数感知训练和累积标量更新规则，将离散 flow-matching 语言模型的采样步数从 1024 步降低到 8 步，实现 128 倍加速，同时保持相当的困惑度和生成质量。

Planner Aware Path Learning in Diffusion Language Models Training

这篇论文指出掩码扩散语言模型训练时默认的“随机解掩码路径”和推理时实际使用的 planner 路径不一致，并提出 Planner-Aware Path Learning（PAPL），用 planner 置信度重加权 masked diffusion loss，让训练更贴近推理路径，在蛋白序列、文本生成和代码生成上稳定提升质量。

Text Summarization via Global Structure Awareness

GloSA-sum 首次把拓扑数据分析（TDA）引入文本摘要：用持续同调一次性算出文档的语义骨架与逻辑环路存进"保护池"，再用轻量代理指标迭代删句，在不丢核心逻辑链的前提下做到压缩既快又准，并能给下游 LLM 任务缩短上下文。

Rainbow Padding: Mitigating Early Termination in Instruction-Tuned Diffusion LLMs

本文发现 instruction-tuned 扩散语言模型存在「<eos> overflow」早停顽疾——分配的生成长度越长、回答反而越短甚至塌缩成一串 <eos>；根因是 <eos> 同时被当作终止符和填充符，于是作者提出 Rainbow Padding：只保留一个 <eos> 标记真正结束、其余填充位用 K 个不同 padding token 循环铺满，仅靠 7 个 token + 单 epoch LoRA 就能恢复长度鲁棒性，把 LLaDA 在 MATH 上的准确率从 0.6% 拉到 32.6%。

p-less Sampling: A Robust Hyperparameter-Free Approach for LLM Decoding

本文提出 p-less 采样：一种完全没有超参数的截断式解码方法，每一步用整个 token 分布的"碰撞概率" \(\sum_v P_\theta(v)^2\) 当作动态截断阈值，在数学、逻辑推理和创意写作上都优于 top-p / min-p 等方法，并且在高温下几乎不退化、推理还更快。

Improving Attributed Long-form Question Answering with Intent Awareness

针对深度研究系统生成的长文报告"引用质量差、可读性低"的问题，本文提出一套基于标签的双层意图（段落意图 + 引用意图）写作框架，既能在推理时通过 prompt 直接提升大模型，又能用带意图的合成数据蒸馏小模型——在三个科学报告生成基准上，大模型平均涨 +2.9 分、小模型涨 +12.3 分，引用指标提升尤为显著。

Antislop: A Comprehensive Framework for Identifying and Eliminating Repetitive Patterns in Language Models

Antislop 把"LLM 生成里那些一眼能认出是 AI 的重复套话（slop）"当成可量化、可定位、可消除的对象：先用频率比统计画出模型专属的"slop 指纹"，再用一个推理期的回溯采样器精准压制这些模式，最后把采样器的拦截记录自动转成偏好数据，用新提出的 FTPO 微调把抑制能力永久焊进权重——在 GSM8K/MMLU/创意写作上几乎不掉点的前提下做到 90% 的 slop 削减。

Causal-Steer: Disentangled Continuous Style Control without Parallel Corpora

本文提出 Causal-Steer：把 LoRA 当成一次"因果干预"，在同一条输入上对比加/不加 LoRA 扰动的激活差，从而摆脱平行语料、抽出一条干净的风格向量，再经 PCA 去噪 + 几何中位数鲁棒聚合，最终在推理时用一个标量 \(\alpha\) 实现连续、双向、可线性插值的 LLM 风格控制。

查看全部12篇「文本生成」论文 →

🗣️ 对话系统 (10)

Flipping the Dialogue: Training and Evaluating User Language Models

把对话"翻转"过来——不再训练 LLM 当好助手，而是专门后训练一个用户语言模型（User LM）去模拟真实人类用户，用它在多轮对话里逼出助手 LM 在真实场景下的短板（GPT-4o 任务成功率从 74.6% 掉到 57.4%）。

Think-While-Generating: On-the-Fly Reasoning for Personalized Long-Form Generation

FlyThinker 提出了一种高效的 "think-while-generating" 框架，使用独立的推理模型(Reasoner)在 token 级别并行生成潜在推理信号，动态融入生成模型(Generator)以指导个性化长文本生成，同时保持训练和推理效率。

Non-Collaborative User Simulators for Tool Agents

基于marketing研究定义四类非协作用户行为（不可用服务/跑题闲聊/不耐烦/不完整表述），构建了可保持goal-alignment的模拟框架，在MultiWOZ和τ-bench上系统暴露了SOTA工具Agent的行为特异性失败机制——跑题闲聊导致平均SR下降29.1%，且不同模型呈现截然不同的崩溃路径（GPT系列陷入helper API重复调用，Qwen系列倾向于幻觉编造API结果）。

Understanding Language Prior of LVLMs by Contrasting Chain-of-Embedding

通过对比有/无视觉输入的逐层隐藏表征（chain-of-embedding），发现LVLM中存在一个"视觉整合点"(VIP)层，并据此提出Total Visual Integration (TVI)指标来量化语言先验的强度。

Dropping Just a Handful of Preferences Can Change Top Large Language Model Rankings

本文提出一个计算极快的稳健性检验：在 Chatbot Arena 这类基于 Bradley–Terry 模型的 LLM 排行榜上，只要丢掉最坏情况下极小一撮（最少 0.003%、两条）人类偏好评测，就能让排名第一的模型换人——并且方法还能精确指出是哪几条偏好导致了翻盘。

DRIFT: Learning from Abundant User Dissatisfaction in Real-World Preference Learning

DRIFT 把真实部署里大量但隐式的"用户不满"（DSAT）当作高质量负样本锚点，正样本则从当前策略动态采样，用标准 DPO 迭代训练，无需人工标注/奖励模型/更强模型生成的正例，就让 14B 模型在 WildBench 上超过 GPT-4o-mini。

AQuA: Toward Strategic Response Generation for Ambiguous Visual Questions

提出 AQuA，首个按模糊度细粒度分级（4 级）的视觉问答数据集（7.2K 样本），为每级定义最优回应策略（直接回答/推断/列举/请求澄清），发现 GPT-5 和 Gemini 在模糊 VQA 上都过度自信地直接回答，通过 SFT+GRPO 训练的 3B 模型反而能超越闭源大模型的策略适应能力。

Codified Finite-state Machines for Role-playing

针对 LLM 角色扮演时只会模仿表层动作、记不住人物"内在状态"的问题，本文让 LLM 把人物档案自动编译成可执行的有限状态机（CFSM），用代码显式记录角色状态及其转移规则，并进一步扩展成用概率分布建模状态的 CPFSM；在合成验证和 Fandom 真实剧情基准上都比纯 prompt 的状态建模基线更连贯、更可解释。

ReIn: Conversational Error Recovery with Reasoning Inception

提出 Reasoning Inception（ReIn），一种无需修改模型参数或系统提示的测试时干预方法，通过外部 inception 模块检测对话错误并将恢复计划注入任务 agent 的推理链中，在多种错误场景下显著提升对话任务完成率，且可泛化至未见错误类型。

ClarifyVC: Clarifying Ambiguous Commands in Vehicle Control with a Hybrid Data Augmentation Pipeline

ClarifyVC 用一个 Agent 编排的四阶段数据增强流水线，从 2 万条真实车载指令里"种"出大量歧义丰富、协议合规的单轮/多轮对话，配上三层评测协议与数据质量分 DQS，在这套数据上微调后让车载语音指令的解析准确率提升约 15%、歧义消解提升约 20%、协议合规度达 98%。

🌐 多语言/翻译 (8)

Multilingual Routing in Mixture-of-Experts

系统分析了MoE大语言模型中多语言路由模式，发现中间层存在跨语言共享专家且语言性能与英语路由对齐度强相关，进而提出推理时路由干预方法，通过在中间层激活英语任务专家，在3个模型×2个任务×15+语言上一致性地提升多语言性能1-2%。

ATLAS: Adaptive Transfer Scaling Laws for Multilingual Pretraining, Finetuning, and Decoding the Curse of Multilinguality

提出 Adaptive Transfer Scaling Law (ATLAS)，通过将有效数据量分解为目标语言、迁移语言和其他语言三项并引入数据重复饱和函数，在774个多语言训练实验（10M–8B参数、400+语言）上显著优于现有scaling law（多语言 \(R^2\) 从0.67提升至0.98），并系统量化了跨语言迁移矩阵、多语言诅咒的容量约束以及预训练vs微调的计算交叉点。

ASSESS: A Semantic and Structural Evaluation Framework for Statement Similarity

提出 ASSESS 框架，其核心是 TransTED Similarity 指标——通过将形式化数学命题解析为算子树 (Operator Tree)，并在标准树编辑距离 (TED) 基础上融入 Lean 证明策略驱动的语义变换，实现了在 EPLA 基准上 70.16% 准确率和 0.35 Kappa 分数的 SOTA 性能，同时仅需 CPU 资源即可复现。

LinguaMap: Which Layers of LLMs Speak Your Language and How to Tune Them?

通过 logit lens 与隐状态相似度分析定位出 mLLM 中「负责语言控制」的最后几层，只微调这 3–5% 的参数就能把六种语言的语言一致性从 <20% 拉到 98%+，效果几乎等同全量微调。

SASFT: Sparse Autoencoder-guided Supervised Finetuning to Mitigate Unexpected Code-Switching in LLMs

利用稀疏自编码器（SAE）发现 LLM 中意外语言切换与目标语言特征异常高预激活值相关，提出 SASFT 方法在 SFT 训练中约束语言特征预激活值，将意外代码切换降低 50% 以上。

Language Confusion Gate: Language-Aware Decoding Through Model Self-Distillation

本文提出 Language Confusion Gate (LCG)：一个不改动基座 LLM、只在解码时按需屏蔽错误语言族 token 的轻量两层 MLP，用「范数校准的自蒸馏」训练，把多模型的语言混淆率压低约一个数量级且不损任务性能。

From Utterance to Vividity: Training Expressive Subtitle Translation LLM via Adaptive Local Preference Optimization

提出ALPO(自适应局部偏好优化)用于训练表达力强的字幕翻译LLM：通过实证发现字幕翻译偏好意译且推理型LLM意译能力优于对话型LLM -> 验证LLM作为翻译评估器与人类高度一致 -> 提出逐句段的细粒度过程监督偏好对齐方法(自适应权重+动态beta+前缀混合) -> 14B模型在多方向字幕翻译的鲜活度上超越GPT-4o/DeepSeek-R1等SOTA。

DiscoX: Benchmarking Discourse-Level Translation in Expert Domains

DiscoX 构建了首个面向篇章级 + 专家级中英互译的评测基准（200 篇、平均 1712 token、7 大领域、1330 人时人工打磨），并配套提出多智能体无参考评测系统 Metric-S，揭示出即便最强 LLM（GPT-5-high 76.66）仍落后人类专家（80.16）的真实差距。

🔍 信息检索/RAG (81)

On the Theoretical Limitations of Embedding-Based Retrieval

本文用高维几何里的球堆积论证给出"单向量嵌入要表示所有 top-k 文档组合所需维度"的下界定理，再用自由嵌入优化和一个极简的真实数据集 LIMIT 实证：哪怕查询简单到"谁喜欢苹果"，只要要表示的相关组合足够多，固定维度的稠密检索模型就注定做不到，这是单向量范式的根本瓶颈而非数据或规模问题。

When to use Graphs in RAG: A Comprehensive Analysis for Graph Retrieval-Augmented Generation

本文针对"GraphRAG 在很多真实任务上反而打不过普通 RAG"这一矛盾，提出了一个覆盖图构建—检索—生成全链路、且按难度分四级任务的基准 GraphRAG-Bench，系统性地回答了"什么时候该用图、为什么用图有效"——结论是：简单事实检索用普通 RAG 就够，图结构只在复杂多跳推理、上下文综述等需要拼接分散概念的任务上才带来实打实收益，但要付出数倍的 token 开销。

LinearRAG: Linear Graph Retrieval Augmented Generation on Large-scale Corpora

LinearRAG 指出现有 GraphRAG 的性能瓶颈来自不稳定、昂贵的关系抽取，提出"只抽实体、不抽关系"的三层图（Tri-Graph）加两阶段检索（语义桥接激活实体 + 全局重要性聚合检索段落），在零 LLM token 消耗下把索引时间砍掉 77%，并在四个基准上超过所有 SOTA。

KaLM-Embedding-V2: Superior Training Techniques and Data Inspire A Versatile Embedding Model

这篇论文把一个 0.5B 的 Qwen2 解码器改造成全双向编码器，配上「预训练→微调→对比蒸馏」三阶段管线、Focal 风格重加权、在线难负样本混合，以及覆盖 100+ 类别的高质量数据工程，让 KaLM-Embedding-V2.5 在 MTEB 中英榜上拿下 <1B 参数段的 SOTA，甚至能和 3–26 倍大的模型掰手腕。

Think Then Embed: Generative Context Improves Multimodal Embedding

针对复杂指令下"直接把多模态大模型当编码器"会失效的问题，本文提出 Think-Then-Embed（TTE）框架：先让一个 reasoner 生成"面向嵌入的推理轨迹"（ECR），再让 embedder 在原始输入与该推理轨迹的双重条件下产出向量，从而在 MMEB-V2 上取得 SOTA（TTE\(_t\)-7B 71.5%），并在开源模型中以约 7% 的绝对优势领先。

MetaEmbed: Scaling Multimodal Retrieval at Test-Time with Flexible Late Interaction

通过给 VLM 输入序列追加少量可学习的 Meta Token，并用 Matryoshka 嵌套式多向量对比训练把信息按粒度组织进这些 token，MetaEmbed 让用户在测试时自由选用 1~64 个向量来权衡检索精度与索引/延迟开销，从而在 MMEB、ViDoRe 上以紧凑的多向量表示取得 SOTA，并稳定扩展到 32B 规模。

Youtu-GraphRAG: Vertically Unified Agents for Graph Retrieval-Augmented Complex Reasoning

Youtu-GraphRAG 用一份「图谱 schema」把传统上各自为政的图谱构建和图谱检索竖直串成一体——构建端用 schema 约束抽取并自动扩展，索引端用「拓扑+语义」双感知社区检测堆出四层知识树，检索端再用同一份 schema 把复杂问题拆成原子子查询并迭代反思，在 6 个基准上比 SOTA 最多省 33.60% token、提 16.62% 准确率。

DeepRAG: Thinking to Retrieve Step by Step for Large Language Models

DeepRAG 把"边推理边检索"建模成一个马尔可夫决策过程（MDP），让 LLM 在逐步拆解问题的同时，对每个子问题自主决定"用自己脑子里的知识答 还是 去外部检索"，通过二叉树搜索合成数据 + 模仿学习 + 校准训练三步走，在五个 QA 数据集上把答案准确率相对提升 25.41%，同时显著降低检索次数。

AMemGym: Interactive Memory Benchmarking for Assistants in Long-Horizon Conversations

提出AMemGym——首个支持on-policy交互式评估的长程对话记忆基准环境，通过结构化数据采样（用户画像→状态演化→个性化问答）驱动LLM模拟用户进行角色扮演，揭示了off-policy评估的排名偏差问题，并系统诊断了RAG/长上下文/Agent记忆系统的write/read/utilization三阶段失败模式。

MILCO: Learned Sparse Retrieval Across Languages via a Multilingual Connector

MILCO 用一个"多语言连接器 + 英语 MLM 头"把 39 种语言的文本统一投影到共享的英语词表稀疏空间，配合"稀疏对齐预训练"防止语义坍塌、用 LexEcho 双视图找回被翻译丢失的稀有实体，让单个 560M 稀疏模型在多语言与跨语言检索上同时超过 BGE-M3、Qwen3-Embed 等稠密/稀疏/多向量基线。

查看全部81篇「信息检索/RAG」论文 →

💻 代码智能 (58)

Learning to Reason without External Rewards

提出 Intuitor，一种用模型自身置信度（self-certainty，即输出分布与均匀分布的 KL 散度）替代外部可验证奖励的 RLIF 方法，在数学推理上匹配 GRPO 性能，同时在代码生成等域外任务上展现更好的泛化能力。

ReasoningBank: Scaling Agent Self-Evolving with Reasoning Memory

提出 ReasoningBank 记忆框架，从 Agent 自我判断的成功和失败经验中蒸馏可泛化的推理策略存入记忆库，并提出 memory-aware test-time scaling (MaTTS) 建立记忆与测试时扩展的协同效应，在 WebArena、Mind2Web 和 SWE-Bench 上一致超越基线（最高 34.2% 相对提升），同时减少 16% 交互步数。

DiffuCoder: Understanding and Improving Masked Diffusion Models for Code Generation

本文训练了一个 7B 的掩码扩散代码模型 DiffuCoder，提出局部/全局 AR-ness 指标系统刻画扩散 LLM 的"非自回归"解码行为，并设计 coupled-GRPO（互补掩码耦合采样的扩散原生 RL 方法），在 EvalPlus 上提升 4.4%。

Paper2Code: Automating Code Generation from Scientific Papers in Machine Learning

提出 PaperCoder——一个多智能体 LLM 框架，通过规划（Planning）、分析（Analysis）、生成（Coding）三阶段流水线，将机器学习论文自动转化为可运行的代码仓库，其中 88% 的生成仓库被论文作者评为最佳，且在 PaperBench 基准上大幅超越基线。

Ambig-SWE: Interactive Agents to Overcome Underspecificity in Software Engineering

构建 Ambig-SWE（基于 SWE-Bench Verified 的欠指定变体），系统评估 LLM 编程 agent 在三个维度上的交互能力——检测欠指定、提出澄清问题、利用交互信息——发现交互可将欠指定场景下的解决率提升最高 74%，但模型默认非交互行为且难以区分指定充分/不足的指令。

Kimi-Dev: Agentless Training as Skill Prior for SWE-agents

本文提出把 Agentless（工作流式）训练当作 SWE-Agent（多轮交互式）的"技能先验"，用一套 mid-training + cold-start + RL + 测试时自博弈的配方训出开源模型 Kimi-Dev，在 SWE-bench Verified 上取得工作流方案 SoTA 的 60.4%，再用 5k 条轨迹轻量 SFT 即把它升级成 48.6% pass@1 的智能体，与 Claude 3.5 Sonnet 持平。

VERINA: Benchmarking Verifiable Code Generation

VERINA 用 189 道人工精修的 Lean 编程任务，把"可验证代码生成"拆成代码生成（CodeGen）、规约生成（SpecGen）、证明生成（ProofGen）三个可独立、可组合评测的基础任务，并给出一套"定理证明 + 全覆盖测试"的多阶段规约评估器，结果显示即便最强的 o3 也只有 72.6% 代码正确率、52.3% 规约合格率，证明成功率更是低到 4.9%。

Code World Models for General Game Playing

不再把 LLM 当成直接出招的"棋手"，而是让它把游戏规则和少量对局轨迹翻译成一份可执行的 Python 世界模型代码（含状态转移、合法动作、终局判定，外加价值函数与隐状态推理函数），再把这份代码交给 MCTS / ISMCTS 这类经典规划器去深搜；在 10 个游戏（含 4 个自造的全新游戏）上，9 个游戏打平或战胜 Gemini 2.5 Pro。

RECODE-H: A Benchmark for Research Code Development with Interactive Human Feedback

RECODE-H 把"研究代码生成"从一次性出题改成多轮人机协作：102 个来自真实顶会论文+官方仓库的仓库级任务，配上单元测试和一套五级反馈层级，再用 ReCodeAgent（ReAct 多轮 + 记忆压缩）做强基线，系统量化"反馈越细、LLM 改得越对"——GPT-5 的 Recall 从无反馈 29.4% 一路升到最强反馈 71.6%。

QLCoder: A Query Synthesizer For Static Analysis of Security Vulnerabilities

QLCoder 把一个 LLM-Agent 嵌进「生成候选查询 → CodeQL 执行打分 → 按反馈修补」的迭代回路里，并用自定义 MCP 工具箱（CodeQL 语言服务器保语法 + RAG 向量库保语义）约束它的推理，从 CVE 元数据自动合成出能"在漏洞版本报警、在修复版本静默"的 CodeQL 查询；在 176 个真实 Java CVE 上成功率 53.4%，F1 0.70，远超直接用 Claude Code（10%）和 IRIS/CodeQL 现成查询套件（F1 0.048 / 0.073）。

查看全部58篇「代码智能」论文 →

🎨 图像生成 (352)

Diffusion Transformers with Representation Autoencoders

把潜空间扩散里沿用多年的 VAE 换成"冻结的预训练表示编码器（DINOv2 / SigLIP2 / MAE）+ 训练好的轻量 ViT 解码器"，再用三处针对高维 latent 的改造把扩散 Transformer 重新调通，最终在 ImageNet 256×256 上做到无引导 FID 1.51、带引导 1.13，收敛速度比 SiT 快 47×、比 REPA 快 16×。

DiffusionNFT: Online Diffusion Reinforcement with Forward Process

提出 DiffusionNFT，一种全新的扩散模型在线 RL 范式：不在反向采样过程上做策略优化（如 GRPO），而是在前向过程上通过 flow matching 目标对正样本和负样本做对比式训练，定义隐式的策略改进方向，比 FlowGRPO 快 3-25×，且无需 CFG。

TempFlow-GRPO: When Timing Matters for GRPO in Flow Models

TempFlow-GRPO 指出现有 flow 模型的 GRPO 训练把所有去噪步「一视同仁」是核心瓶颈，通过「轨迹分叉做过程奖励 + 按噪声水平重加权 + 种子分组」三件套，让优化强度匹配每一步真实的探索潜力，在 GenEval 和 PickScore 上以更少步数取得 SOTA（GenEval 0.63→0.97，约 10× 训练效率）。

Latent Diffusion Model without Variational Autoencoder

提出 SVG，用冻结的 DINOv3 自监督特征替代 VAE 潜在空间构建扩散模型，通过轻量残差编码器补充细粒度细节，实现更快训练、更高效推理和跨任务通用的视觉表征。

PixNerd: Pixel Neural Field Diffusion

PixNerd 把扩散 Transformer 最后那层线性投影换成一个由 Transformer 特征动态生成权重的"逐 patch 隐式神经场头"，用它去解码大 patch 内部的精细像素，从而在不依赖 VAE、不搞级联多尺度的前提下，单阶段端到端地在原始像素空间做扩散，在 ImageNet 256×256 上拿到 1.93 FID，延迟比此前像素扩散模型低近 8 倍。

What Matters for Representation Alignment: Global Information or Spatial Structure?

本文系统证明：表示对齐(REPA)能加速扩散模型训练，靠的不是目标表示的全局语义信息(ImageNet 线性探针精度)，而是其 patch token 之间的空间自相似结构；据此提出仅 4 行代码的 iREPA（卷积投影 + 空间归一化），在 27 个编码器、多种模型尺寸和训练配方上一致加速 REPA 收敛。

Large Scale Diffusion Distillation via Score-Regularized Continuous-Time Consistency

提出 rCM（score-regularized continuous-time consistency model），首次将连续时间一致性蒸馏扩展到 14B 参数的文生图/视频模型，通过结合前向散度（一致性）和反向散度（score蒸馏），在保持多样性的同时匹配 DMD2 的质量，实现 15-50× 加速。

EditScore: Unlocking Online RL for Image Editing via High-Fidelity Reward Modeling

提出首个系统性的"基准评测→奖励模型→强化学习训练"图像编辑 RL 管线：构建 EditReward-Bench 基准，训练 EditScore 系列奖励模型（7B-72B，超过 GPT-5），并成功将其用于 Online RL 训练显著提升编辑模型性能。

NextStep-1: Toward Autoregressive Image Generation with Continuous Tokens at Scale

用一个 14B 因果 Transformer 直接对连续图像 token做 next-token prediction，配一个仅 157M 的轻量 flow matching 头当采样器，在不依赖重型扩散主干、也不做向量量化的前提下，把纯自回归文生图的质量做到了与顶级扩散模型同档。

EditReward: A Human-Aligned Reward Model for Instruction-Guided Image Editing

构建了一个包含 200K 人工标注偏好对的高质量数据集 EditReward-Data，训练出 EditReward 奖励模型，在多个图像编辑评估基准上达到 SOTA 的人类对齐度，并验证其作为数据筛选器可显著提升下游编辑模型性能。

查看全部352篇「图像生成」论文 →

🎬 视频生成 (97)

LongLive: Real-time Interactive Long Video Generation

LongLive 用帧级因果自回归框架，配合 KV-recache、流式长训练（train-long-test-long）和短窗口注意力 + 帧级 attention sink 三件套，把 1.3B 短片模型在 32 GPU-天内微调成能在单张 H100 上以 20.7 FPS 实时生成、支持随时切换 prompt、最长 240 秒的交互式长视频生成器。

Rolling Forcing: Autoregressive Long Video Diffusion in Real Time

Rolling Forcing 把逐帧自回归视频扩散改成可滚动的多帧联合去噪，并用初始帧 attention sink 锚住全局外观，从而在单卡上以接近 16 FPS 实时生成多分钟长视频，同时显著压低长期误差累积。

Self-Forcing++: Towards Minute-Scale High-Quality Video Generation

Self-Forcing++把短视频双向扩散 teacher 用作“短窗口纠错器”，在 student 自己生成的长视频轨迹上随机抽取退化片段做扩展 DMD 训练，并配合 rolling KV cache 与光流奖励，让 1.3B 自回归视频模型从 5 秒扩展到 100 秒乃至 4 分钟级生成，同时显著缓解过曝、变暗、停滞和误差累积。

VideoPhy-2: A Challenging Action-Centric Physical Commonsense Evaluation in Video Generation

VideoPhy-2 用 197 个真实世界动作派生出 3940 条多事件 prompt，让现代文生视频模型生成视频后由人类沿「语义遵从 / 物理常识 / 物理规则」三轴打分，揭示即便最强的 Wan2.2-27B-A14B 在 hard 子集上 joint 分也只有 47.7%，并训练了一个 7B 的 VideoPhy-2-AutoEval 自动评估器把人评成本压下来。

SANA-Video: Efficient Video Generation with Block Linear Diffusion Transformer

SANA-Video 用线性注意力替换视频 DiT 里的全注意力把复杂度从 \(O(N^2)\) 降到 \(O(N)\)，又借线性注意力的累加性质设计了「常量显存」的块状自回归 KV cache，让一个 2B 小模型能在 64 张 H100 上花 12 天（仅 MovieGen 1% 成本）训出能生成 720×1280、分钟级长视频的模型，且在 VBench 上与 Wan2.1-14B 持平、推理快 16×。

Mixture of Contexts for Long Video Generation

把长视频生成重新表述为"内部信息检索"问题，提出一个无参数但可训练的稀疏注意力路由模块 MoC——让每个 query 动态选取少量相关 chunk 加上强制 anchor（文本 + 本地窗口），并用因果掩码避免回路，从而在剪掉 85% token 对、注意力 FLOPs 降 7× 的同时，把分钟级视频的身份/动作/场景一致性维持住甚至做得更好。

UniVideo: Unified Understanding, Generation, and Editing for Videos

UniVideo 用冻结的 MLLM 负责多模态理解与指令解析，用 MMDiT 负责高保真图像/视频生成，把视频理解、文生视频、图生视频、in-context 视频生成和无 mask 视频编辑统一到同一套自然语言指令框架中，并在多项视频生成与编辑任务上达到接近或优于专用模型的效果。

Geometry Forcing: Marrying Video Diffusion and 3D Representation for Consistent World Modeling

通过把视频扩散模型的中间特征对齐到 3D 基础模型 VGGT 的几何表示（角度对齐 + 尺度对齐两个解耦目标），让纯视频数据训练的扩散模型"内化"3D 结构，从而显著提升长时视频生成的几何与时序一致性，并能在推理时反推出显式 3D 几何。

JavisDiT: Joint Audio-Video Diffusion Transformer with Hierarchical Spatio-Temporal Prior Synchronization

提出 JavisDiT，基于 DiT 架构的音视频联合生成模型，通过层级化时空同步先验估计器（HiST-Sypo）实现细粒度的音视频时空对齐；同时构建了新基准 JavisBench（10K 复杂场景样本）和新评估指标 JavisScore。

MotionStream: Real-Time Video Generation with Interactive Motion Controls

提出MotionStream——首个运动控制的实时流式视频生成系统：先训练轻量track head的双向运动控制teacher，再通过Self Forcing + DMD蒸馏为因果student，引入注意力沉降（attention sink）+滚动KV缓存（rolling KV cache）实现训练-推理分布完全匹配，单H100 GPU上480P达17FPS/29FPS（+Tiny VAE），支持无限长度恒速生成。

查看全部97篇「视频生成」论文 →

🧩 多模态 VLM (211)

VideoChat-Flash: Hierarchical Compression for Long-Context Video Modeling

本文提出层次化视频 token 压缩方法 HiCo，把长视频上下文从 Clip 级到 Video 级两步压到约 \(1/50\)（平均每帧仅 16 token），再配上一套短到长的多阶段训练、114K 长视频的 LongVid 数据集和更难的多跳 NIAH 评测，造出 7B 量级就能在长短视频基准上同时超过 GPT-4o / Gemini-1.5-Pro 的 VideoChat-Flash，并在万帧 NIAH 上拿到 99.1% 的准确率。

MMSI-Bench: A Benchmark for Multi-Image Spatial Intelligence

六位 3D 视觉研究者耗时 300+ 小时、从 12 万张真实图像中纯人工打磨出 1000 道多图空间推理选择题，构成 MMSI-Bench；37 个主流 MLLM 上最强开源仅 30%、GPT-5 也只有 41.9%，而人类 97%，并配套了一条借助人工推理标注的自动化错误诊断流水线。

WorldSense: Evaluating Real-World Omnimodal Understanding for Multimodal LLMs

WorldSense 是第一个强制音频与视觉协同的真实世界全模态视频理解基准——1662 段同步音视频、3172 道多选题，每道题都设计成"去掉音频或去掉视频就答不对"，结果连最强的 Gemini 2.5 Pro 也只有 65.1% 准确率，多数开源音视频模型甚至接近随机猜测。

GPT4Scene: Understand 3D Scenes from Videos with Vision-Language Models

不动 VLM 架构、不引入点云模态，仅用「视频 + 重建出的鸟瞰图 + 跨帧一致的物体 ID 标记」这套视觉提示，就把 2D 视觉语言模型补出 3D 室内场景理解能力，并在零样本与微调两种设定下都刷到 SOTA。

DeepEyesV2: Toward Agentic Multimodal Model

DeepEyesV2 想把"调用外部工具"真正织进多模态模型的推理过程：让模型在一条推理轨迹里自主决定何时写 Python 代码、何时发起网页搜索，并把工具输出回填继续推理；作者发现直接 RL 学不会稳定的工具调用，于是用"冷启动 SFT + 强化学习"两阶段训练，在感知、数学推理、搜索三类基准上都拿到一致提升（如 MathVerse +7.1、MMSearch 63.7% 远超 53.8% 的专用搜索模型）。

StreamingVLM: Real-Time Understanding for Infinite Video Streams

StreamingVLM 用“训练时重叠短片段、推理时复用紧凑 KV cache”的统一框架，让 7B 级 VLM 能在数小时视频流上保持低延迟、长程记忆和逐秒级实时解说能力。

Vision Language Models are Biased

这篇论文提出 VLMBias 反事实视觉评测框架，系统修改动物、Logo、国旗、棋盘、棋类棋盘、错觉图和图案网格中的标志性视觉元素，发现主流 VLM 在客观计数任务上平均只有 17.05% 准确率，并且 75.70% 的回答会回到常识先验而不是图像证据。

VL-JEPA: Joint Embedding Predictive Architecture for Vision-language

VL-JEPA 把传统 VLM 的自回归 token 生成改成目标文本语义 embedding 的非自回归预测，在同等训练设置下比 token-space VLM 更省参数、更快收敛，并天然支持分类、检索、VQA 与在线视频场景下的选择性解码。

OmniVinci: Enhancing Architecture and Data for Omni-Modal Understanding LLM

OmniVinci 用三个针对"视觉-音频对齐"的架构改进（OmniAlignNet 语义对齐、时序分组、约束式旋转时间编码）外加一条能合成 2400 万条对话的数据流水线，仅用 0.2T token 就训练出一个能同时理解视频、声音、语音和文本的开源全模态 LLM，在多个跨模态/音频/视觉榜单上超过 Qwen2.5-Omni（训练 token 只用了它的 1/6）。

Reconstruction Alignment Improves Unified Multimodal Models

RECA 把统一多模态模型自己的视觉理解嵌入当作密集“视觉提示”，通过无标注图像重建后训练重新对齐理解侧和生成侧，使 1.5B UMM 在 GenEval、DPGBench 和图像编辑基准上显著提升，并且不需要额外 caption、GPT-4o 蒸馏或强化学习。

查看全部211篇「多模态 VLM」论文 →

🧠 VLM Reasoning (112)

Thyme: Think Beyond Images

Thyme 让多模态大模型在推理过程中自主生成并执行代码来完成裁剪、旋转、对比度增强等图像操作和数学计算，通过「50 万 SFT 冷启动 + GRPO-ATS 强化学习」两阶段训练激活这一能力，在近 20 个 benchmark（尤其高分辨率感知与复杂推理）上稳定超过 Qwen2.5-VL 基线。

Mini-o3: Scaling Up Reasoning Patterns and Interaction Turns for Visual Search

Mini-o3 用「难样本数据集 + 多样化冷启动轨迹 + over-turn masking」三件套，把一个只训练到 6 轮交互的 VLM，在推理时自然扩展到数十轮 trial-and-error 探索，复现出 OpenAI o3 式的深度视觉搜索能力并刷新 SOTA。

OmniSpatial: Towards Comprehensive Spatial Reasoning Benchmark for Vision Language Models

基于认知心理学构建OmniSpatial——首个全面空间推理基准，系统覆盖动态推理、复杂空间逻辑、空间交互和透视转换4大维度50个子类别共8.4K人工标注QA对，让o3最强推理模型仅达56.33%而人类达92.63%→揭示复杂空间推理仍是VLM的核心瓶颈。

Perception-Aware Policy Optimization for Multimodal Reasoning

针对多模态 RLVR 中 67% 的错误其实源于"看不准图"这一被忽视的瓶颈，本文提出 PAPO，在 GRPO/DAPO 的优化目标里加一项"原图 vs 遮挡图"之间的隐式感知 KL 损失（外加双熵正则防崩溃），不需要任何额外标注/奖励模型/教师模型，就在 8 个多模态推理基准上带来 4.4%–17.5% 的整体提升、感知错误下降 30.5%。

Zebra-CoT: A Dataset for Interleaved Vision-Language Reasoning

构建了首个大规模多样化交错文本-图像推理数据集 ZEBRA-COT（182K 条推理轨迹，覆盖 18 个领域），通过脚手架实验证明视觉 CoT 对前沿模型有高达 +43% 的提升潜力，并通过微调让 Anole-7B 和 Bagel-7B 获得内生视觉推理能力。

MindCube: Spatial Mental Modeling from Limited Views

提出 MindCube 基准（21,154 题 / 3,268 图）系统暴露 VLM 在「有限视角下重建未见空间」上几乎等同随机猜测的缺陷，并通过「先画认知地图、再在地图上推理」（map-then-reason）的 SFT + RL 方案，把 Qwen2.5-VL-3B 的准确率从 37.8% 拉到 61.3%。

VTool-R1: VLMs Learn to Think with Images via Reinforcement Learning on Multimodal Tool Use

提出 VTool-R1，首个通过强化学习微调训练 VLM 生成交错文本和视觉中间推理步骤的框架，使模型学会"用图像思考"。

Latent Visual Reasoning

LVR 让多模态大模型不再只在文本空间里"想"，而是用 LLM 的最后隐状态直接在视觉嵌入空间里自回归地重建出与问题相关的视觉语义（"先看后说"），并配合改造版 GRPO 强化学习，在感知密集型 VQA 任务上显著超越"Think about/with Images"两类范式。

Spatial Reasoning with Vision-Language Models in Ego-Centric Multi-View Scenes

针对自动驾驶/机器人这类「多摄像头同时看前后左右」的自我中心多视角场景，本文建了第一个户外 3D 空间推理基准 Ego3D-Bench（8.6K QA），并提出一个训练无关、即插即用的框架 Ego3D-VLM：把被问到的物体在 3D 全局坐标里定位、生成一张紧凑的「文字版认知地图」喂给任意 VLM，让多选 QA 平均涨 12%、绝对距离 RMSE 平均降 56%。

VGR: Visual Grounded Reasoning

VGR 让多模态大模型在思考过程中像人一样"回放视觉记忆"——推理时自主框出关键区域并把该区域的高分辨率视觉 token 取回来续接思考，配合一套带 grounding 信号的 VGR-SFT 数据，在仅用 LLaVA-NeXT 30% 视觉 token 的前提下，于 ChartQA、AI2D、MMStar 等细粒度图像理解任务上大幅超过基线。

查看全部112篇「VLM Reasoning」论文 →

⚡ VLM Efficiency (18)

SP-VLA: A Joint Model Scheduling and Token Pruning Approach for VLA Model Acceleration

SP-VLA 将 VLA 动作序列分为"深思型"与"直觉型"两类，深思型调用大模型、直觉型用轻量 Ridge Regression 近似，同时对 token 做空间-语义双感知剪枝，在 LIBERO 实现 1.5× 无损加速、SimplerEnv 实现 2.4× 加速。

Prune Redundancy, Preserve Essence: Vision Token Compression in VLMs via Synergistic Importance-Diversity

PRUNESID 是一个训练免训（training-free）的视觉 token 压缩框架，用「语义主成分聚类（PSCA）+ 组内非极大值抑制（NMS）」两阶段流水线同时兼顾 token 的语义重要性和信息多样性，并按图像复杂度动态分配 token 预算，在 LLaVA-1.5 上只保留 11.1% token 就拿到 96.3% 的相对精度，在 LLaVA-NeXT 极端压缩（5.6%）下仍保 92.8%。

HiDrop: Hierarchical Vision Token Reduction in MLLMs via Late Injection, Concave Pyramid Pruning, and Early Exit

提出 HiDrop 框架，通过对 MLLM 不同层的功能进行深入分析（浅层=传播器、中层=融合中心、深层=语言推理），设计了 Late Injection（跳过浅层）+ Concave Pyramid Pruning（凹金字塔中层剪枝）+ Early Exit（深层退出）三阶段策略，压缩约 90% 视觉 token 且几乎不损失性能，训练加速 1.72×。

Mixing Importance with Diversity: Joint Optimization for KV Cache Compression in Large Vision-Language Models

发现LVLM中KV Cache存在模态特异和注意力头特异的语义冗余，仅靠重要性选择会丢失语义覆盖，提出MixKV按头自适应混合重要性与多样性分数进行KV Cache压缩，在极端压缩下平均提升5.1%。

VisionTrim: Unified Vision Token Compression for Training-Free MLLM Acceleration

VisionTrim 是一个免训练的多模态大模型（MLLM）加速框架，用 DVTS（兼顾全局语义和局部空间连续性挑选主导视觉 token）+ TGVC（用文本引导把被丢弃的 token 聚类合并成补充 token）两个即插即用模块，在视觉编码和 LLM 解码两个阶段同时压缩视觉 token，在 LLaVA-1.5 上砍掉 88.9% 视觉 token 仍能保持 98.8% 的平均性能。

iLLaVA: An Image is Worth Fewer Than 1/3 Input Tokens in Large Multimodal Models

iLLaVA 跳出"只在 LLM 阶段压缩 token"的惯性，把 token 合并同时插进图像编码器和 LLM 两个阶段，并用"信息 token + 回收 token"的合并策略把被丢弃 token 的有用信息收回来，训练-free 实现端到端 2× 吞吐、4× prefilling 加速且保持 >95% 性能。

Nüwa: Mending the Spatial Integrity Torn by VLM Token Pruning

本文发现现有视觉 token 剪枝方法之所以在视觉定位（visual grounding, VG）任务上崩盘，是因为它们破坏了由位置编码构建的"全局空间参考系"，于是提出 Nüwa——一个受群体智能（Boids）启发的两阶段剪枝框架，先在视觉编码器侧用"分区-对齐-聚合"保住空间锚点、再在 LLM 中段做文本引导的精筛，把 VG 任务的性能保持率从 ~7% 拉到 47%，同时 VQA 维持在 95%。

Photon: Speedup Volume Understanding with Efficient Multimodal Large Language Models

Photon 是一个直接吃整段 3D 医学体数据（CT/MRI）的多模态大模型，用「指令条件 Token 调度（ITS）」按每个问题自适应地决定保留多少视觉 token，再用「代理梯度传播（SGP）」让离散丢 token 这件事在训练时仍然可微，从而在医学视觉问答上同时拿到 SOTA 精度、约 5 倍训练加速和约三分之二的显存节省。

IVC-Prune: Revealing the Implicit Visual Coordinates in LVLMs for Vision Token Pruning

揭示了LVLM中RoPE位置编码隐式建立的视觉坐标系统（IVC tokens），提出一种训练免的、提示感知的视觉token剪枝策略，在保留IVC tokens和语义前景token的同时，削减约50%视觉token并维持≥99%原始性能。

LearnPruner: Rethinking Attention-based Token Pruning in Vision Language Models

LearnPruner 通过实证拆穿了"attention 分数 = token 重要性"这一通行假设，指出视觉编码器的 [CLS] attention 被 attention sink 污染、而 LLM 中只有"文本→视觉"的中层注意力才可靠，进而用一个可学习剪枝模块替代 [CLS] attention、再叠加 LLM 中层的文本引导剪枝，仅保留约 5.5% 视觉 token 即可维持 95% 性能并取得 3.2× 加速。

查看全部18篇「VLM Efficiency」论文 →

🎵 音频/语音 (79)

MMSU: A Massive Multi-task Spoken Language Understanding and Reasoning Benchmark

提出 MMSU（5000 条音频 QA、47 个任务），首个系统融合语言学理论的语音理解与推理基准，评测 22 个 SpeechLLM，发现现有模型在音韵感知和复杂推理上仍存在显著差距。

YuE: Scaling Open Foundation Models for Long-Form Music Generation

YuE 把 LLaMA2 架构扩到万亿 token、训练出首个开源「歌词→整首歌」基础模型，靠双 token 轨道解耦（人声/伴奏分开预测）、结构化渐进式条件（歌词与音频按段落交错）和为音乐重设计的上下文学习三招，生成长达 5 分钟、歌词对齐且人声生动的歌曲，音乐性上追平甚至超过部分商用系统（如 Udio、Tiangong）。

RedTeamCUA: Realistic Adversarial Testing of Computer-Use Agents in Hybrid Web-OS Environments

构建首个混合 Web-OS 环境的 CUA 红队测试框架 RedTeamCUA 和 864 个测试用例的 RTC-Bench，系统评估 9+ 前沿 CUA 对间接 prompt injection 的脆弱性，发现所有 CUA 均可被攻击（最高 ASR 83%），且能力越强的模型越危险——攻击尝试率（AR）远高于成功率（ASR）意味着模型能力提升将直接转化为更高的攻击成功率。

Stitch: Simultaneous Thinking and Talking with Chunked Reasoning for Spoken Language Models

提出 Stitch，在口语语言模型中实现"边想边说"——将无声推理 token 与语音 token 交替分块生成，利用音频播放期间的空闲算力完成推理。Stitch-S 首帧延迟与无推理基线一致，数学推理准确率提升约 15 个百分点。

AudioX: A Unified Framework for Anything-to-Audio Generation

AudioX 用一个基于扩散 Transformer（DiT）的统一模型，配上一个轻量的「多模态自适应融合（MAF）」模块和 700 万条自建多模态数据 IF-caps，让单一权重就能从文本、视频、音频的任意组合生成高保真音效与音乐，并在细粒度指令跟随上大幅领先各路专才模型。

Music Flamingo: Scaling Music Understanding in Audio Language Models

通过构建 500 万级别的多文化、全曲长、分层标注音乐数据集（MF-Skills + MF-Think），并在增强版 Audio Flamingo 3 骨干上叠加「SFT → CoT 冷启动 → GRPO 强化学习」的训练配方，Music Flamingo 让音频语言模型从"识别表层属性"跃升到"像训练有素的音乐家一样进行分层、理论感知的音乐推理"，在 12+ 音乐理解与推理基准上刷新 SOTA。

The Devil behind the Mask: An Emergent Safety Vulnerability of Diffusion LLMs

本文首次系统揭示扩散语言模型（dLLM）中由双向建模和并行解码机制引发的固有安全漏洞，并提出 DiJA 越狱攻击框架，通过交错掩码-文本提示在多个对齐后的 dLLM 上实现接近100%的攻击成功率。

SpeechJudge: Towards Human-Level Judgment for Speech Naturalness

为了给语音合成补上"大规模自然度人类偏好语料"这块缺失的拼图，本文一次性放出数据集（99K 偏好对）、评测基准（1000 条高一致性样本）和奖励模型三件套，并用"SFT 冷启动 + GRPO 强化"两阶段把 Qwen2.5-Omni-7B 训成生成式奖励模型 SpeechJudge-GRM，在判别语音哪个更自然这个任务上达到 77.2%（推理时投票后 79.4%）准确率，显著超过经典 Bradley-Terry 奖励模型（72.7%）。

ParaS2S: Benchmarking and Aligning Spoken Language Models for Paralinguistic-Aware Speech-to-Speech Interaction

提出 ParaS2S 框架——包含一个评估副语言感知（emotion/sarcasm/age/gender）的语音到语音基准 ParaS2SBench，以及一个基于 GRPO 的 RL 对齐框架 ParaS2SAlign，使 S2S 模型能够在极少标注数据下习得根据说话风格调整回复的能力。

TASTE: Text-Aligned Speech Tokenization and Embedding for Spoken Language Modeling

提出 TASTE（Text-Aligned Speech Tokenization and Embedding），通过跨注意力机制将语音 token 与文本转录对齐，实现极低比特率（~150 bps）下的高质量语音重建，并使文本-语音联合建模变得直接高效，1.3B 参数的 TASLM 超越 7B 预训练 SLM。

查看全部79篇「音频/语音」论文 →

🔎 AIGC 检测 (30)

All Patches Matter, More Patches Better: Enhance AI-Generated Image Detection via Panoptic Patch Learning

本文提出"所有 patch 都重要、用得越多越好（All Patches Matter, More Patches Better）"的检测原则，发现现有 AI 生成图像（AIGI）检测器存在"少数 patch 偏置（Few-Patch Bias）"——只盯着极少数 patch 做判断；据此设计 Panoptic Patch Learning（PPL）框架，用随机 patch 重建 + patch 级对比学习把判别能力摊平到全图所有 patch，在 GenImage、DRCT-2M、AIGCDetectBenchmark 和真实场景 Chameleon 上都把跨生成器泛化性和鲁棒性显著刷高（CLIP backbone 在 GenImage 上 mAcc 97.2%、std 仅 1.7）。

EditLens: Quantifying the Extent of AI Editing in Text

EditLens 不再把文本二分为"纯人写/纯 AI 生成"，而是用轻量相似度指标（余弦距离、soft n-grams）作为中间监督，微调一个回归模型来连续地预测"这段文本被 AI 改了多少"，在二分类（F1=95.6%）和三分类（macro-F1=90.4%）上都刷到 SOTA。

Is Your Paper Being Reviewed by an LLM? Benchmarking AI Text Detection in Peer Review

构建了迄今最大的 AI 生成同行评审数据集（788,984 篇评审），系统评估了 18 种 AI 文本检测方法在同行评审场景下的表现，并提出了利用论文原文作为上下文的 Anchor 检测方法，在低误报率下大幅超越所有基线。

Calibrating Verbalized Confidence with Self-Generated Distractors

提出 DiNCo 方法，通过让 LLM 独立评估自动生成的干扰选项（合理但错误的替代答案）来暴露其"暗示性偏差"，用干扰项上的总置信度进行归一化，并融合生成一致性与验证一致性两个互补维度，在短文本 QA 和长文本生成任务上显著改善置信度校准。

Learn-to-Distance: Distance Learning for Detecting LLM-Generated Text

本文用几何投影视角解释了"重写式"LLM 文本检测方法的有效性，并据此提出 L2D——不再用固定距离衡量原文与重写文本的差异，而是自适应地学习一个距离函数，在 100+ 个设定上相对最强 baseline 取得 41.5%~75.4% 的平均提升。

Tell me Habibi, is it Real or Fake?

本文提出 ArEnAV——首个面向「阿拉伯语-英语句内语码转换（code-switching, CSW）」的大规模音视频深度伪造数据集（387k 视频、765+ 小时），用一条整合 4 个 TTS + 2 个唇形同步模型的生成流水线，把真实 YouTube 视频里说话内容做「内容驱动」的语义篡改，并系统证明现有 SOTA 检测/定位模型与人类在这种多语种、语码转换场景下几乎全部失效。

Preserving Forgery Artifacts: AI-Generated Video Detection at Native Scale

针对现有 AI 生成视频检测器普遍把输入帧缩放/裁剪到固定低分辨率（如 224×224）从而破坏关键伪造痕迹的问题，本文提出一套"原生尺度"检测框架——基于 Qwen2.5-VL 的视觉 Transformer 直接以任意原始分辨率和时长处理视频，并配套构建了覆盖 15 个生成器的 14 万级训练集和高真实度的 Magic Videos 评测基准，在多个 benchmark 上刷新 SOTA。

No Pixel Left Behind: A Detail-Preserving Architecture for Robust High-Resolution AI-Generated Image Detection

提出 HiDA-Net：用「全局缩略图 + 覆盖全图的原分辨率切片」双路输入，配合特征聚合、token 级伪造定位和 JPEG 质量因子估计三件套，做到"不漏掉任何一个像素"，在高分辨率 AI 生成图像检测上大幅刷新 SOTA。

Semantic Visual Anomaly Detection and Reasoning in AI-Generated Images

针对 AI 生成图像里那些"看着真、细想假"的语义级异常（违反物理、常识、解剖逻辑），本文把它形式化成一个"检测 + 解释 + 评分"的任务，用多智能体流水线 AnomAgent 加轻量人工校验造出 21.5K 图、十几万条结构化四元组标注的 AnomReason 基准，并提出语义匹配指标 SemAP/SemF1；在此微调出的 AnomReasonor-7B 在语义检测上超过所有开源 VLM、逼近 GPT-4o。

Death of the Novel(ty): Beyond n-Gram Novelty as a Metric for Textual Creativity

通过 26 位专业作家对 8618 条表达的 close reading 标注，揭示 n-gram 新颖度不足以衡量文本创造力——约 91% 的高 n-gram 新颖表达并不被认为具有创造性，且开源 LLM 中高 n-gram 新颖度与低语用合理性负相关。

查看全部30篇「AIGC 检测」论文 →

🧊 3D 视觉 (194)

TTT3R: 3D Reconstruction as Test-Time Training

把循环式 3D 重建模型 CUT3R 的状态更新重新解读为一个测试时在线学习问题，用记忆状态与新观测之间的对齐置信度推导出一个闭式的、逐 token 的自适应学习率来门控状态更新，从而在不训练、不加参数的前提下大幅缓解长序列遗忘——全局位姿精度比基线提升 2×，同时仍保持 20 FPS、6 GB 显存处理上千张图像。

STream3R: Scalable Sequential 3D Reconstruction with Causal Transformer

STREAM3R 把稠密 3D 重建重新表述成「decoder-only Transformer 的逐帧因果注意力」问题——每来一张新图就让它对历史帧缓存做因果 cross-attention 并回归点图，从而像 LLM 一样用 KVCache / 滑窗注意力做在线增量重建，在静态和动态场景的深度估计与 3D 重建上都优于或持平现有流式方法，且推理更快。

Scenethesis: A Language and Vision Agentic Framework for 3D Scene Generation

Scenethesis 是一个免训练的智能体框架，用 LLM 起草粗布局、视觉基础模型做视觉接地与场景图提取、物理感知优化器（语义对应 + SDF 接触/支撑约束）逐物体校正位姿，再用 GPT-5 裁判验证空间一致性并触发重规划，从而生成室内外通吃、碰撞少、稳定性高的可交互 3D 场景。

HoloPart: Generative 3D Part Amodal Segmentation

HoloPart 把 2D 的"非模态分割"(amodal segmentation)概念引入 3D，提出"3D 部件非模态分割"新任务——把一个整体网格拆成几何完整的语义部件(而非破碎的表面片)，并用一个带局部注意力 + 全局形状上下文注意力的扩散模型做部件形状补全来实现它。

OmniWorld: A Multi-Domain and Multi-Modal Dataset for 4D World Modeling

作者用游戏引擎自采 + 整合 12 个公开数据集，构建了一个横跨模拟器/机器人/人类/互联网四大域、带深度/相机位姿/文本/光流/前景掩码五种模态、规模超 3 亿帧的 4D 世界建模数据集 OmniWorld，并配套一套自动标注流水线与基准，实测把现有 SOTA 在它上面微调后能在 3D 几何重建和相机可控视频生成上明显涨点。

OpenFly: A Comprehensive Platform for Aerial Vision-Language Navigation

构建OpenFly——航空视觉-语言导航(VLN)综合平台：集成4种渲染引擎(UE/GTA V/Google Earth/3DGS)+开发全自动数据生成工具链(点云获取→语义分割→轨迹生成→GPT-4o指令)+构建10万轨迹大规模数据集(18场景)+提出关键帧感知VLN模型OpenFly-Agent(关键帧选择+视觉token融合)，在已见/未见场景分别以14.0%/7.9%的成功率优势超越现有方法。

Depth Anything with Any Prior

Prior Depth Anything 用"先粗后细"的两段式流程，把传感器测出来的精确但稀疏的度量深度先验，和单目深度模型预测出来的完整但相对的几何结构融合起来，单个模型零样本统一了深度补全、超分、修复三类任务，在 7 个真实数据集上追平甚至超过各自的专用 SOTA。

Human3R: Everyone Everywhere All at Once

Human3R 把在线 4D 重建基础模型 CUT3R 冻住、只用视觉提示微调插入「人体提示」，就能在单次前馈中同时吐出多人 SMPL-X 网格（everyone）、稠密场景点云（everywhere）和相机轨迹（all-at-once），15 FPS、8 GB 显存、单卡一天训练即达 SOTA。

YoNoSplat: You Only Need One Model for Feedforward 3D Gaussian Splatting

YoNoSplat 用一个前馈模型，从任意数量、无位姿、无标定的多视图图像里直接预测每视图局部 3D 高斯 + 相机位姿 + 内参，再聚合成全局场景；靠"混合强迫（mix-forcing）"训练策略和成对距离归一化 + 内参条件嵌入两招，解决位姿/几何纠缠和尺度歧义，在有位姿/无位姿两种设定下都做到 SOTA，100 张图 2.69 秒重建一个场景。

Trace Anything: Representing Any Video in 4D via Trajectory Fields

Trace Anything 把视频里的每个像素表示成一条连续 3D 轨迹，并用一次前馈推理直接预测整段视频的轨迹场，从而在无需深度、光流、2D跟踪器或逐场景优化的情况下完成高效的 4D 动态场景表示。

查看全部194篇「3D 视觉」论文 →

🎯 目标检测 (30)

RF-DETR: Neural Architecture Search for Real-Time Detection Transformers

RF-DETR 用 DINOv2 互联网级预训练 + 端到端权重共享 NAS 训练一个"超网"，让一次训练就能在网格搜索中无需重训地导出整条精度-延迟 Pareto 曲线，在 COCO 上首次让实时检测器突破 60 AP，在真实世界数据集 RF100-VL 上以 20 倍速度反超 GroundingDINO。

Traceable Evidence Enhanced Visual Grounded Reasoning: Evaluation and Method

提出 TreeBench（首个可追溯视觉推理基准，405道高挑战 VQA，OpenAI-o3 仅 54.87%）和 TreeVGR（通过双 IoU 奖励的强化学习联合监督定位与推理的训练范式），7B 模型在 V*Bench +16.8、MME-RealWorld +12.6、TreeBench +13.4，证明可追溯性是推进视觉推理的关键。

CLIP Behaves like a Bag-of-Words Model Cross-modally but not Uni-modally

通过线性探测实验证明 CLIP 的 BoW（词袋）行为并非源于编码器缺乏绑定信息，而是跨模态对齐的失败；提出 LABCLIP，仅训练一个轻量线性变换即可显著恢复属性-对象绑定能力。

Long-Context Generalization with Sparse Attention

提出 ASEntmax（Adaptive-Scalable Entmax），用可学习温度的 α-entmax 替代 softmax 注意力，从理论和实验两方面证明稀疏注意力能实现 1000× 长度外推，解决 softmax 在长上下文下的注意力弥散（dispersion）问题。

Unbiased Object Detection Beyond Frequency with Visually Prompted Image Synthesis

针对目标检测训练数据的类别/尺寸/位置偏差，本文提出一套"诊断—生成"去偏框架：用超越频率的表征分数（RS）找出真正欠表征的数据组，用 RS 重标定布局并以视觉蓝图（彩色矩形像素条件）+ 对偶生成对齐合成高保真样本，把稀有类提升 3.6 mAP、大目标提升 4.4 mAP，合成图布局准确率比此前 L2I SOTA 高 15.9 mAP。

DeCo-DETR: Decoupled Cognition DETR for efficient Open-Vocabulary Object Detection

DeCo-DETR 把开放词汇检测里"在线调用文本编码器"和"定位与对齐互相打架"这两件事解耦——用 LVLM 离线蒸馏出一个可复用的分层语义原型池替代推理时的文本编码器，再用双流梯度隔离把定位和语义对齐分开训练，在 OV-COCO novel 类上提升 3.1~5.8 个点的同时把单图推理压到 135ms。

PAANO: Patch-Based Representation Learning for Time-Series Anomaly Detection

提出 PaAno，一种基于 patch 级表示学习的轻量时间序列异常检测方法，使用 1D-CNN 编码器 + triplet loss + pretext loss 学习 patch 嵌入空间，通过与记忆库中正常 patch 的距离计算异常分数，在 TSB-AD 基准上全面 SOTA，且仅需 0.3M 参数和数秒推理。

Point2RBox-v3: Self-Bootstrapping from Point Annotations via Integrated Pseudo-Label Refinement and Utilization

针对"只用一个点标注训练旋转框检测器"这一弱监督任务，本文提出 Point2RBox-v3，用渐进式标签分配（PLA）把伪标签里的尺度信息喂给 FPN 多层标签分配、并用先验引导的动态掩码损失（PGDM-Loss）让 SAM 管稀疏场景、分水岭管密集场景，在 DOTA-v1.0 等六个遥感基准上把点监督旋转检测推到新 SOTA（DOTA-v1.0 两阶段 66.09%）。

Bootstrapping MLLM for Weakly-Supervised Class-Agnostic Object Counting

WS-COC 是首个用多模态大模型（MLLM）做弱监督类无关目标计数的框架，只用图像级总数作监督，靠"二分对话调优 + 比较排序优化 + 全局局部融合"三个简单策略把 MLLM 的计数能力激活出来，在 FSC-147 等四个数据集上逼近甚至超过部分点级监督的全监督方法。

Dual Distillation for Few-Shot Anomaly Detection

提出双蒸馏框架 D24FAD，结合 query 图像上的教师-学生蒸馏（TSD）和 support 图像上的学生自蒸馏（SSD），辅以学习权重机制（L2W）自适应评估 support 重要性，在 APTOS 眼底数据集上仅用 2-shot 达到 100% AUROC。

查看全部30篇「目标检测」论文 →

✂️ 语义分割 (31)

SAM 3: Segment Anything with Concepts

SAM 3 把"找出并分割图像/视频里某个概念的所有实例"（Promptable Concept Segmentation, PCS）做成一个统一模型——用名词短语或图像样例当提示，靠一个共享骨干 + 检测器 + 记忆跟踪器输出所有匹配实例的 mask 与跨帧身份，再配一套人机协同数据引擎产出 4M 概念标签的训练集，最终在图像/视频 PCS 上把现有系统的精度翻倍。

Advancing Complex Video Object Segmentation via Progressive Concept Construction

这篇论文提出 Segment Concept（SeC），把大视觉语言模型抽取到的目标级“概念表示”按需注入 SAM 2.1 风格的视频目标分割流程，在复杂多镜头场景下显著减少外观相似干扰与目标重现失败，并构建了专门考察语义级 VOS 能力的 SeCVOS benchmark。

VINCIE: Unlocking In-context Image Editing from Video

提出VINCIE框架，首次证明in-context图像编辑模型可以完全从原生视频数据中学习，通过将视频标注为交错多模态序列并设计三个代理任务（NIP/CSP/NSP），在多轮编辑基准上达到SOTA，5轮编辑成功率从基线<2%提升至25%。

Deforming Videos to Masks: Flow Matching for Referring Video Segmentation

把指代视频目标分割（RVOS）重新定义为「在文本引导下、把视频隐空间表征连续形变成掩码」的 ODE 流问题，直接微调预训练文生视频（T2V）模型 Wan2.1，用三个聚焦轨迹起点的策略稳住训练，在 MeViS、Ref-YouTube-VOS、Ref-DAVIS17 上全面刷到 SOTA。

S3OD: Towards Generalizable Salient Object Detection with Synthetic Data

针对显著目标检测（SOD）标注昂贵、数据稀缺、子任务（DIS / HR-SOD）各练各的痛点，本文用多模态扩散管线一次性生成图像+像素级掩码、配合难例反馈的迭代生成，造出 13.9 万张高分辨率合成数据集 S3OD，再用一个歧义感知的多掩码解码器统一建模，仅用合成数据训练就让跨数据集误差降低 20–50%，微调后在 DIS 与 HR-SOD 上刷到 SOTA。

Revisiting [CLS] and Patch Token Interaction in Vision Transformers

深入分析Vision Transformer中[CLS]全局token和patch局部token之间的交互摩擦，发现归一化层隐式地区分了两类token，提出在归一化层和早期QKV投影中引入专门化处理路径，仅增加8%参数即实现分割性能提升超2 mIoU，同时保持分类精度。

Efficient-SAM2: Accelerating SAM2 with Object-Aware Visual Encoding and Memory Retrieval

发现 SAM2 存在类似生物视觉的稀疏感知模式（解码器聚焦前景但编码器广泛计算、记忆帧中仅少量 token 有效且显著性时间一致），据此提出 Efficient-SAM2，通过对象感知的稀疏窗口路由（SWR）和稀疏记忆检索（SMR）消除冗余计算，在 SAM2.1-L 上实现 1.68× 端到端加速且仅损失 1% 精度。

TRACE: Your Diffusion Model is Secretly an Instance Edge Detector

发现文本到图像扩散模型的自注意力在去噪过程中存在一个"实例涌现点"（IEP），在该时刻自注意力在物体边界呈现剧烈散度变化。TRACE通过IEP定位+ABDiv边缘提取+单步蒸馏，以81×推理加速生成高质量实例边缘，无需任何实例标注即可将无监督实例分割提升+5.1 AP，tag监督全景分割超越点监督方法+1.7 PQ。

RegionReasoner: Region-Grounded Multi-Round Visual Reasoning

提出 RegionReasoner，一个基于强化学习的多轮视觉推理框架，通过引用标注奖励和全局-局部一致性奖励，使推理轨迹必须显式引用参考区域坐标并保持语义连贯，在新构建的 RegionDial-Bench 上显著提升多轮定位和分割精度。

Urban Socio-Semantic Segmentation with Vision-Language Reasoning

本文定义了"城市社会语义分割"这一新任务（从卫星影像中分割学校、公园等由社会属性而非视觉外观定义的实体），构建了 SocioSeg 数据集（把异构地理空间数据统一渲染成一张数字地图层）并提出 SocioReasoner 框架——用 VLM 模仿人类标注员的"先定位、再渲染反馈、后精修"两阶段推理流程，再用 GRPO 强化学习端到端优化这条不可微的提示生成管线，在三级层次任务上全面超越 SOTA 并展现出强零样本泛化。

查看全部31篇「语义分割」论文 →

🖼️ 图像恢复 (61)

Pixel to Gaussian: Ultra-Fast Continuous Super-Resolution with 2D Gaussian Modeling

本文提出 ContinuousSR，用「像素到高斯」范式把低分辨率图像一次性显式重建成一张连续的 2D 高斯场，之后任意放大倍数都只靠一次约 1ms 的快速渲染完成，在七个基准上质量超过 SOTA（Manga109 上 +0.18 dB）的同时，连续放大 40 个尺度时整体加速 19.5×。

SeedVR2: One-Step Video Restoration via Diffusion Adversarial Post-Training

SeedVR2 把多步扩散式视频恢复模型通过扩散对抗后训练压缩成一步生成器，并用自适应窗口注意力、渐进蒸馏和判别器特征匹配损失支撑高分辨率视频恢复，在一步推理下达到接近甚至优于多步视频恢复模型的感知质量。

Flower: A Flow-Matching Solver for Inverse Problems

Flower 把预训练 flow-matching 生成模型改造成一个线性逆问题求解器：每个时间步先预测干净终点，再用观测算子做数据一致性近端投影，最后沿 flow 轨迹推进，从而在去噪、去模糊、超分和 inpainting 等图像复原任务上取得强于现有 flow-based solver 的结果。

InterActHuman: Multi-Concept Human Animation with Layout-Aligned Audio Conditions

提出 InterActHuman，通过自动推断时空布局的掩码预测器和迭代掩码引导策略，实现多人/人物交互场景下的音频驱动视频生成，支持每个角色独立的语音驱动口型同步和身体动作。

RestoreVAR: Visual Autoregressive Generation for All-in-One Image Restoration

RestoreVAR 把视觉自回归模型 VAR 从纯图像生成改造成全能图像恢复模型，用退化图像的连续 latent 做跨注意力条件，再用 latent refiner 和连续 latent 解码器补回细节，在生成式 AiOR 方法中取得更高恢复质量，并把 LDM 类方法的秒级推理压到约 0.201 秒。

SoFlow: Solution Flow Models for One-Step Generative Modeling

提出 Solution Flow Models (SoFlow)，直接学习速度 ODE 的解函数 \(f(x_t, t, s)\)（将 \(t\) 时刻的 \(x_t\) 映射到 \(s\) 时刻的解），通过 Flow Matching 损失 + 无需 JVP 的解一致性损失从头训练，在 ImageNet 256 上 1-NFE FID 优于 MeanFlow（XL/2: 2.96 vs 3.43）。

UniRestorer: Universal Image Restoration via Adaptively Estimating Image Degradation at Proper Granularity

UniRestorer 把图像退化空间层次化成多粒度退化组，并训练与之对应的 MoE 复原专家，再用退化估计和粒度估计共同路由，使全能图像复原模型既能利用细粒度退化先验，又不至于被错误退化估计拖垮。

DiffusionBlocks: Block-wise Neural Network Training via Diffusion Interpretation

提出 DiffusionBlocks，将残差网络的逐层更新解释为连续时间扩散过程的离散化步骤，从而将网络切分为可完全独立训练的 block，在保持端到端训练性能的同时按 block 数 B 倍减少训练显存。

Vivid-VR: Distilling Concepts from Text-to-Video Diffusion Transformer for Photorealistic Video Restoration

Vivid-VR 在预训练 T2V 扩散 Transformer（CogVideoX1.5-5B）上接 ControlNet 做生成式视频恢复，通过一套「概念蒸馏」训练策略让 T2V 模型自己合成图文对齐的训练数据来抑制微调时的分布漂移，再配上轻量控制特征投影器和双分支连接器，从而在真实、合成与 AIGC 视频上同时拿到更真实的纹理和更稳的时序一致性。

A Statistical Benchmark for Diffusion-Posterior-Sampling Algorithms

这篇论文为扩散后验采样（DPS）算法造了一把"标准尺"：用可以精确 Gibbs 采样的 Lévy 过程信号作为测试分布，拿到分布级别的"金标准"后验样本，再用 MMSE 最优性差距和后验覆盖率两项指标，把主流 DPS 算法（C-DPS / DiffPIR / DPnP）放在去噪、去卷积、缺失填补、部分傅里叶重建四类反问题上系统评测，结论是这些算法普遍没有校准。

查看全部61篇「图像恢复」论文 →

🛰️ 遥感 (11)

Earth-Agent: Unlocking the Full Landscape of Earth Observation with Agents

Earth-Agent是首个基于MCP工具生态的地球观测Agent框架，统一了RGB和光谱遥感数据，通过动态调用104个专家工具实现跨模态、多步骤、定量时空推理，配套提出的Earth-Bench基准包含248个专家任务和13,729张图像，实验证明Earth-Agent远超通用Agent和遥感MLLM。

TerraFM: A Scalable Foundation Model for Unified Multisensor Earth Observation

TerraFM 面向多传感器地球观测数据，把 Sentinel-1 SAR 与 Sentinel-2 光学影像当作同一地点的天然增强视图，通过模态专属 patch embedding、逐位置 cross-attention 融合和面向长尾地表覆盖的 dual-centering DINO 训练，在 GEO-Bench 与 Copernicus-Bench 的分类和分割任务上取得了强泛化表现。

Towards Faithful Reasoning in Remote Sensing: A Perceptually-Grounded Geospatial Chain-of-Thought for Vision-Language Models

本文提出"感知接地的地理空间思维链"（Geo-CoT），让遥感 VLM 把分析过程拆成"规划→接地取证→综合"三步、每一步都用边界框把论断锚定到具体像素区域；通过构建 38 万条结构化推理数据集 Geo-CoT380k + 两阶段对齐（SFT 灌输认知结构、GRPO 精炼忠实度），训出的 RSThinker 在视觉定位、计数、检测、描述、VQA 等十余个遥感任务上大幅领先现有 SOTA。

Measuring the Intrinsic Dimension of Earth Representations

首次系统度量地理隐式神经表示（Geographic INR）的内在维度（ID），发现256-512维嵌入的真实ID仅2-10维；冻结嵌入空间的高ID与好的下游性能正相关，而监督任务头激活空间的低ID与高性能正相关，揭示了「代表性 vs 任务对齐」的双重机制。

SelvaBox: A high-resolution dataset for tropical tree crown detection

SelvaBox 构建了目前最大规模的开放热带森林高分辨率无人机 RGB 树冠检测数据集，并用统一的多分辨率检测基准证明：高分辨率输入、DINO-Swin 检测器和跨数据集训练能显著提升热带树冠检测的域内与零样本泛化表现。

MoRA: Mobility as the Backbone for Geospatial Representation Learning at Scale

MoRA 把人类移动（mobility）图当作多模态融合的"骨架锚点"，用 CLIP 式非对称对比学习把 POI、卫星影像、人口统计三种辅助模态对齐到十亿边级移动图上，在 9 个社会经济下游任务上以 128 维表征平均超越 SOTA 12.9%，并首次给出地理空间表示学习的标度律证据。

Object Fidelity Diffusion for Remote Sensing Image Generation

OF-Diff 用类别标签直接提取遥感目标的"形状掩码先验"来约束扩散生成，再用一个"在线蒸馏"框架把含真实图像信息的混合特征蒸馏进只依赖形状的解码器，使得推理时不再需要真实图像参考也能生成高保真、布局一致的遥感图，最后用 DDPO 强化微调进一步对齐真实分布，下游检测中飞机/船/车等类别 mAP 提升 4–8%。

Task-free Adaptive Meta Black-box Optimization

提出 ABOM——一种无需预定义训练任务的自适应元黑盒优化器，通过将进化算子（选择、交叉、变异）参数化为可微注意力模块，在优化过程中利用自生成数据在线更新参数，在合成基准和无人机路径规划上实现零样本竞争性能。

SatDreamer360: Multiview-Consistent Generation of Ground-Level Scenes from Satellite Imagery

SatDreamer360 从单张卫星图像和预设地面相机轨迹出发，用三平面场景表示、逐像素射线注意力和全景极线约束时序注意力，在扩散模型中生成几何对齐且跨帧一致的 360° 地面全景序列，并在新构建的 VIGOR++ 基准上优于 Sat2Density、ControlS2S 和 EscherNet。

TAMMs: Change Understanding and Forecasting in Satellite Image Time Series with Temporal-Aware Multimodal Models

提出 TAMMs——首个统一框架，在单一 MLLM-扩散架构中联合执行卫星图像时间序列的时序变化描述（TCD）和未来图像预测（FSIF），通过时序适配模块（TAM）唤醒冻结 MLLM 的时序推理能力，并通过语义融合控制注入（SFCI）机制将变化理解转化为生成控制信号。

查看全部11篇「遥感」论文 →

🔍 异常检测 (10)

Foundation Visual Encoders Are Secretly Few-Shot Anomaly Detectors

作者发现冻结的基础视觉编码器其实"悄悄"已经能区分异常——图像中异常区域的面积与其特征到自然图像流形的距离成正相关，于是只在编码器之上训练一个轻量非线性投影算子（FOUNDAD），把异常特征拉回正常流形、再用投影前后差异打分，就在少样本、多类别工业异常检测上达到 SOTA。

MRAD: Zero-Shot Anomaly Detection with Memory-Driven Retrieval

MRAD 用「特征-标签记忆库的相似度检索」直接替代主流 ZSAD 的参数化拟合 \(p(y|x)\)，免训练版本就能打过 WinCLIP，再叠两层线性微调与区域先验注入的动态提示，便在 16 个工业/医疗数据集上刷到 SOTA。

Adaptive Conformal Anomaly Detection with Time Series Foundation Models for Signal Monitoring

提出 W1-ACAS：一种 post-hoc、免微调的自适应共形异常检测框架，把预训练时序基础模型（TSFM）的预测误差转成可直接解释为误报率（p-value）的异常分数，并通过最小化 Wasserstein 距离在线学习权重，在非平稳数据下稳定控制误报。

LLM as an Algorithmist: Enhancing Anomaly Detectors via Programmatic Synthesis

把 LLM 从"数据处理器"重新定位为"算法策略师"——它只看检测器的算法描述、不碰任何真实数据，就推理出该检测器的逻辑盲点并生成一段可跨数据集复用的 Python 合成代码，用来造出专门骗过这个检测器的"困难异常"，从而把原本只有正常样本的单类问题升级成更可分的两类问题，在 36 个表格异常检测基准上稳定提升五种主流检测器。

ReTabAD: A Benchmark for Restoring Semantic Context in Tabular Anomaly Detection

ReTabAD 是首个"上下文感知"的表格异常检测 benchmark：它把传统基准里被丢弃的文本语义（特征描述、领域知识、类别原文）重新还原回 20 个精选数据集，配齐 20 个跨经典/深度/LLM 的算法实现，并提出一个无需训练的零样本 LLM 框架，实验证明语义上下文能把检测 AUROC 平均提升 7.6 个百分点，让零样本 LLM 逼近 SOTA 训练方法。

UniOD: A Universal Model for Outlier Detection across Diverse Domains

UniOD 用一批历史带标签数据集训练一个通用离群检测模型：先把任意维度/语义的表格数据集统一成"多尺度相似度图 + SVD 特征"，再用 GIN+GT 双路图网络把离群检测转成节点二分类，训练完成后对任何未见过的新数据集免训练、免调参直接打异常分数，在 30 个基准上平均 AUROC/AUPRC 超过 17 个基线且耗时更低。

Low Rank Transformer for Multivariate Time Series Anomaly Detection and Localization

本文从理论上把 Transformer 编码器在多变量时间序列上的学习过程映射到经典 STAR 统计模型，进而提出对自注意力施加低秩正则的 ALoRa-T，用注意力矩阵的"秩"作为异常信号做检测，并借助可解释的贡献权重把异常回溯到具体变量做定位。

Healthcare Insurance Fraud Detection via Continual Fiedler Vector Graph Model

ConFVG 用图拉普拉斯的第二小特征向量（Fiedler 向量）指导图自编码器的掩码策略来在标签稀缺时学结构感知表征，再用子图注意力融合 + Mean Teacher 在无标签的在线流里持续适应不断变化的欺诈模式，实现医保欺诈的实时检测。

Let OOD Feature Exploring Vast Predefined Classifiers

这篇论文提出 VPC，用一组固定的等角原型把 ID 类别和 OOD 样本分别拉到两个预定义子空间，再用两个子空间上的 L2 激活强度差做 OOD 分数，在 CIFAR 和 ImageNet-1k 的 OE 训练场景中稳定降低 FPR95。

PIRN: Prototypical-based Intra-modal Reconstruction with Normality Communication for Multi-modal Anomaly Detection.

PIRN 面向 RGB 图像与 3D surface normal 的少样本多模态工业异常检测，用自适应原型码本重建每个模态的正常特征，再通过跨模态正常性通信互补纹理和几何线索，在 MVTec 3D-AD、Eyecandies 和 Real-IAD D3 上取得更强的检测与定位表现。

🧑 人体理解 (45)

MotionGPT3: Human Motion as a Second Modality

把人体动作当作"第二种模态"，用连续 VAE 隐空间替代离散 VQ token、用对称的动作分支 + 共享注意力替代单流骨干，再配一个挂在自回归 backbone 上的轻量扩散头，让一个统一模型同时做文本→动作生成和动作→文本理解，并且训练收敛快 2–4×。

SpeakerVid-5M: A Large-Scale High-Quality Dataset for Audio-Visual Dyadic Interactive Human Generation

针对"主动交互式数字人"这一新兴方向缺乏公开数据的痛点，本文构建了 SpeakerVid-5M——首个面向音视频双人（dyadic）交互数字人生成的大规模高质量数据集（8743 小时、520 万单人 clip、77 万双人对话对），配套提出一个自回归视频对话 baseline 和 VidChatBench 评测基准。

BAH Dataset for Ambivalence/Hesitancy Recognition in Videos for Digital Behaviour Analysis

提出首个面向视频中矛盾/犹豫（A/H）识别的多模态数据集 BAH，包含来自加拿大9省224名参与者的1,118段视频共8.26小时，由行为科学专家标注，并提供了帧级和视频级的基线实验结果。

TOUCH: Text-guided Controllable Generation of Free-Form Hand-Object Interactions

本文提出"自由形态手物交互（Free-Form HOI）生成"新任务，配套从网络视频自动重建的 in-the-wild 3D 数据集 WildO2，并设计三阶段框架 TOUCH（接触图预测 → 多层级条件扩散 → 物理约束精修），让模型摆脱"稳定抓取"先验，能按细粒度文本指令生成推、戳、转等多样且物理合理的手部姿态。

Human-Object Interaction via Automatically Designed VLM-Guided Motion Policy

用 VLM 把高层指令翻译成一种「相对运动动力学 (RMD)」的人-物部件级二部图，自动构造强化学习的目标状态和奖励函数，让物理仿真角色无需动捕数据、无需手工调奖励就能完成对静态/动态/铰接物体的长程交互。

EmoPrefer: Can Large Language Models Understand Human Emotion Preferences?

针对描述性多模态情感识别（DMER）评估代价高的痛点，提出 EmoPrefer——首个情感偏好数据集与基准，系统探索 MLLM 是否能替代人工标注者完成情感偏好判断，最佳方案（Qwen2.5-Omni）达到 67.21% 两类 WAF，仍留有提升空间。

Text2Interact: High-Fidelity and Diverse Text-to-Two-Person Interaction Generation

Text2Interact 面向文本驱动的双人 3D 交互动作生成，先用 InterCompose 从 LLM 文本和单人动作先验合成高质量交互数据，再用 InterActor 的词级文本条件、双人动作交互注意力和自适应交互损失提升动作真实性、文本对齐和跨分布泛化。

Inverse Virtual Try-On: Generating Multi-Category Product-Style Images from Clothed Individuals

提出TEMU-VTOFF——面向虚拟脱衣(VTOFF)任务的Dual-DiT架构，通过特征提取器+服装生成器分工协作，结合多模态混合注意力(MHA)融合图像/文本/掩码信息消解视觉歧义，并设计DINOv2驱动的服装对齐器保留高频细节，在VITON-HD和Dress Code多品类场景均达到SOTA。

EasyTune: Efficient Step-Aware Fine-Tuning for Diffusion-Based Motion Generation

EasyTune 把扩散模型「跑完整条去噪轨迹再算一次奖励梯度」的微调方式，改成每一步去噪都独立优化一次，从而打断了梯度在去噪步之间的递归依赖，让显存从 \(O(T)\) 降到 \(O(1)\)、优化更密集；再配一个无需人工标注的自精炼偏好学习（SPL）把检索模型改造成动作奖励模型，最终在 HumanML3D 上比 DRaFT-50 的对齐指标（MM-Dist）好 7.7%，显存只占其额外开销的 31.16%，训练提速 7.3×。

Motion-R1: Enhancing Motion Generation with Decomposed Chain-of-Thought and RL Binding

Motion-R1 把"分解式思维链（Decomposed CoT）数据引擎"和"RL Binding"两件事拼在一起：前者用 LLM 把一句高层指令拆成有时序/因果关系的子动作链条，喂给 LLM 做冷启动 SFT；后者用 GRPO 把"动作相似度 + 语义相似度 + 格式"直接做成奖励，不再依赖昂贵的人工偏好标注，从而生成既符合语义又流畅真实的 3D 人体动作。

查看全部45篇「人体理解」论文 →

📹 视频理解 (48)

Cambrian-S: Towards Spatial Supersensing in Video

本文提出"空间超感知（spatial supersensing）"这一从被动任务驱动转向主动世界建模的范式：先用 VSI-SUPER 基准证明暴力扩长上下文（包括 Gemini-2.5 和自训的 Cambrian-S）在任意长视频上的空间回忆与计数任务上彻底失效，再用一个自监督的"潜帧预测"头把预测误差（"惊讶"）当作控制信号去驱动记忆管理与事件分割，从而在长视频空间任务上大幅超过强商业基线。

Video-STAR: Reinforcing Open-Vocabulary Action Recognition with Tools

Video-STAR 把开放词表动作识别（OVAR）重新表述成一个「先选工具、再分解子动作」的序贯决策过程：在推理时让多模态大模型按需调用姿态估计、人体检测、在线检索等领域工具补充视觉证据，并把整体动作拆成可区分的子动作原语逐一打分匹配；再配合一个同时奖励准确率、工具效率与子动作相关性的分层奖励，用 GRPO 把模型从「依赖文本先验」训练成「视觉落地推理」，在 HMDB-51、UCF-101、K-400/600、SSv2 五个基准上大幅刷新 SOTA。

FOCUS: Efficient Keyframe Selection for Long Video Understanding

FOCUS 把"在严格 token 预算下挑出与问题最相关的视频帧"重新表述为多臂老虎机里的组合纯探索（CPE）问题——把短时片段当成臂、用经验均值加 Bernstein 置信半径自适应分配打分预算，从而在只看不到 2% 帧的情况下显著提升长视频问答精度。

AVoCaDO: An Audiovisual Video Captioner Driven by Temporal Orchestration

AVoCaDO 基于 Qwen2.5-Omni，通过 107K 高质量时序对齐音视频字幕数据做 SFT，再用面向关键事件、对话和长度的 GRPO 奖励微调，让 7B 音视频字幕模型在多个 audiovisual captioning benchmark 上超过现有开源模型，部分指标还追上或超过 Gemini-2.5 系列。

PPLLaVA: Varied Video Sequence Understanding With Prompt Guidance

针对 Video LLM 因视觉 token 太多而低效的问题，PPLLaVA 用「CLIP 算出的提示-视频相关性图」作为动态 3D 卷积核去压缩 token，把视觉序列最多压到原来的 1/18，还能把和用户指令相关的关键画面保留下来，在 7 个视频理解 benchmark 上既提速又涨点。

CaReBench: A Fine-grained Benchmark for Video Captioning and Retrieval

CaReBench 用 1000 个人工标注、字幕长达 200+ 词且显式拆成空间/时间两份的视频，搭起一个能同时考视频细粒度字幕（captioning）和检索（retrieval）的 benchmark，配套两个新指标 ReBias 与 CapST 专门量化 VLM 的时空偏置，并顺手给出一个把字幕和检索统一进单个 MLLM 的两阶段 SFT 基线 CARE。

FlashVID: Efficient Video Large Language Models via Training-free Tree-Based Spatiotemporal Token Merging

提出 FlashVID，一个免训练的视频大语言模型推理加速框架，通过树状时空 token 合并（TSTM）联合建模空间和时间冗余，仅保留 10% 的视觉 token 就能保持 LLaVA-OneVision 99.1% 的性能，并能将 Qwen2.5-VL 的输入帧数提升 10 倍。

Language-guided Open-world Video Anomaly Detection under Weak Supervision

提出语言引导的开放世界视频异常检测范式LaGoVAD，通过将异常定义建模为随机变量并以自然语言形式输入，结合动态视频合成和对比学习正则化策略，在七个数据集上实现零样本SOTA性能。

VideoNSA: Native Sparse Attention Scales Video Understanding

本文提出 VideoNSA，将 Native Sparse Attention（NSA）引入视频语言模型，通过压缩、选择和滑动窗口三分支动态门控的混合稀疏注意力机制，在仅使用 3.6% 注意力预算的条件下实现 128K token 的视频理解，在长视频理解、时序推理和空间理解任务上全面超越 token 压缩和无训练稀疏注意力基线。

What Happens Next? Anticipating Future Motion by Generating Point Trajectories

本文把"从单张图像预测未来运动"这件天然有歧义的事，重铸成对一张稠密网格点轨迹的条件生成任务：用一个轨迹 VAE 把整张图的点轨迹压进潜空间，再用整流流匹配（rectified flow）在潜空间里采样多种可能未来，效果在多个仿真/真实场景上既比回归式轨迹预测器更准、又比"先生成 RGB 视频再追踪"的视频大模型更物理可信。

查看全部48篇「视频理解」论文 →

🚗 自动驾驶 (50)

VADv2: End-to-End Vectorized Autonomous Driving via Probabilistic Planning

VADv2 把端到端驾驶的规划从"回归一条轨迹"改写成"学动作空间上的概率分布"：先用最远轨迹采样把连续动作空间离散成一个 4096 词的规划词表，再用受 NeRF 启发的概率场 + 级联 Transformer 把每个候选动作打成概率，最后从分布里采样一条来控车——仅用相机就在 CARLA Town05 拿到 85.1 的 Driving Score，并在 Bench2Drive、NAVSIM、3DGS 等多个基准上领先。

EgoDex: Learning Dexterous Manipulation from Large-Scale Egocentric Video

Apple 使用 Vision Pro 采集了 829 小时的第一人称视频 + 3D 手部关节追踪数据（EgoDex），覆盖 194 种桌面操作任务，并在此数据集上系统评估了模仿学习策略（BC/DDPM/FM + Transformer），为灵巧操作的扩展训练提供了迄今最大规模的数据基础。

ReCogDrive: A Reinforced Cognitive Framework for End-to-End Autonomous Driving

ReCogDrive 用「认知 VLM + 扩散规划器」取代「把轨迹当文本生成」的范式：先用分层数据管线把人类驾驶认知灌进 VLM，再把 VLM 的隐状态作为条件喂给扩散规划器输出连续轨迹，最后用一个为扩散策略量身定制的 DiffGRPO 强化学习阶段在 NAVSIM 模拟器里优化安全与舒适，在 NAVSIM（PDMS 90.8）和 Bench2Drive 上双双刷到 SOTA，并比纯文本输出快 3.5×。

DriveVLA-W0: World Models Amplify Data Scaling Law in Autonomous Driving

DriveVLA-W0 给自动驾驶 VLA 加上"预测未来图像"的世界模型任务，用稠密的视觉自监督信号补上稀疏动作监督留下的"监督赤字"，从而在 70M 帧的海量数据上把数据规模律真正"放大"，让模型越喂越强而不是早早饱和。

RAP: 3D Rasterization Augmented End-to-End Planning

RAP 用轻量 3D rasterization 从真实驾驶日志生成可控的反事实视角和恢复场景，再通过特征空间的 Raster-to-Real 对齐把这些合成样本稳定迁移到真实图像规划器上，从而在 NAVSIM、WOD-E2E 和 Bench2Drive 等闭环/长尾基准上显著提升端到端自动驾驶规划鲁棒性。

Astra: General Interactive World Model with Autoregressive Denoising

提出 Astra，一个通用交互式世界模型，通过自回归去噪框架在预训练视频扩散模型上实现动作条件化的长程视频预测，引入 ACT-Adapter（动作注入）、噪声增强历史记忆（缓解视觉惯性）和 Mixture of Action Experts（统一多异构动作模态），在自动驾驶、机器人操控和场景探索等多场景上实现 SOTA 的保真度和动作跟随能力。

Plan-R1: Safe and Feasible Trajectory Planning as Language Modeling

把自动驾驶轨迹规划当成"语言建模"来做——先用专家数据自回归预训练一个运动 token 预测器学会"像人一样开"，再用规则化奖励 + 改进版 GRPO（VD-GRPO）做强化学习微调，显式对齐安全/舒适/合规等驾驶原则，在 nuPlan 上尤其在交互式 reactive 设定下取得 SOTA。

Discrete Diffusion for Reflective Vision-Language-Action Models in Autonomous Driving

ReflectDrive 把二维驾驶空间离散化成动作码本，用预训练扩散语言模型做 VLA 轨迹规划，再叠加一个无需梯度的"反思机制"——通过对不安全 token 做局部搜索得到安全锚点、再用扩散 inpainting 重生成周边轨迹，在 NAVSIM 闭环上把 PDMS 推到 91.1（接近人类 94.8）。

SMART-R1: Advancing Multi-agent Traffic Simulation via R1-Style Reinforcement Fine-Tuning

SMART-R1 首次将 R1 风格的强化微调（RFT）引入多智能体交通仿真，提出 Metric-oriented Policy Optimization (MPO) 算法和"SFT-RFT-SFT"迭代训练策略，在 WOSAC 2025 排行榜上以 0.7858 的 Realism Meta 分数取得第一名。

BridgeDrive: Diffusion Bridge Policy for Closed-Loop Trajectory Planning in Autonomous Driving

BridgeDrive 提出用扩散桥（diffusion bridge）替代截断扩散来实现锚点引导的自动驾驶轨迹规划，保证前向/反向过程的理论对称性，在 Bench2Drive 闭环评估中成功率达到 74.99%（PDM-Lite）和 89.25%（LEAD），分别超越前 SOTA 7.72% 和 2.45%。

查看全部50篇「自动驾驶」论文 →

🤖 机器人/具身智能 (162)

X-VLA: Soft-Prompted Transformer as Scalable Cross-Embodiment Vision-Language-Action Model

X-VLA 把每个机器人数据源的硬件与采集差异编码成一组可学习 soft prompt，并配合简洁的 Transformer + flow matching 动作生成框架，在大规模异构机器人数据预训练后实现强跨本体适配。

Cosmos Policy: Fine-Tuning Video Models for Visuomotor Control and Planning

本文把预训练视频生成大模型 Cosmos-Predict2-2B 当作底座，不改任何网络结构、只用一阶段微调，让它把机器人动作、未来状态、状态价值都"编码成隐空间视频帧"一起去噪生成，从而同时充当策略、世界模型和价值函数；在 LIBERO（98.5%）、RoboCasa（67.1%）和真实双臂 ALOHA 任务上都拿到 SOTA，并能用 best-of-N 规划再提升 12.5 分。

HybridVLA: Collaborative Diffusion and Autoregression in a Unified Vision-Language-Action Model

HybridVLA 让同一个 LLM backbone 在同一条 token 序列里同时承担扩散去噪和自回归动作预测两种范式，并用基于置信度的协同集成自适应融合两者，仿真和真机分别比 SOTA 提升 17% 和 19%。

MemoryVLA: Perceptual-Cognitive Memory in Vision-Language-Action Models for Robotic Manipulation

受认知科学双重记忆系统启发，提出MemoryVLA框架，在VLA模型中引入感知-认知记忆库（PCMB），通过记忆检索、门控融合和整合机制捕捉长时序依赖，在SimplerEnv/LIBERO/真实世界150+任务上全面超越CogACT和π₀。

SimpleVLA-RL: Scaling VLA Training via Reinforcement Learning

SimpleVLA-RL 把 LLM 领域的 outcome-driven online RL 改造成适合 Vision-Language-Action 模型的闭环机器人训练框架，用交互式轨迹采样、二值成功奖励和探索增强的 GRPO，在 LIBERO、RoboTwin 与真实机器人任务上显著提升数据效率、泛化和长程操作成功率。

Ctrl-World: A Controllable Generative World Model for Robot Manipulation

把预训练的被动视频扩散模型改造成一个可控、多视角、长时一致的机器人世界模型，让通用 VLA 策略能在"想象空间"里闭环 rollout，从而无需真机就能评估策略、并通过合成成功轨迹微调把策略成功率提升 44.7%。

Genie Envisioner: A Unified World Foundation Platform for Robotic Manipulation

GE 把"多视角视频世界模型 (GE-Base)"和"轻量并行动作解码器 (GE-Act)"统一进一个视频生成框架，让动作分支逐块对齐地直接读取视频 DiT 的多尺度全分辨率潜表征，再配合慢-快异步推理，做到在单张 RTX 4090 上 200ms 内生成 54 步动作轨迹，并能用 1 小时遥操作数据迁移到全新机器人本体。

OneTwoVLA: A Unified Vision-Language-Action Model with Adaptive Reasoning

OneTwoVLA 把机器人里的快动作执行和慢语言推理统一到同一个 VLA 中，让模型在关键时刻用 [BOR] 触发推理、平时用 [BOA] 直接输出动作，从而在长程操作、错误恢复、人机交互和开放视觉 grounding 上明显优于无推理 VLA 与双系统方案。

Spatial Forcing: Implicit Spatial Representation Alignment for Vision-language-action Model

Spatial Forcing 用预训练 3D 基础模型 VGGT 的几何 latent 来监督 VLA 的中间视觉 token，使机器人策略在推理时不额外输入深度图或点云，也能学到更强的空间理解，并在 LIBERO、RoboTwin 和真实机器人任务上提升成功率、收敛速度和数据效率。

JanusVLN: Decoupling Semantics and Spatiality with Dual Implicit Memory for Vision-Language Navigation

受人类左脑语义理解、右脑空间认知的启发，提出 JanusVLN——首个为 VLN 设计的双隐式神经记忆框架，将空间几何记忆和视觉语义记忆分别建模为固定大小的 KV Cache，仅凭 RGB 视频即可实现高效空间推理，在 VLN-CE 基准上取得 SOTA。

查看全部162篇「机器人/具身智能」论文 →

🎮 强化学习 (400)

ReTool: Reinforcement Learning for Strategic Tool Use in LLMs

ReTool 用一套"冷启动 SFT + 工具增强 RL"的训练框架，让 LLM 在长链推理中自主学会"何时、如何调用代码解释器"，仅用结果对错作奖励，把 32B 模型在 AIME2024 上做到 67.0%，大幅超过纯文本 RL 基线（40.0%）且训练步数只用了它的三分之一。

Rubrics as Rewards: Reinforcement Learning Beyond Verifiable Domains

本文提出 Rubrics as Rewards (RaR)，把"逐条打勾的评分细则（rubric）"当作 on-policy 强化学习的奖励函数，从而把只能用于数学/代码这类"答案可验证"任务的 RLVR 扩展到医学、科学这类没有唯一标准答案的真实推理领域；在 HealthBench 上相对流行的 LLM-as-judge Likert 基线最高提升 31%，在 GPQA-Diamond 上提升 7%。

Reinforcement Learning with Verifiable Rewards Implicitly Incentivizes Correct Reasoning in Base LLMs

针对"RLVR 到底是真提升了推理能力、还是只提高了采样效率"这场争论，本文提出新指标 CoT-Pass@K（要求答案对且推理过程也对），并用一个 GRPO 的理论框架证明：只要预训练模型具备"对的 CoT 更容易导出对答案"这一逻辑先验，仅靠答案正确性的奖励就会隐式地把生成正确推理的概率推上去，从而把基座模型的推理边界真正向外扩展。

R-Zero: Self-Evolving Reasoning LLM from Zero Data

R-Zero 从一个基座模型同时初始化「出题者 Challenger」和「解题者 Solver」两个角色，让前者被奖励去生成卡在 Solver 能力边缘（正确率约 50%）的难题、后者被奖励去攻克这些题，二者用 GRPO 交替训练、协同进化，全程不需要任何人工题目和标签，就把 Qwen3-4B-Base 的数学推理平均分提升 +6.49、通用推理 +7.54。

RL's Razor: Why Online Reinforcement Learning Forgets Less

本文发现新任务分布上的基模型与微调模型 KL 散度能预测灾难性遗忘，并解释了为什么 on-policy RL 相比 SFT 更倾向于找到离原策略更近的高奖励解，从而在学会新任务时忘得更少。

Goedel-Prover-V2: Scaling Formal Theorem Proving with Scaffolded Data Synthesis and Self-Correction

通过"脚手架式数据合成 + 编译器反馈驱动的自我纠错 + 模型平均"三件套，把开源 Lean 定理证明器做到新 SOTA：8B 模型超过 671B 的 DeepSeek-Prover-V2，32B 模型在 MiniF2F 上 pass@32 达 90.4%，参数量小 20 倍而算力预算大幅更低。

RM-R1: Reward Modeling as Reasoning

将奖励建模重新定义为推理任务，提出RM-R1系列推理奖励模型（ReasRM），通过推理蒸馏+RL训练以及Chain-of-Rubrics（CoR）机制，在三大奖励模型基准上平均超越70B和GPT-4o模型达4.9%。

On the Generalization of SFT: A Reinforcement Learning Perspective with Reward Rectification

从RL策略梯度视角数学证明SFT梯度隐式编码了逆概率加权(1/π_θ)的病态奖励结构→低概率token梯度过大导致泛化受限，提出DFT(Dynamic Fine-Tuning)仅需一行代码修改(CE loss乘token概率：\(-p\log p\))消除逆概率加权→在数学推理/代码生成/多模态任务上大幅超越SFT，离线RL设定下甚至超越GRPO/PPO。

Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty

这篇论文提出 RLCR（Reinforcement Learning with Calibration Rewards），在标准的"二元正确性奖励"上叠加一个 Brier 分数项，让推理模型在给出答案的同时输出一个校准过的置信度，在几乎不损失准确率的前提下把期望校准误差从 0.37 降到 0.03（HotpotQA），并在分布外任务上反转了普通 RL"越训越自信、越训越乱"的退化趋势。

Geometric-Mean Policy Optimization

把 GRPO 优化 token 级奖励"算术平均"换成"几何平均"，靠几何平均对离群值天然不敏感的特性压住极端重要性采样比，从而在不损失探索能力的前提下让策略更新更稳，数学推理上 Pass@1 比 GRPO 最高提升 4.1%。

查看全部400篇「强化学习」论文 →

🎁 推荐系统 (24)

Reinforced Latent Reasoning for LLM-based Recommendation

针对 LLM 推荐中显式思维链（CoT）既难拿到监督数据、推理又慢的痛点，本文提出 LatentR3：在 LLM 顶层加一个注意力层把推理压进连续潜在空间（只需 1 个潜在 token），再用一套改造过的 GRPO（PPL 连续奖励 + batch 级优势）在完全没有 CoT 监督的情况下端到端学会推理，套在 BIGRec / D3 上分别带来 17.0% / 8.4% 的相对提升。

Search Arena: Analyzing Search-Augmented LLMs

构建 Search Arena——首个大规模搜索增强 LLM 人类偏好数据集（24069 对话 + 12652 偏好投票，71 种语言），发现用户偏好受引用数量影响（即使引用不支持声明），社区驱动平台比 Wikipedia 更受偏好，搜索增强不降低通用聊天性能但通用 LLM 在搜索场景显著退化。

Massive Memorization with Hundreds of Trillions of Parameters for Sequential Transducer Generative Recommenders

VISTA 把候选物品对超长用户历史的 target attention 拆成「先把上百万长度的历史压成几百个摘要 token 并缓存」+「下游只对缓存 token 做轻量注意力」两阶段，让训练/推理成本固定，已在 Meta 服务数十亿用户的推荐平台上线。

Rank-GRPO: Training LLM-based Conversational Recommender Systems with Reinforcement Learning

本文提出 ConvRec-R1 两阶段框架训练 LLM 对话推荐系统：先用 Remap–Reflect–Adjust 蒸馏管线从黑盒教师造出「落在目标 catalog 内」的高质量演示做 SFT 预热，再用 Rank-GRPO（把推荐列表中的「每个 rank」当作动作单元的 GRPO 改造）做 RL 对齐，让 0.5B–3B 的小模型在 REDDIT-V2 上的 Recall/NDCG 收敛更快、并能追平甚至超过 GPT-4o。

ProPerSim: Developing Proactive and Personalized AI Assistants through User-Assistant Simulation

提出ProPerSim模拟框架，构建基于大五人格的32种用户persona在Smallville家庭环境中的日常行为模拟，AI助手通过每2.5分钟的主动推荐决策和DPO偏好学习，在14天模拟中将用户满意度从2.2/4提升至3.3/4，首次验证了主动性+个性化统一的可行性。

Continual Low-Rank Adapters for LLM-based Generative Recommender Systems

PESO 把基于 LLM 的生成式推荐的持续学习从"堆叠多个冻结适配器"改成"单个不断演化的 LoRA + 一个近端正则项"，让适配器每次更新都被轻轻锚向上一阶段的状态，从而在保留长期偏好与吸收新偏好之间自动找平衡，在三个真实数据集上稳定超过累积式 LoRA 和单纯演化的 LoRA。

Catalog-Native LLM: Speaking Item-ID dialect with Less Entanglement for Recommendation

针对"把 item-ID 塞进 LLM 会让协同信号和语言语义互相打架"这个问题，本文提出 IDIOMoE：把预训练 LLM 每个 block 的 FFN 拆成一个文本专家和一个item 专家，用静态的 token-type 门控按 token 类型分流（item-id token 走 item 专家，其余走文本专家），从而把"协同过滤"和"语义理解"解耦到不同子网络里，在公开和工业级数据集上都取得最强推荐效果，同时几乎不损伤原 LLM 的语言能力。

RPM: Reasoning-Level Personalization for Black-Box Large Language Models

RPM 把黑盒 LLM 的个性化从"对齐最终回答"升级为"对齐底层推理过程"：它从原始用户历史里自动抽取「特征→因子→统计量」的结构化用户模型，为每条历史构造个性化推理路径，再用基于特征的检索把这些推理示例喂给模型，让 LLM 沿着用户自己的逻辑来推理，在四类任务上一致超过现有的回答级个性化方法且更可解释。

Adaptive Regularization for Large-Scale Sparse Feature Embedding Models

本文用 Rademacher 复杂度从理论上解释了 CTR/CVR 模型「训练超过一个 epoch 就严重过拟合」的根因——embedding 层范数无约束增长撑大了泛化界，并据此提出按特征出现频率自适应分配范数预算的正则方法 AdamAR：高频特征轻正则、低频特征重正则，既消除多 epoch 过拟合又能提升单 epoch 性能，已在阿里搜索广告线上部署。

GoalRank: Group-Relative Optimization for a Large Ranking Model

理论证明任意 Multi-Generator-Evaluator 排序系统都存在一个更大的 generator-only 模型以更小的误差逼近最优策略且满足 scaling law，据此提出 GoalRank——用 reward model 构建 group-relative 参考策略来训练大型 generator-only 排序模型，在线 A/B 测试中显著优于 SOTA。

查看全部24篇「推荐系统」论文 →

🔄 自监督/表示学习 (81)

PonderLM: Pretraining Language Models to Ponder in Continuous Space

提出 PonderLM，在预训练阶段引入"沉思"机制——将预测概率分布加权求和为连续嵌入后反复前向传播，无需标注数据或强化学习，使 2.8B 模型在 9 个下游任务上超越 6.9B 模型。

HiMAE: Hierarchical Masked Autoencoders Discover Resolution-Specific Structure in Wearable Time Series

HiMAE 把掩码自编码塞进一个 U-Net 式层次化 1D CNN，让中间各层天然对应不同时间分辨率的嵌入，从而把"分辨率"从一个超参变成可探针的诊断工具，同时模型小到能在智能手表 CPU 上做亚毫秒推理。

InfoNCE Induces Gaussian Distribution

从理论上证明 InfoNCE 损失函数在两种互补机制下会诱导表征趋向高斯分布：经验理想化路线（对齐+球面均匀性→高斯）和正则化路线（消失正则项→各向同性高斯），并在合成数据和 CIFAR-10 上验证。

Fly-CL: A Fly-Inspired Framework for Enhancing Efficient Decorrelation and Reduced Training Time in Pre-trained Model-based Continual Representation Learning

受果蝇嗅觉回路启发，提出 Fly-CL 框架，通过稀疏随机投影+top-k操作+流式岭分类三阶段渐进去相关，在预训练模型持续学习中大幅降低训练时间的同时达到SOTA水平。

Self-Predictive Representations for Combinatorial Generalization in Behavioral Cloning

针对目标条件行为克隆（GCBC）无法"拼接"novel 状态-目标对的组合泛化缺陷，本文提出 BYOL-γ：一个用几何分布采样未来状态、从而逼近后继度量（successor measure）的自预测表示学习目标，作为 BC 的辅助损失既不需要 TD 学习也不需要负样本，在 OGBench 拼接任务上平均成功率超过所有对比方法。

CSRv2: Unlocking Ultra-Sparse Embeddings

CSRv2 用「渐进 k 退火 + 稀疏监督对比 + 全骨干微调」三招把对比稀疏表示（CSR）推进到 \(k\le 4\) 的超稀疏区间——死神经元从 80% 降到 20%，\(k=2\) 时精度涨 14%，让"只激活 2 个维度"的嵌入达到 CSR 在 \(k=8\)、MRL 在 32 维时的水平，相对稠密嵌入拿到最高 300× 的算力/内存效率。

Bidirectional Predictive Coding

本文提出双向预测编码（bPC），用一个能量函数同时容纳「自上而下生成」和「自下而上判别」两种推断，让同一套生物可实现的局部电路既能像 discPC 那样准确分类、又能像 genPC 那样生成与重建，并在跨模态联想、遮挡补全等类脑任务上超过现有的单向 / 混合 PC 模型。

NEO — No-Optimization Test-Time Adaptation through Latent Re-Centering

NEO 发现输入分布偏移会让倒数第二层 embedding 整体产生一个跨样本/跨类别共享的平移，于是只用一个全局质心向量把测试特征重新居中到原点，就能在零优化、零超参、几乎零额外开销下超过 7 个主流 TTA 方法。

Regularized Latent Dynamics Prediction is a Strong Baseline for Behavioral Foundation Models

提出 Regularized Latent Dynamics Prediction (RLDP)，通过在自监督的潜空间下一状态预测目标上添加简单的正交正则化来维持特征多样性，在零样本 RL 中匹配甚至超越复杂的 SOTA 表示学习方法，特别是在低覆盖率场景下优势显著。

SplitLoRA: Balancing Stability and Plasticity in Continual Learning Through Gradient Space Splitting

SplitLoRA 把"次梯度子空间该取多大"这个持续学习里的老大难问题，从拍脑袋的阈值变成一个可解的优化问题：它先理论推出"稳定性损失 + 可塑性损失"随子空间维度 \(k\) 变化的上界，再对每个 LoRA 模块单独求最优 \(k^*\)，最后把 LoRA 的降维矩阵 \(A\) 固定到这个次子空间里、只训练 \(B\)，在 ImageNet-R / CIFAR-100 / DomainNet 上比现有方法高 2%–5%。

查看全部81篇「自监督/表示学习」论文 →

📐 优化/理论 (220)

The Polar Express: Optimal Matrix Sign Methods and their Application to the Muon Algorithm

Polar Express 把 Muon 中的极分解近似从启发式 Newton-Schulz 系数搜索，改成每轮求解最坏误差最优的奇多项式组合，在保持纯矩阵乘法和 bfloat16 友好的前提下，让 GPT-2 训练中的 Muon 更新方向更快、更稳地逼近有效的极因子。

Fantastic Pretraining Optimizers and Where to Find Them

在统一公平的超参数调优和端到端评测协议下系统对比 11 个深度学习优化器，揭示新优化器宣称的 1.4–2× 加速大多源于"弱基线"，真实加速不超过 1.4× 且随模型规模增大衰减到 1.1×；同时确认矩阵类优化器（Muon/Soap/Kron）确实优于标量类。

It's All Connected: A Journey Through Test-Time Memorization, Attentional Bias, Retention, and Online Optimization

这篇论文提出 MIRAS，把 Transformer、linear RNN、TTT/Titans 等序列模块统一解释为“测试时在线优化的关联记忆”，并用 attentional bias 与 retention 两个设计轴扩展出 MONETA、YAAD、MEMORA 三个 attention-free 模型，在语言建模、常识推理和长上下文 needle recall 上超过多种现代 recurrent baseline。

Cautious Optimizers: Improving Training with One Line of Code

给任意动量优化器加一行代码：只在「更新方向」与「当前梯度」符号一致的坐标上更新，否则把这些坐标的更新清零并按比例放大补偿，由此得到 C-AdamW / C-Lion 等"谨慎版"，在不动原超参的前提下持续加速 LLM 预训练和图像分类。

CALM: Co-evolution of Algorithms and Language Model for Automatic Heuristic Design

CALM 让"生成启发式的提示词进化"和"底层 LLM 本身"同时进化——在 LLM 驱动的进化式启发式设计循环里，把每轮"提示-响应-性能"三元组当作强化学习数据，用 GRPO 在线微调一个本地 7B INT4 模型，使得单张 24GB 显卡跑出来的启发式在多个组合优化任务上超过依赖 GPT-4o-mini API 的 SOTA 方法。

Muon Outperforms Adam in Tail-End Associative Memory Learning

本文从"联想记忆"视角揭示 Muon 比 Adam 快的机制：Muon 的更新规则把梯度奇异值归一化，正好匹配联想记忆的外积叠加结构，因而能在重尾数据上对低频"尾部"知识做更均衡的学习。

MuonBP: Faster Muon via Block-Periodic Orthogonalization

MuonBP 在张量并行下让每张卡只对本地分片做正交化、每隔 P 步才做一次全局正交化，并用「块步」「全步」两个不同学习率，把 Muon 因正交化跨卡通信带来的吞吐损失抹平——8B 模型上比 Muon 提速约 8% 且效果不降反升。

Convergence of Muon with Newton-Schulz

首次为实际使用的 Muon 优化器（使用 Newton-Schulz 近似而非精确 SVD 极坐标分解）提供非凸收敛保证：证明收敛速率匹配 SVD 理想化版本（差一个常数因子），该因子随 Newton-Schulz 步数 \(q\) 双指数衰减，且 Muon 比向量对应物 SGD-M 少 \(\sqrt{r}\) 倍秩损失。

HeuriGym: An Agentic Benchmark for LLM-Crafted Heuristics in Combinatorial Optimization

HeuriGym 把 LLM 丢进一个"读题—写代码—执行反馈—迭代修正"的 agentic 闭环里，让它从零为 9 个真实组合优化问题（EDA、生物、物流等）手写完整启发式算法，并用新指标 QYI 衡量解的质量与可行率——结果连最强的 GPT-o4-mini-high 和 Gemini-2.5-Pro 也只有 0.6 分（专家为 1.0），暴露出 LLM 在工具使用、长程规划和自适应推理上的硬伤。

Completed Hyperparameter Transfer across Modules, Width, Depth, Batch and Duration

作者把 μP/CompleteP 这套"小模型调参、大模型直接迁移"的缩放规则补全到四条最关键的训练轴——宽度、深度、批量、训练时长——并进一步证明：在正确的参数化下，连"逐模块"（每种张量、每层各自一组学习率/权重衰减/Adam 参数）的细粒度超参也能从 5000 万参数的小模型直接迁移到 72 亿参数的大模型，带来约 1.3× 的训练加速。

查看全部220篇「优化/理论」论文 →

📐 学习理论 (294)

The Coverage Principle: How Pre-Training Enables Post-Training

这篇论文从理论上回答了"预训练到底给后训练（RL / 测试时扩展）留下了什么"——答案不是交叉熵，而是一个叫 coverage profile（覆盖度剖面） 的量；作者证明 next-token prediction 会隐式地优化覆盖度，而且覆盖度比交叉熵泛化得更快、不受序列长度拖累，从而解释了"为什么交叉熵更低的模型反而 Best-of-N 更差"这一反常现象。

Critical Attention Scaling in Long-Context Transformers

这篇论文用一个可解析的简化注意力模型证明：随着上下文长度 \(n\) 增大，注意力的行为会按缩放因子 \(\beta_n=\gamma\log n\) 发生相变，临界点恰好在 \(\beta_n\asymp\log n\)（即 \(\gamma_c=\tfrac{1}{1-\rho}\)），从而第一次为 YaRN、Qwen 等方法采用对数缩放给出了严格的理论依据。

Scaling Laws and Spectra of Shallow Neural Networks in the Feature Learning Regime

这篇论文把两层神经网络（对角网络、二次网络）在带权重衰减训练下的经验风险最小化问题，精确映射到 LASSO 和低秩矩阵压缩感知，从而首次在"真正发生特征学习"的设定下解析地刻画出超额风险的完整相图（8 个相、含良性/有害过拟合与插值峰），并进一步把每个标度律相位与训练后权重谱（bulk / spike / 重尾）一一对应，从第一性原理解释了"重尾权重谱 ↔ 更好泛化"这一经验观察。

Intrinsic Entropy of Context Length Scaling in LLMs

本文把语言建模的总损失拆成"随上下文变长而下降的贝叶斯风险"与"随上下文变长而上升的近似损失"两项，并引入 Intrinsic Entropy（内在熵） 把贝叶斯风险与上下文长度严格联系起来，从而解释了"更长上下文不一定更好"这一反直觉现象，并推导出存在一个由训练数据量决定的最优上下文长度。

Provable Separations between Memorization and Generalization in Diffusion Models

本文从「统计估计」和「网络逼近」两个互补视角证明：扩散模型里的记忆化（reproduce 训练样本而非泛化生成）根本上来源于真实分数函数与经验分数函数之间的两道可证明的「分离」——真实分数并不最小化去噪分数匹配损失，且经验分数需要随样本数增长的网络才能逼近——并据此给出一个面向 DiT 的剪枝缓解方法。

Two Failure Modes of Deep Transformers and How to Avoid Them: A Unified Theory of Signal Propagation at Initialisation

本文借助统计物理里的随机能量模型（REM），给出深层 Transformer 在初始化时信号传播的渐近精确理论，把"秩坍缩"与"熵坍缩"两种失效统一为由 query/key 初始化方差 \(\beta\) 控制的同一个相变，并据此导出一套算法来画"可训练性图"，直接告诉实践者残差强度和初始权重该怎么取才能让深层模型训得动。

Best-of-N through the Smoothing Lens: KL Divergence and Regret Analysis

本文把推理时对齐里最常用的 Best-of-N（BoN）放进"软化"框架 Soft Best-of-N（SBoN）来分析，给出 SBoN/BoN 相对参考策略的 KL 散度上界、相对最优策略的遗憾（regret）上下界，并证明：当代理奖励模型质量差、发生过优化时，存在一个有限的逆温度 \(\beta\) 使 SBoN 的遗憾界比 BoN 更紧，从而缓解 reward hacking。

The Serial Scaling Hypothesis

这是一篇立场+理论论文：作者用计算复杂度（TC 电路类）把机器学习问题切成"能高效并行的"与"本质串行的"两类，论证推理、决策、物理模拟等关键任务属于后者，并首次证明扩散模型即便采样上千步、其计算深度仍是常数，从而无法解决本质串行问题——因此只堆并行算力（更宽的网络、更多 GPU）注定到顶，进步必须靠扩展串行计算。

Unveiling the Basin-like Loss Landscape in Large Language Models

本文发现 LLM 的损失景观随模型规模增大而呈现出一片片"盆地（basin）"——盆地内任意扰动参数性能几乎不变、出了盆地能力骤崩；据此用随机平滑（randomized smoothing）证明任意微调/越狱造成的能力退化都被盆地半径所界定，并提出 GO 优化器主动把盆地撑大来缓解灾难性遗忘。

Complexity Analysis of Normalizing Constant Estimation: from Jarzynski Equality to Annealed Importance Sampling and Beyond

本文首次给出 Jarzynski 等式（JE）和退火重要性采样（AIS）估计归一化常数 \(Z\) 的非渐近 oracle 复杂度界，用「曲线的 action」替代等周不等式刻画难度，并指出几何插值在多峰分布上 action 指数大、进而提出基于反向扩散采样的新算法。

查看全部294篇「学习理论」论文 →

🔗 因果推理 (63)

NextQuill: Causal Preference Modeling for Enhancing LLM Personalization

NextQuill 把 LLM 个性化重新看作一个因果问题——模型预测和用户真实回复都是「用户历史/特征 × 上下文」共同作用的结果，用因果效应（do-calculus）把其中真正由偏好驱动的部分分离出来，并设计两个对齐损失只学这部分，从而做出比无差别对齐更深的个性化。

Foundation Models for Causal Inference via Prior-Data Fitted Networks

CausalFM 把"表格基础模型"PFN 搬到因果推断：用结构因果模型（SCM）造合成先验、在合成数据上预训练一个 Transformer，使其能在不重训的情况下，通过 in-context learning 对后门 / 前门 / 工具变量三类设定直接给出贝叶斯式的 CATE 估计。

Flattery, Fluff, and Fog: Diagnosing and Mitigating Idiosyncratic Biases in Preference Models

系统研究偏好模型对五种表面特征（冗长、结构化、术语、谄媚、模糊）的过度依赖——通过因果反事实对量化偏差来源于训练数据的分布不平衡，并提出基于反事实数据增强 (CDA) 的后训练方法，将模型与人类判断的平均失校准率从 39.4% 降至 32.5%。

Resisting Contextual Interference in RAG via Parametric-Knowledge Reinforcement

提出 Knowledgeable-R1，一个基于强化学习的框架，通过联合采样参数知识（PK）和上下文知识（CK）的轨迹，结合局部/全局优势计算和自适应不对称优势变换，使 LLM 在 RAG 场景中能够抵抗误导性检索上下文的干扰，同时保留对可靠上下文的利用能力。

Beyond DAGs: A Latent Partial Causal Model for Multimodal Learning

本文指出大规模多模态数据并不服从单一有向无环图（DAG）的生成假设，提出一个用"无向边连接两组潜在耦合变量"的潜在偏因果模型，并在球面和凸体两种潜在空间上证明：CLIP 这类多模态对比学习（MMCL）学到的表示与真实潜变量分别相差一个线性正交变换 / 置换变换，从而第一次给出 MMCL 的"逐分量解耦"理论保证，并把它落到 FastICA / PCA+FastICA 这种即插即用的解耦流程上，在少样本学习和域泛化上拿到提升。

IGC-Net for Conditional Average Potential Outcome Estimation Over Time

提出 IGC-Net：第一个用纯回归式迭代 G-computation 端到端估计时序条件平均潜在结果(CAPO)的神经网络，既正确校正时变混杂、又绕开逆倾向权重的除零不稳定和 G-Net 对全分布的高维估计。

On the Eligibility of LLMs for Counterfactual Reasoning: A Decompositional Study

提出基于结构因果模型（SCM）的分解式评估框架，将 LLM 的反事实推理拆分为四个阶段（因果变量识别→因果图构建→干预识别→结果推理），在 11 个多模态数据集上系统诊断 LLM 在各阶段的能力瓶颈，并提出工具增强和高级 elicitation 策略来改善性能。

Overlap-Weighted Orthogonal Meta-Learner for Treatment Effect Estimation over Time

本文提出 WO-learner（overlap-weighted orthogonal meta-learner），通过在训练样本上加一个"重叠权重"把估计聚焦到那些真正有可能接受目标干预序列的样本，并配套一个 Neyman 正交的加权总体风险函数，从而在时序处理效应估计中"重叠概率随预测步长指数衰减"的低重叠场景下保持稳定，在合成、半合成与真实数据上全面超越现有元学习器。

Efficient and Sharp Off-Policy Learning under Unobserved Confounding

本文为"存在未观测混淆"的个性化离线策略学习推导了价值函数锐界的闭式表达 + 半参数有效估计量，把原本不稳定的 minimax 优化化简为一次普通最小化，并证明最小化该估计量即可得到最优的混淆鲁棒策略。

Efficient Ensemble Conditional Independence Test Framework for Causal Discovery

提出 E-CIT（集成条件独立性检验）框架，通过将数据分割为子集后独立执行检验并基于稳定分布的 p 值聚合方法合并结果，将任意条件独立性检验的计算复杂度降至关于样本量线性，同时在重尾噪声和真实数据等复杂场景下保持甚至提升检验功效。

查看全部63篇「因果推理」论文 →

🔬 可解释性 (195)

GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning

提出 GEPA（Genetic-Pareto）提示优化器，通过自然语言反思从少量执行轨迹中诊断问题并迭代优化提示，在六个任务上平均超越 GRPO 6%（最高20%），同时仅使用 1/35 的采样量。

Sparse Autoencoders Trained on the Same Data Learn Different Features

这是一篇分析型论文：作者用匈牙利算法对齐「只有初始化随机种子不同、看到的数据完全相同」的多个稀疏自编码器（SAE），发现它们学到的特征只有一部分重叠（Llama 3 8B 上仅 30%），且越大的模型/SAE 重叠越低、TopK 比 ReLU 更不稳定，从而论证 SAE 找到的特征是「一种实用的激活空间分解」而非模型「真正使用的、唯一客观的特征清单」。

Persona Features Control Emergent Misalignment

作者用稀疏自编码器对微调前后的 GPT-4o 做「模型差分」，发现一组「失调 persona」特征（尤其是一个 #10「毒性人格」特征）才是「在窄域错误数据上微调 → 广域失调」这一涌现失调现象的内部主因，并据此实现失调的预测、引导抑制与少量良性数据「再对齐」。

Attention Sinks and Compression Valleys in LLMs are Two Sides of the Same Coin

本文证明 LLM 中两个看似独立的谜题——注意力沉降（attention sinks）与压缩谷（compression valleys）——其实是残差流里海量激活（massive activations）这同一机制的两个侧面，并据此提出 Mix-Compress-Refine 三阶段信息流理论，统一解释了为什么 embedding 任务在中层最强、生成任务却要走满全深度。

LatentQA: Teaching LLMs to Decode Activations Into Natural Language

本文把"读懂模型激活"重塑成一个开放式问答任务 LatentQA——给定激活和一个自然语言问题，让一个微调过的 decoder LLM 直接用自然语言作答；这既能"看懂"激活（监控），又能用自然语言描述的损失反传梯度来"改写"激活（引导）。

Seeing but Not Believing: Probing the Disconnect Between Visual Attention and Answer Correctness in VLMs

这篇论文系统分析 VLM 在 VQA 中“看见证据却答错”的现象，发现深层 attention 往往已经定位到正确视觉证据但生成阶段没有充分使用，并据此提出无需训练的 VEA 推理时视觉证据高亮方法，在 LLaVA、Qwen、Gemma、InternVL 等多类模型和多个证据型 VQA 任务上稳定提升准确率。

From Tokens to Thoughts: How LLMs and Humans Trade Compression for Meaning

用信息瓶颈/率失真框架把 40+ 个 LLM 的 embedding 和人类经典分类学认知数据放在同一把"压缩↔语义"的尺子下度量，发现 LLM 比人类更"信息论最优"地激进压缩，却以牺牲细粒度语义（典型性结构）为代价——人类那种看似"低效"的概念组织反而是适应性灵活性的来源。

Language Models are Injective and Hence Invertible

本文从数学上证明了 decoder-only Transformer 语言模型几乎必然是单射（不同提示词产生不同的末位 token 表征），并据此提出 SIPIT 算法，能在线性时间内从隐藏状态精确重建输入文本。

Language Models Use Lookbacks to Track Beliefs

本文用因果中介与因果抽象方法，逆向工程出大模型追踪角色信念（Theory of Mind）时所依赖的一套通用算法——"lookback 机制"：模型把同一份参考信息复制成"指针"与"地址"两份分置不同 token，靠 QK 注意力回看取出后面要用的"载荷"，由此实现角色—物体—状态的绑定、信念检索与可见性更新。

Automated Interpretability Metrics Do Not Distinguish Trained and Random Transformers

这篇论文给当下火热的稀疏自编码器（SAE）做了一次"理智检查"：把 SAE 同时套到训练好的 Transformer 和随机初始化的 Transformer 上，发现常用的自动可解释性分数（auto-interp AUROC）和重建指标在两者之间几乎区分不开，说明高可解释性分数本身不能证明 SAE 抓到了模型真正学到的计算特征。

查看全部195篇「可解释性」论文 →

📦 模型压缩 (239)

LightMem: Lightweight and Efficient Memory-Augmented Generation

提出 LightMem，一个受人类 Atkinson-Shiffrin 记忆模型启发的三阶段轻量记忆系统，通过认知感觉记忆预压缩、主题感知短期记忆整合、睡眠时离线更新三个模块，在 LongMemEval 上准确率提升最高7.7%，同时 token 消耗降低高达38倍。

TurboQuant: Online Vector Quantization with Near-Optimal Distortion Rate

TurboQuant 是一个 data-oblivious（无需数据校准、可在线即时使用）的向量量化算法：先随机旋转把任意输入向量的坐标"洗"成近独立的 Beta 分布，再对每个坐标套用预先解出的 Max-Lloyd 最优标量量化器，从而在所有码率/维度下都把 MSE 失真压到信息论下界的常数倍（≈2.7）以内；针对内积估计的偏差，再叠一层 1-bit QJL 处理残差得到无偏估计，在 KV cache 压缩与 ANN 检索上都超过现有 product quantization。

SLA: Beyond Sparsity in Diffusion Transformers via Fine-Tunable Sparse–Linear Attention

作者发现扩散 Transformer 的注意力权重可以拆成"少量高秩 + 大量极低秩"两部分，于是提出 SLA——对关键块用精确稀疏注意力、对边缘块用线性注意力、对可忽略块直接跳过，三者融进同一个 GPU kernel，只需几千步微调就把注意力计算量砍掉约 95%、端到端视频生成提速 2.2×，且画质几乎无损。

REAP the Experts: Why Pruning Prevails for One-Shot MoE Compression

本文从理论上证明「合并专家」会因丢失路由器对专家的独立、输入相关调制能力而引入不可消除的误差，进而提出 REAP——一种同时考虑路由器门控值和专家激活范数的一次性剪枝准则，在 20B 到 1T 的多种 SMoE 上、尤其在生成式任务和 50% 压缩率下显著优于合并与其他剪枝方法，对 Qwen3-Coder-480B、Kimi-K2 在代码生成上做到接近无损。

Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization

这篇论文第一次系统地拆穿了硬件原生 4-bit 浮点格式 MXFP4/NVFP4 "免费提速又保精度" 的承诺，从量化误差理论证明了为什么现有量化技巧在这两种格式上失灵，并提出针对 FP4 特性定制的 MR-GPTQ 算法 + QuTLASS GPU 内核，在 B200/RTX5090 上拿到 2.2x~4x 端到端加速的同时把 MXFP4 精度从掉 10% 拉回到接近 NVFP4 的水平。

DiCache: Let Diffusion Model Determine Its Own Cache

DiCache 提出一种训练无关的扩散模型自适应缓存策略，让 DiT 在推理时用浅层在线探针自己判断何时复用缓存、如何组合历史缓存，在 WAN 2.1、HunyuanVideo 和 Flux 上同时提升速度与生成结果相对原始模型的保真度。

Reassessing Layer Pruning in LLMs: New Insights and Methods

这篇论文花了数千 GPU 小时把 LLM 层剪枝的"层选择指标"和"剪枝后微调方法"系统地重新测了一遍，得出两个反直觉结论——最朴素的"逆序剪掉最后几层"胜过一众复杂指标、用"只微调 lm head + 最后三层"的部分层微调胜过被奉为标配的 LoRA，并用 Pre-LN 梯度流理论解释了为什么，最终在 Llama-3.1-8B/Llama-3-8B/Llama-3-70B 上超过现有 SOTA 剪枝方法 2.36%–19.45%。

Landscape of Thoughts: Visualizing the Reasoning Process of Large Language Models

提出 Landscape of Thoughts (LoT)，首个将LLM推理轨迹可视化为二维地形图的工具，通过困惑度特征和t-SNE投影揭示推理行为模式，并可适配为轻量验证器提升推理准确率和测试时扩展效果。

OBS-Diff: Accurate Pruning For Diffusion Models in One-Shot

OBS-Diff 把经典的 Optimal Brain Surgeon（OBS）剪枝复活并改造到大规模文生图扩散模型上，通过「时间步感知 Hessian」让剪枝准则对去噪早期步骤更敏感、用「模块包（Module Packages）」把昂贵的逐层标定摊薄，在完全免训练、免微调的前提下支持非结构化 / N:M 半结构化 / 结构化三种粒度，并在 50%–70% 这类高稀疏度下大幅领先 Wanda、DSnoT 等基线。

Steering MoE LLMs via Expert (De)Activation

提出 SteerMoE，通过对比配对输入检测行为关联专家，在推理时通过激活/去激活特定专家来引导 MoE LLM 的行为（安全性提升 +20%，忠实性提升 +27%），同时揭示 MoE 模型的安全对齐脆弱性（安全下降 -100%）。

查看全部239篇「模型压缩」论文 →

🕸️ 图学习 (118)

Relational Graph Transformer

提出 RelGT，首个专为关系型数据库设计的图 Transformer，通过多元素 Token 化（特征/类型/跳距/时间/局部结构 5 元组）和局部-全局混合注意力机制，在 RelBench 基准的 21 个任务上一致超越 GNN 基线，最高提升 18%。

RAS: Retrieval-And-Structuring for Knowledge-Intensive LLM Generation

提出 RAS 框架，在推理时为每个问题动态构建查询特定的知识图谱，通过迭代检索规划、文本到三元组转换和图增强回答三个阶段实现结构化推理，在 7 个知识密集型基准上对开源和闭源 LLM 分别取得最高 7.0% 和 8.7% 的提升。

Towards Quantifying Long-Range Interactions in Graph Machine Learning: A Large Graph Dataset and a Measurement

本文用四座真实城市的道路网络构建了一个百万级节点、直径上百的大图转导式数据集 City-Networks，并用「局部偏心率」标注出天然需要远距离信息的节点分类任务；在此基础上提出一个基于 Jacobian 的「逐跳影响力」度量，可以直接量化任意 GNN/GT 究竟用到了多远的邻居信息，从而把过去靠「全局注意力 vs 局部聚合」性能差来间接论证长程依赖的做法，换成可测、可比、有理论支撑的方案。

Controllable Logical Hypothesis Generation for Abductive Reasoning in Knowledge Graphs

本文提出 CtrlHGen，把知识图谱上的溯因推理（从观测实体反推合理逻辑假设）升级成"可控"任务——让用户能指定假设的语义方向和结构复杂度；通过子逻辑分解的数据增强缓解"长假设样本稀缺"、用 Dice/Overlap 平滑的语义奖励加上条件遵循奖励缓解"奖励过敏"，在三个 KG 数据集上既更服从控制信号、语义相似度也优于 baseline。

Cooperative Sheaf Neural Networks

提出在有向图上定义 cellular sheaf 的 in/out-degree Laplacian，构建 Cooperative Sheaf Neural Network (CSNN)，使节点能独立选择信息传播/接收策略，从而同时缓解过度挤压(oversquashing)和处理异配(heterophilic)任务。

Learning Posterior Predictive Distributions for Node Classification from Synthetic Graph Priors

把表格领域的 Prior-Fitted Network（PFN）范式搬到图上，只在数千张由可控先验生成的合成图上预训练一个模型 NodePFN，就能对任意真实图做免训练、单次前向的通用节点分类，在 23 个 benchmark 上拿到 71.27% 平均准确率。

DHG-Bench: A Comprehensive Benchmark for Deep Hypergraph Learning

DHG-Bench 是首个面向超图神经网络（HNN）的综合性基准，在统一实验协议下从有效性、效率、鲁棒性、公平性四个维度系统评测了 17 个 SOTA HNN 算法 × 22 个数据集（覆盖节点/超边/超图三种粒度任务），用大量对照实验揭示了现有 HNN「换数据换任务就崩」「大图跑不动」「特征/标签噪声扛不住」「比 MLP 更不公平」等系统性短板。

HYPER: A Foundation Model for Inductive Link Prediction with Knowledge Hypergraphs

HYPER 是首个面向知识超图的链接预测基础模型，通过把"关系之间的位置交互"编码成可迁移的基础关系，让模型零样本泛化到含全新实体、全新关系、且元数（arity）任意的超图。

Bures-Wasserstein Flow Matching for Graph Generation

针对现有图生成扩散/流模型「把节点和边拆开各自线性插值」导致概率路径不平滑、训练采样都难收敛的问题，本文用马尔可夫随机场（MRF）把图建模成一个相互耦合的彩色高斯系统，再用图分布之间的最优传输（Bures-Wasserstein）位移构造出一条平滑、闭式、仿真无关的概率路径，得到流匹配框架 BWFlow，在平面图与分子生成上取得更好性能、更快收敛和更高效采样。

DAMR: Efficient and Adaptive Context-Aware Knowledge Graph Question Answering with LLM-Guided MCTS

DAMR 把 KGQA 建成一棵由 LLM 规划器引导扩展的蒙特卡洛树搜索：LLM 只在扩展步选 top-k 相关关系把搜索空间剪小，路径打分交给一个轻量 Transformer 评分器（交叉注意力联合编码问题与关系序列），并用搜索过程中产生的伪路径在线微调这个评分器；最终在 WebQSP（Hits@1 94.0）和 CWQ（78.0）上超越所有 SOTA，同时把 LLM 调用次数和 token 消耗分别砍掉 50%+ 与 75%+。

查看全部118篇「图学习」论文 →

📈 时间序列 (121)

Language in the Flow of Time: Time-Series-Paired Texts Weaved into a Unified Temporal Narrative

发现时间序列配对文本具有与时间序列相似的周期性（Chronological Textual Resonance），提出 TaTS 框架将文本表征转化为辅助变量，以即插即用方式增强任意现有时间序列模型的预测和插补性能。

Relational Transformer: Toward Zero-Shot Foundation Models for Relational Data

提出 Relational Transformer (RT) 架构，通过 task table prompting、cell tokenization 和 Relational Attention 机制，在多个关系数据库上预训练后可零样本迁移到未见过的数据集和任务，22M 参数模型零样本 AUROC 达到全监督方法的 93%，远超 27B LLM 的 84%。

TimeOmni-1: Incentivizing Complex Reasoning with Time Series in Large Language Models

TimeOmni-1 提出了首个统一的时间序列推理模型，通过 TSR-Suite（首个推理导向的时序数据集套件）和两阶段训练（SFT注入时序先验 + RL精炼推理），在多项时间序列推理任务上显著超越 GPT-4.1。

Aurora: Towards Universal Generative Multimodal Time Series Forecasting

Aurora 是第一个多模态时间序列基础模型：在「时间序列 + 文本描述 + 内生图像」三模态的跨域语料上预训练，用模态引导注意力把文本/图像里的领域知识注入时序建模，再用「原型引导的流匹配」做生成式概率预测，从而在零样本/少样本的跨域场景下同时拿下确定性和概率性预测 SOTA。

DistDF: Time-series Forecasting Needs Joint-distribution Wasserstein Alignment

针对时序预测中 MSE 损失在标签序列存在自相关时会产生"自相关偏差"的根本问题，DistDF 不再去估计条件似然，而是把预测序列和标签序列的条件分布直接对齐——用可证明上界的"联合分布 Wasserstein 距离"作为代理目标，配合 Gaussian 假设下的 Bures–Wasserstein 闭式解，作为即插即用的正则项叠加在 MSE 上，在多个数据集和多个骨干模型上稳定刷出最优。

Bridging Past and Future: Distribution-Aware Alignment for Time Series Forecasting

针对时间序列预测里"用历史的统计规律去硬套未来分布"导致的分布失配，本文提出 TimeAlign——一个即插即用的双分支框架，用一个只在训练时存在的"重建未来"分支提供对齐的目标分布，再通过全局+局部对齐把预测分支的表示拉向未来真实分布，在 8 个基准上把 MSE/MAE 相对次优方法降低 3.27%/5.20%。

Uni-NTFM: A Unified Foundation Model for EEG Signal Representation Learning

Uni-NTFM 从神经科学第一性原理出发，设计异质特征投影（HFPM）解耦时频编码、分层拓扑嵌入（TE）统一异构电极配置、MoE Transformer 实现功能模块化与稀疏编码，在 28000 小时 EEG 数据上预训练 1.9B 参数模型，9 个下游任务上的线性探测和微调均达到 SOTA。

Context parroting: A simple but tough-to-beat baseline for foundation models in scientific machine learning

作者提出一个极简基线 "context parroting"（上下文复读）——直接在历史轨迹里找一段最相似的片段、把它后面的演化复制过来当预测——结果在低维混沌、湍流、耦合振子、心电图等一大批动力系统的零样本预测上，它的精度和长期吸引子重建都胜过 Chronos / TimesFM / Time-MoE / Moirai / DynaMix 等领先时序基础模型，且推理成本低六个数量级，从而暴露出当前基础模型并没有真正"学会物理"。

Quadratic Direct Forecast for Training Multi-Step Time-Series Forecast Models

针对多步时序预测里 MSE 把每个未来步当成独立、等权任务的缺陷，本文从最大似然推出一个由条件协方差逆矩阵加权的「二次型学习目标」，并用一套双层优化（QDF）把这个加权矩阵当作可学习参数、面向泛化在留出集上学出来，作为即插即用的损失替换 MSE，在 8 个数据集、多种预测模型上稳定刷到 SOTA。

MixLinear: Extreme Low Resource Multivariate Time Series Forecasting with 0.1K Parameters

MixLinear 用「时域分段提取局部趋势 + 频域自适应低秩滤波提取全局趋势」的双通道线性架构，把长期时序预测模型压到仅 0.1K（45–176）个参数，在 8 个基准上做到与主流轻量模型相当甚至更好的精度。

查看全部121篇「时间序列」论文 →

🏥 医学图像 (86)

CodeBrain: Bridging Decoupled Tokenizer and Multi-Scale Architecture for EEG Foundation Model

CodeBrain 用「时频双码本解耦 tokenizer + 全局结构卷积 SSM 与滑动窗注意力并行的多尺度架构」打造 EEG 基础模型，在最大公开 EEG 语料上预训练后，于 8 类任务 10 个数据集上稳定超越现有 EEG 基础模型，并提供码本级的可解释性。

ASMIL: Attention-Stabilized Multiple Instance Learning for Whole-Slide Imaging

本文首次识别出注意力 MIL 在全切片图像（WSI）训练中的"注意力动态不稳定"失败模式，提出 ASMIL：用 EMA 锚点模型蒸馏稳定注意力、用归一化 sigmoid 抑制注意力过度集中、用 token 随机丢弃缓解过拟合，三招合一在多个病理数据集上把 F1 提升最高 6.49%。

Learning Patient-Specific Disease Dynamics with Latent Flow Matching for Longitudinal Imaging Generation

提出 Δ-LFM 框架：用 ArcRank 损失在潜在空间构建患者特异性时间对齐轨迹（角度一致 + 幅度单调递增），将流匹配时间范围从 [0,1] 扩展到 [0,T] 实际时间间隔实现任意时间点预测，在三个阿尔茨海默纵向 MRI 基准上全面超越 8 种基线方法，并提出进展专用指标 Δ-RMAE。

LaVCa: LLM-assisted Visual Cortex Captioning

提出 LaVCa 方法，利用 LLM 为人类视觉皮层的每个体素生成自然语言描述（caption），通过"编码模型→最优图像选取→MLLM生成描述→LLM关键词提炼+句子组合"四步流程，比已有方法 BrainSCUBA 更准确、更多样地揭示了体素级视觉选择性。

OmniCT: Towards a Unified Slice-Volume LVLM for Comprehensive CT Analysis

OmniCT 用一套「切片组合 + 三轴位置编码 + MoE 混合投影」的空间一致性增强（SCE）把 2D 切片和 3D 体素统一进同一个 LVLM 的 token 空间，再用器官级语义增强（OSE）把解剖区域显式注入表征，配上 170 万样本的 MedEval-CT 数据集与混合基准，在切片驱动和体素驱动两类 CT 任务上都大幅超过现有医学/通用 LVLM（7B 切片平均 81.45，体素平均 66.15）。

U2-BENCH: Benchmarking Large Vision-Language Models on Ultrasound Understanding

U2-BENCH 是第一个系统评测大视觉语言模型（LVLM）超声理解能力的基准，它从 40 个授权数据集采样 7,241 个病例、覆盖 15 个解剖部位，定义了横跨分类/检测/回归/文本生成四大类的 8 个临床任务，对 20 个开源闭源模型评测后发现：模型在图像级分类上表现尚可，但在空间推理和临床语言生成上普遍崩盘。

Boosting Medical Visual Understanding From Multi-Granular Language Learning

提出 Multi-Granular Language Learning (MGLL)，一个即插即用的对比学习框架，通过 soft CLIP loss、point-wise loss 和 smooth KL 散度联合优化，实现医学图像与多标签多粒度文本描述的对齐，在眼底和 X 光数据集上全面超越 SOTA 方法，并可作为视觉编码器嵌入多模态大语言模型提升诊断准确率最高达 34.1%。

Contextual Similarity Distillation: Ensemble Uncertainties with a Single Model

用单个模型、单次前向就估计出"无穷大随机初始化集成"的预测方差——把集成方差重新表述成一个带核相似度标签的监督回归问题，从而无需真的训练集成、也无需求逆 Gram 矩阵，就能给出和深度集成相当甚至更好的不确定性，并在 OOD 检测和稀疏奖励 RL 探索上验证。

A Brain Graph Foundation Model: Pre-Training and Prompt-Tuning across Broad Atlases and Disorders

BrainGFM 把 fMRI 脑网络当成图来建模，用「图对比 + 图掩码自编码」在 27 个数据集、8 种脑图谱共 40 万张脑图上做大规模预训练，再用元学习优化的图提示做小样本适配、用 BioClinicalBERT 编码的语言提示做零样本迁移，使一个冻结的脑基础模型能跨越各种图谱、脑疾病和任务设置直接诊断。

Brain-IT: Image Reconstruction from fMRI via Brain-Interaction Transformer

提出 Brain-IT 框架，通过脑启发式的 Brain Interaction Transformer (BIT) 将功能相似的脑体素聚类为跨被试共享的 Brain Token，并从中预测局部化的语义和结构图像特征，实现从 fMRI 到图像的高保真重建，仅用 1 小时数据即达到先前方法 40 小时的性能。

查看全部86篇「医学图像」论文 →

🩺 医疗 LLM (20)

SimpleToM: Exposing the Gap between Explicit ToM Inference and Implicit ToM Application in LLMs

SimpleToM 揭示了 LLM 在 Theory of Mind 上的关键缺陷：前沿模型能准确推断他人心理状态（显式 ToM），但在将此知识应用于行为预测和行为判断时性能急剧下降（应用 ToM），暴露了"知道什么"与"如何使用所知"之间的重大鸿沟。

CounselBench: A Large-Scale Expert Evaluation and Adversarial Benchmarking of Large Language Models in Mental Health Question Answering

作者联合 100 位持证心理咨询专业人士，构建了一个面向开放式心理健康问答的双组件基准 CounselBench：一组是 2000 条专家逐维度打分 + 跨度标注的评估集（CounselBench-Eval），一组是 120 道临床医生手写、专门用来诱发特定失败模式的对抗题（CounselBench-Adv），系统揭示了 LLM 在心理咨询场景下"高分但仍有安全隐患"的现状，并实证了 LLM-as-Judge 在该高风险领域不可靠。

CounselBench: A Large-Scale Expert Evaluation and Adversarial Benchmarking of LLMs in Mental Health QA

联合100名持证心理健康专家构建CounselBench双组件基准——CounselBench-EVAL（2,000条六维度专家评估）和CounselBench-Adv（120个对抗性问题+1,080条响应标注），系统性揭示LLM在心理健康开放式问答中表面得分高但存在过度泛化、擅自医疗建议等安全隐患，同时证明LLM-as-Judge在安全关键领域严重不可靠。

Cancer-Myth: Evaluating Large Language Models on Patient Questions with False Presuppositions

本文构建了 Cancer-Myth——一个由肿瘤血液科医生核验、含 585 个"带错误前提"癌症患者问题的对抗数据集，发现包括 GPT-5、Gemini-2.5-Pro、Claude-4-Sonnet 在内的所有前沿 LLM 纠正错误前提的成功率都不超过 43%，且加防范性提示等缓解手段会在"无错误前提"问题上引发大量误纠正、并拖累其他医疗基准，揭示了医疗 LLM 在患者沟通安全上的关键缺口。

MedAgentGym: A Scalable Agentic Training Environment for Code-Centric Reasoning in Biomedical Data Science

构建了首个统一的生物医学数据科学 Agent 训练环境 MedAgentGym，包含 72,413 个任务实例（覆盖 12 个真实场景、129 个类别），配备可执行沙盒和可验证 ground truth，系统基准评估 29 个 LLM 揭示商业/开源差距，并通过高效多线程轨迹采样 + 离线/在线 RL 训练出 Med-Copilot，分别获得 +43.02%/+45.28% 提升，达到与 GPT-4o 竞争的性能。

Can Large Language Models Match the Conclusions of Systematic Reviews?

作者构建了 MedEvidence 基准——把 100 篇 Cochrane 系统综述（SR）的结论改写成 284 道封闭式问答，并配上综述所依据的原始研究，让 LLM 在"看到和专家相同材料"的受控条件下复现专家结论；评测 25 个 LLM 后发现：推理不一定更好、模型越大边际收益越小、医学微调反而掉点，模型普遍缺乏对低质量证据的"科学怀疑"，至少 37% 的题答不对专家结论。

Doctor-R1: Mastering Clinical Inquiry with Experiential Agentic Reinforcement Learning

Doctor-R1 把门诊问诊建模成部分可观测的多轮决策过程，用「多智能体交互环境 + 两级奖励架构 + 经验库」做经验式 agentic 强化学习，让一个 8B 的医生智能体既会战略性、有同理心地追问，又能做对诊断，在 HealthBench / MAQuE 上反超 32B 开源模型和 GPT-4.1 等闭源大模型。

ATPO: Adaptive Tree Policy Optimization for Multi-Turn Medical Dialogue

提出 ATPO（自适应树策略优化）算法，将多轮医疗对话建模为层级马尔可夫决策过程（H-MDP），通过不确定性感知的自适应树扩展机制动态分配rollout预算，结合Bellman误差和动作值方差的复合不确定性度量来引导探索，在三个医学对话基准上以Qwen3-8B超越GPT-4o。

KnowGuard: Knowledge-Driven Abstention for Multi-Round Clinical Reasoning

针对 LLM 在临床多轮问诊中"信息不全也敢下诊断"的过度自信问题，KnowGuard 提出"先调查再弃答"(investigate-before-abstain)范式：把弃答决策从依赖模型自评，改成在一张医学知识图谱上跨轮系统性地探索证据，用一个滚动更新的上下文证据池判断"还缺什么证据"，从而决定该继续追问还是给出诊断；在自建的开放式多轮基准上平均诊断准确率提升 3.93%、平均仅 5.74 轮即收敛。

mCLM: A Modular Chemical Language Model that Generates Functional and Makeable Molecules

提出 mCLM（模块化化学语言模型），通过将分子表示为可合成构建模块的序列，使 LLM 能生成同时满足药理功能和自动化合成可行性的分子，在 430 种 FDA 批准药物上显著改善了药代动力学和毒性性质。

查看全部20篇「医疗 LLM」论文 →

🧬 计算生物 (155)

La-Proteina: Atomistic Protein Generation via Partially Latent Flow Matching

La-Proteina 用「α-碳坐标显式建模 + 其余原子细节与序列压进每残基固定维隐变量」的部分隐变量表示，把全原子蛋白质的混合离散-连续、变维难题转成纯连续定维问题，再用流匹配联合生成序列与全原子结构，在全原子可共设计性、多样性、结构合理性上达到 SOTA，并能扩展到 800 残基的长蛋白。

SimpleFold: Folding Proteins is Simpler Than You Think

SimpleFold 把蛋白质折叠当成「氨基酸序列→全原子 3D 结构」的条件生成任务，仅用标准 Transformer 块 + flow-matching 目标训练，彻底丢掉 AlphaFold2 那套 MSA、配对表示、三角更新和等变模块，在 9M 蒸馏结构上把模型规模拉到 3B，在标准折叠基准上逼近 SOTA，并在构象集合生成上表现尤其突出。

TRIBE: Trimodal Brain Encoder for Whole-Brain fMRI Response Prediction

TRIBE 把文本、音频、视频三个预训练基础模型的中间层表征喂给一个时序 Transformer，端到端地预测被试看视频时全脑 1000 个 parcel 的 fMRI 响应，凭借「非线性 + 跨被试 + 多模态」三位一体的设计在 Algonauts 2025 脑编码竞赛中以明显优势从 267 支队伍中夺冠。

DriftLite: Lightweight Drift Control for Inference-Time Scaling of Diffusion Models

DriftLite 提出在 Fokker-Planck 方程中利用漂移-势函数的自由度，通过轻量级线性系统求解最优控制漂移来主动稳定粒子权重，以最小代价解决 Sequential Monte Carlo 中的权重退化问题，在高斯混合、分子系统和蛋白质-配体共折叠任务上大幅超越 Guidance-SMC 基线。

HEIST: A Graph Foundation Model for Spatial Transcriptomics and Proteomics Data

HEIST 把组织建模成「空间细胞图 + 每个细胞内部的基因共表达网络」双层层次图，通过跨层级有向注意力让基因表征受空间微环境调制、细胞表征受内部转录态影响，从而摆脱固定基因词表、零样本迁移到蛋白质组学，并在临床预测、细胞注释、基因填补等任务上刷新 SOTA。

Enhancing Diffusion-Based Sampling with Molecular Collective Variables

把分子动力学里的"well-tempered metadynamics"沿集体变量（CV）施加在线排斥偏置的思想，嫁接到 state-of-the-art 的扩散采样器 ASBS 上，得到 WT-ASBS：训练中沿低维 CV 持续累积偏置逼出稀有构象、推理时按偏置重加权恢复玻尔兹曼分布，首次用扩散采样器以远低于 metadynamics 的墙钟时间采样了带键断裂/形成的反应能面。

VCWorld: A Biological World Model for Virtual Cell Simulation

提出 VCWorld，一个细胞级白盒模拟器，整合结构化生物知识图谱与大语言模型的迭代推理能力，以数据高效的方式模拟药物扰动引发的信号级联，生成可解释的逐步预测和显式机制假说，在药物扰动基准上达到 SOTA。

Multifidelity Simulation-based Inference for Computationally Expensive Simulators

提出 MF-(TS)NPE：用便宜的低保真仿真预训练神经密度估计器，再用少量昂贵的高保真仿真微调，把基于仿真的贝叶斯推断所需的高保真仿真次数降低最多两个数量级。

CryoLVM: Self-supervised Learning from Cryo-EM Density Maps with Large Vision Models

CryoLVM 把联合嵌入预测架构（JEPA）+ SCUNet 主干引入 cryo-EM 三维密度图领域，用 EMDB 上 7,302 张真实实验密度图做表征空间的自监督预训练，再配一个新颖的直方图分布对齐损失做微调，在密度图锐化、超分辨、缺失楔补全三个下游任务上一致超越 DeepEMhancer、EMReady、EM-GAN、IsoNet 等专用方法。

scDFM: Distributional Flow Matching for Robust Single-Cell Perturbation Prediction

提出 scDFM，基于条件流匹配（CFM）的生成式框架，通过 MMD 正则化保证分布级保真度，并设计 PAD-Transformer 骨干处理噪声稀疏的单细胞数据，在组合扰动预测上比最强基线 CellFlow 的 MSE 降低 19.6%。

查看全部155篇「计算生物」论文 →

⚛️ 物理/科学计算 (69)

Physics vs Distributions: Pareto Optimal Flow Matching with Physics Constraints

PBFM 把 PDE 残差约束作为训练时的第二个目标，用无冲突梯度（ConFIG）取代手工 loss 加权、用 unrolling 重建干净样本来消除 Jensen 间隙，从而在不增加推理开销的前提下让流匹配同时逼近物理一致性和分布准确性，并在三个 PDE 基准上把整条「物理 vs 分布」帕累托前沿往前推。

Proximal Diffusion Neural Sampler

本文提出 PDNS（近端扩散神经采样器），把"从未归一化目标分布采样"建模成路径测度空间上的随机最优控制问题，再用近端点方法把一次性全局优化拆成一串带 KL 邻近约束的子问题，让采样器沿着 \(\pi\) 与参考分布的几何插值路径逐步逼近目标，从而在强多模态（分子动力学、Ising/Potts 等统计物理）任务上缓解模态崩溃，多个连续与离散基准上达到 SOTA。

ARROW: An Adaptive Rollout and Routing Method for Global Weather Forecasting

ARROW 把全球天气预报里的“下一步预测模型”和“长时 autoregressive rollout 策略”一起重新设计：用一个多间隔预测模型统一处理 6/12/24 小时尺度，再用 DQN 调度器根据当前天气状态自适应选择下一跳，从而在中长期预报中同时降低误差累积并保留细粒度大气变化。

Fast training of accurate physics-informed neural networks without gradient descent

本文提出 Frozen-PINN，把 PINN 的空间基函数随机采样后冻结，再用最小二乘和自适应 ODE solver 推进随时间变化的输出层系数，从根上绕开梯度下降训练，在多类时间依赖 PDE 上同时获得更快训练、更高精度和显式时间因果性。

Initialization Schemes for Kolmogorov-Arnold Networks: An Empirical Study

首次对样条KAN的初始化策略进行系统性研究，提出LeCun/Glorot启发的方差保持方案和可调幂律初始化族，在126K+模型实例的大规模实验中证明幂律初始化在函数拟合和PDE求解上全面超越基线，Glorot方案在大参数量模型上增益显著，NTK特征谱分析揭示了其背后的优化动力学机制。

LD-EnSF: Synergizing Latent Dynamics with Ensemble Score Filters for Fast Data Assimilation with Sparse Observations

LD-EnSF 用可学习的潜动力学网络（LDNet）替代昂贵的全空间数值前向模拟，把基于分数的集合滤波（EnSF）完全搬进一个极低维潜空间，并用历史感知的 LSTM 编码器对齐稀疏不规则观测，从而在保持高精度的同时把数据同化加速数个量级。

The False Promise of Zero-Shot Super-Resolution in Machine-Learned Operators

这篇论文系统证伪了 Fourier 神经算子（FNO）一类机器学习算子（MLO）"零样本超分辨"的承诺——把多分辨率推理拆成"分辨率插值"和"频率信息外推"两个子能力后，发现 FNO 两个都做不到、反而严重混叠，物理约束和带限学习也救不回来；最后提出一个朴素但有效的多分辨率训练协议，用极少的高分辨率数据就能换来稳健的跨分辨率泛化。

CFO: Learning Continuous-Time PDE Dynamics via Flow-Matched Neural Operators

CFO 把生成模型里的流匹配「借」过来学时变 PDE 的右端项动力学——给轨迹拟一条样条、用有限差分估计样条在节点处的时间导数当作速度场标签，训练一个神经算子去回归这个解析速度，从而既不用像神经 ODE 那样反传穿过 ODE 求解器，又能在不规则时间网格上训练、在任意时间分辨率上推理，仅用 25% 不规则采样数据就把全数据自回归基线的相对误差最多降了 87%。

Operator Learning with Domain Decomposition for Geometry Generalization in PDE Solving

本文把经典的区域分解方法（DDM）和神经算子结合，提出"局部到全局"框架：只在随机生成的基本形状（简单多边形）上训练一个局部神经算子，推理时把任意几何域切成小子域、逐域求解再用加性 Schwarz 迭代缝合（称为 Schwarz Neural Inference, SNI），从而在完全没见过的新几何上把相对误差从直接推理的 20%~167% 降到个位数。

RealPDEBench: A Benchmark for Complex Physical Systems with Real-World Data

RealPDEBench 是首个把真实实验测量数据与配对数值仿真数据一起打包的科学机器学习基准，覆盖 5 个复杂物理系统、3 类任务、9 个指标和 10 个 baseline，系统揭示了仿真数据与真实数据之间的巨大差距，并证明"先用仿真预训练、再用真实数据微调"能稳定提升精度与收敛速度。

查看全部69篇「物理/科学计算」论文 →

🌍 地球科学 (7)

The Seismic Wavefield Common Task Framework

这篇论文把 NLP/CV 里催生 ImageNet、AlphaZero 的"通用任务框架(Common Task Framework, CTF)"思路搬到地震学，提供三套多尺度地震波场数据集 + 一套 12 分制的隐藏测试集评测协议，并用它公平横评了 18 个主流科学机器学习模型——结果发现绝大多数复杂模型连"全预测 0"的朴素基线都打不过。

RainPro-8: An Efficient Deep Learning Model to Estimate Rainfall Probabilities Over 8 Hours

RainPro-8 用一个仅 36.7M 参数的 MaxViT-U-Net，把雷达、卫星、数值天气预报（NWP）多源数据融合起来，通过「有序一致损失 + 单次前向预测全时刻」一次性输出欧洲 8 小时、高分辨率的概率性降水预报，精度超过现有 NWP、外推法和深度学习临近预报，同时推理比 MetNet 类方法快 48 倍。

Task-Adaptive Parameter-Efficient Fine-Tuning for Weather Foundation Models

针对天气基础模型（WFM）微调，提出 WeatherPEFT：前向用 Task-Adaptive Dynamic Prompting（TADP）从编码器嵌入权重里抽出"变量×分辨率×时空"的任务特征生成软 prompt，反向用 Stochastic Fisher-Guided Adaptive Selection（SFAS）只更新 Fisher 信息最高的少量参数，在三个下游任务上用 ~0.3%–4% 的可训练参数追平甚至超过全量微调（Full-Tuning）。

OmniField: Conditioned Neural Fields for Robust Multimodal Spatiotemporal Learning

OmniField 把"科学观测数据"（气候、空气污染）建模成一个以可用模态为条件的连续神经场，用多模态串扰块（MCT）+ 迭代跨模态精修（ICMR）在解码前对齐异构信号，无需打网格或插值预处理就能统一做重建/插值/预测/跨模态预测，相对 8 个强基线平均降低 22.4% 误差，且在重度传感器噪声下几乎不掉点。

GeoFAR: Geography-Informed Frequency-Aware Super-Resolution for Climate Data

GeoFAR 将气候超分辨率中的低频偏置拆成“频率表达不足”和“地理条件缺失”两个问题，用 DCT 频率卷积核提取细粒度频带表示，再用经纬度与高程构成的地理隐式表示逐像素调制这些表示，从而在 ERA5、PRISM、CERRA 等多尺度气候降尺度任务上显著降低高频误差和复杂地形区域的预测偏差。

TianQuan-S2S：通过引入气候态构建次季节-季节全球天气预报模型

TianQuan-S2S 把"长期气候平均态"通过注意力融合塞进 patch embedding、并在 ViT 每一层注入可学习的高斯噪声，专治数据驱动模型在 15–45 天次季节预报上"越预测越糊"的模型坍缩问题，在 ERA5 上同时超过数值模式 ECMWF-S2S 和数据驱动的 FuXi-S2S。

揭示连续表示全波形反演的机制：一个基于波的神经正切核框架

本文把神经正切核（NTK）理论扩展到全波形反演（FWI），提出"基于波的 NTK"统一刻画传统 FWI 与连续表示 FWI（CR-FWI），用其特征值衰减速率解释了"为什么 INR 表示更鲁棒却高频收敛慢"，并据此设计出 INR 与多分辨率网格混合的 IG-FWI，在鲁棒性与收敛速度之间取得更优权衡。

📡 信号/通信 (7)

Mamba-3: Improved Sequence Modeling using State Space Principles

从SSM视角提出三项核心改进：指数-梯形离散化、复值状态空间、多输入多输出(MIMO)公式化，在不增加解码延迟的前提下显著提升模型质量和状态追踪能力，推进性能-效率Pareto前沿。

Enhancing Instruction Following of LLMs via Activation Steering with Dynamic Rejection

提出 Directer（Dynamic Rejection Steering），通过在每个解码步动态调节 KV 缓存引导强度并引入合理性约束，显著提升 LLM 指令遵循能力，同时避免过度引导导致的文本质量下降。

Synchronizing Probabilities in Model-Driven Lossless Compression

针对 LLM 驱动的无损压缩中"编解码两端预测概率必须逐位完全一致、否则级联解码崩溃"的致命问题，本文提出 PMATIC——一种把比特概率量化到分箱、再用低熵 helper 比特让两端锁定同一量化概率的算术编码替代方案，能容忍有界的预测失配，理论上保证正确解码，实测在真实跨机非确定性下全部文件正确还原，同时压缩率仍大幅领先 gzip/cmix 等传统工具。

Lossy Common Information in a Learnable Gray-Wyner Network

把信息论里的经典 Gray-Wyner 网络做成可学习的三通道编解码器，用一个带 β 超参的目标函数把两个视觉任务之间的"公共信息"和"私有信息"分离开，并在"发送速率"与"接收速率"之间做可调权衡。

Advancing Spatiotemporal Representations in Spiking Neural Networks via Parametric Invertible Transformation

针对脉冲神经网络（SNN）二值脉冲表示能力受限、替代梯度失配两大顽疾，本文提出参数化可逆变换 PIT——在神经元发放（firing）前后以共轭方式各做一次可逆线性变换，发放前把膜电位分布"重排"成易量化的形态、发放后把整数脉冲"增广"成跨时空的实值输出，同时配一个把输入推离量化决策边界的修正替代梯度，并用线性代数刻画了 SNN 时空表示容量；在 CIFAR、ImageNet、DVS 等数据集上多种架构均刷新 SOTA（如 SEW ResNet34 涨 5.62%）。

Efficient Message-Passing Transformer for Error Correcting Codes

EfficientMPT 把 Transformer 纠错码解码器里 \(O(n^2)\) 的标准注意力换成一套只靠"全局 query 向量 + 逐元素乘"的线性复杂度 EEC 注意力，在保持与 SOTA（CrossMPT）相当的纠错性能的同时，对长 LDPC 码把显存和 FLOPs 砍掉数十倍，并且参数量与码长无关、能当一个可微调的纠错"基础模型"。

TS-DDAE: A Novel Temporal-Spectral Denoising Diffusion AutoEncoder for Wireless Signal Recognition Model Pre-training

针对无线信号识别（WSR）预训练，本文把扩散模型的"加噪-去噪"范式引入信号自监督，提出 TS-DDAE：在时域和频域同时给 IQ 信号注入高斯噪声，再用专门设计的双编码器 TS-Net（时域自注意力 + 频域通道注意力）联合还原，学到的表征在 4 个数据集、AMC/WTC 等多任务上平均超过最优基线 1.32%、超过 AMC SOTA 模型 IQFormer 约 8.75%。

👥 社会计算 (17)

INTIMA: A Benchmark for Human-AI Companionship Behavior

INTIMA 把心理学的拟社会互动、依恋、拟人化三套理论，加上对真实 Reddit 用户帖子的质性编码，蒸馏成一个含 31 种行为、368 条情感化 prompt 的基准，再用 LLM 自动给模型回复打上「强化陪伴 / 维持边界 / 中性」三类标签，结果发现 Gemma-3、Phi-4、o4-mini、GPT5-mini、Claude-4 全都明显偏向强化陪伴，而且越是用户脆弱的场景、模型反而越少设边界。

Tracing and Reversing Edits in LLMs

针对知识编辑（Knowledge Editing）的双重使用风险，提出 EditScope 方法从编辑后的权重中推断被编辑的目标实体（准确率高达 99%），以及基于 SVD bottom-rank 近似的无训练编辑逆转方法（逆转率高达 94%），仅依赖编辑后的权重、不需要编辑 prompt 或原始权重信息。

From Five Dimensions to Many: Large Language Models as Precise and Interpretable Psychological Profilers

只给 LLM 一个人的 20 道大五人格题答案，让它角色扮演去预测这个人在另外 9 个心理量表上的作答，结果 LLM 重建出的"量表间相关结构"与真实人类数据高度对齐（\(R^2>0.88\)），并且通过分析推理链发现 LLM 走的是"先把原始分压缩成自然语言人格摘要、再据此推理"的两阶段抽象过程——它不是语义模式匹配，而是在做真正的心理推理。

SocialHarmBench: Revealing LLM Vulnerabilities to Socially Harmful Requests

提出首个专门针对社会政治危害的LLM安全评估基准 SocialHarmBench，包含585条覆盖7个领域、34个国家的提示，揭示了当前LLM在历史修正主义、宣传操纵等政治敏感场景中的系统性安全漏洞。

SAGE: Spatial-visual Adaptive Graph Exploration for Efficient Visual Place Recognition

提出 SAGE，一个统一的 VPR 训练框架：引入轻量 Soft Probing 模块增强局部特征判别力，每个 epoch 在线重建融合地理距离与视觉相似度的亲和图，再通过贪心加权团扩展聚焦最难样本，冻结 DINOv2 骨干仅训练 1.96M 参数即在 8 个基准上全面 SOTA。

BiasFreeBench: a Benchmark for Mitigating Bias in Large Language Model Responses

本文构建了 BiasFreeBench 基准，首次在统一框架下系统比较 8 种主流去偏方法（4 种 prompting + 4 种 training），聚焦于 LLM 响应层面的偏差评估，并提出了 Bias-Free Score 指标，发现 prompting 方法（尤其是 CoT）整体优于 training 方法，而 DPO 在跨偏差类型泛化上表现突出。

Mitigating Mismatch within Reference-based Preference Optimization

揭示 DPO 的"过早满足"问题——当 reference 策略对 chosen 的概率低于 rejected 时（~45% pairs），DPO 的梯度被 reference 的悲观信号不必要地衰减（即使策略仍然错误即 \(\Delta_\theta < 0\)）；提出 HyPO（一行代码修改：\(\max(0, \Delta_{ref})\) 裁剪 reference margin），在 AlpacaEval 2.0 上相对 DPO 提升 41.2%。

Propaganda AI: An Analysis of Semantic Divergence in Large Language Models

提出 RAVEN 审计框架，通过结合模型内语义熵和跨模型分歧来检测 LLM 中的概念条件语义分歧——一种类似宣传的行为模式，即高层概念线索（意识形态、公众人物）触发异常一致的立场响应。

Adaptive Debiasing Tsallis Entropy for Test-Time Adaptation

提出将 Tsallis 熵（SE 的广义形式）引入 VLM 的 Test-Time Adaptation，并进一步发展为自适应去偏 Tsallis 熵（ADTE），为每个类别定制去偏参数 \(q^l\)，在不引入分布特定超参数的情况下比 Shannon 熵选择更可靠的高置信视图，在 ImageNet 及其 5 个变体和 10 个跨域 benchmark 上均超越 SOTA。

GRADIEND: Feature Learning within Neural Networks Exemplified through Biases

提出GRADIEND——一个基于梯度的编码器-解码器架构，通过单个瓶颈神经元从模型梯度中学习可解释的单语义特征（以性别为例），不仅可以识别哪些权重编码了特定特征，还能通过解码器直接修改模型权重来消除偏见，与INLP结合在所有基线模型上达到SOTA去偏效果。

查看全部17篇「社会计算」论文 →

🛡️ AI 安全 (139)

VPI-Bench: Visual Prompt Injection Attacks for Computer-Use Agents

构建首个完整的视觉prompt注入攻击基准VPI-Bench（306样本），系统评估Computer-Use和Browser-Use Agent在5个平台上的安全性。发现Browser-Use Agent极度脆弱（Amazon/Booking上100% AR），即使Anthropic的CUA也存在严重漏洞（最高59% AR），系统prompt防御无效。

MoReBench: Evaluating Procedural and Pluralistic Moral Reasoning in Language Models, More than Outcomes

MoReBench 提出用专家手写的 23,018 条 rubric 准则去评测推理模型在 1,000 个道德困境上思考过程的结构质量（而非最终结论对错），并发现 scaling laws 与数学/代码基准都无法预测模型的道德推理能力。

Comparing AI Agents to Cybersecurity Professionals in Real-World Penetration Testing

这是第一项把 AI 智能体和真人网络安全专家放进同一个真实生产网络（某大学约 8000 台主机）做渗透测试的对照评测：作者同时跑 10 位专业渗透测试员、6 个现有智能体脚手架和自研的多智能体框架 ARTEMIS，结果 ARTEMIS 以 9 个有效漏洞、82% 有效提交率拿下总榜第二、压过 10 人中的 9 人，而 Codex、CyAgent 等现成脚手架几乎垫底——同时暴露出 AI 在系统化枚举/并行利用/成本上的优势与高假阳率、不会操作 GUI 的短板。

Decoupling the Class Label and the Target Concept in Machine Unlearning

本文指出传统类别遗忘默认"类别标签 = 想抹掉的目标概念"，而真实的删除请求往往二者错配；为此作者把遗忘数据、模型输出、目标概念拆成三个标签域，定义出 target/model/data 三类错配任务，并提出 TARF 框架——用"表示引力"识别藏在剩余集里的同概念数据，再用退火梯度上升 + 目标感知梯度下降的三阶段动态目标，把目标概念精确剥离、逼近重训模型。

Remaining-data-free Machine Unlearning by Suppressing Sample Contribution

本文把"样本对训练的贡献"刻画为预训练模型对该样本的输入敏感度，并提出 MU-Mis：只用预训练模型和遗忘数据、不碰任何剩余数据，通过最小化"目标类与无关类的敏感度差"直接抹掉遗忘样本的贡献，首次让一个 remaining-data-free 方法在效用上追平依赖剩余数据的 SOTA。

Watermark-based Detection and Attribution of AI-Generated Content

首次系统性研究基于水印的AI生成内容用户级检测与溯源，提供了理论分析（TDR/FDR/TAR界）、高效水印选择算法（A-BSTA）和跨模态（图像+文本）实验验证，证明检测和溯源继承了水印方法本身的准确性与（非）鲁棒性。

LAMDA: A Longitudinal Android Malware Benchmark for Concept Drift Analysis

LAMDA 构建了一个覆盖 2013-2025 年、超过 100 万个 Android APK 的长期恶意软件基准，用 Drebin 静态特征、家族标签和多种时间切分系统揭示现有恶意软件检测器在真实概念漂移下会快速退化。

LingoLoop Attack: Trapping MLLMs via Linguistic Context and State Entrapment into Endless Loops

LingoLoop 通过给输入图像加微小对抗扰动，利用「词性先验压制 EOS」和「收缩隐藏状态诱导循环」两步，把多模态大模型逼进无穷重复输出，在放开生成上限时可产生比正常多 367× 的 token，造成算力/能耗耗尽式的拒绝服务。

Back to Square Roots: An Optimal Bound on the Matrix Factorization Error for Multi-Epoch Differentially Private SGD

提出 Banded Inverse Square Root (BISR) 矩阵分解方法，通过对逆相关矩阵（而非相关矩阵本身）施加带状结构，首次在多轮参与差分隐私 SGD 中实现渐近最优的分解误差界，并配套低存储优化变体 BandInvMF。

Formalising Human-in-the-Loop: Computational Reductions, Failure Modes, and Legal–Moral Responsibility

本文用可计算性理论中的 oracle 机器与「归约」概念，把五花八门的 Human-in-the-Loop（HITL）人类监督方案严格形式化为三类——平凡监控、端点干预、深度交互，再据此建立失效模式分类法并剖析 UK/EU 法律的盲点，最终揭示出一个无法回避的「责任归属 ↔ 技术可解释性」权衡。

查看全部139篇「AI 安全」论文 →

📂 其他 (115)

Scaling Atomistic Protein Binder Design with Generative Pretraining and Test-Time Compute

本文提出 Proteína-Complexa（Complexa），把蛋白质 binder（结合蛋白）设计中长期割裂的"生成式建模"和"hallucination 序列优化"两条路线统一进同一框架：先用一个从 AFDB 结构域互作里造出来的大规模合成数据集 Teddymer 预训练一个全原子流匹配生成基座，再在推理时把扩散/流模型里的 test-time scaling 算法（Best-of-N、beam search、FKS、MCTS）搬过来，用结构预测器的界面置信度当奖励去"搜"出强 binder，在归一化算力预算下大幅超过 BindCraft 等 hallucination 方法。

AnyUp: Universal Feature Upsampling

AnyUp 提出首个编码器无关的可学习特征上采样方法，通过 feature-agnostic 卷积层和窗口注意力机制，仅训练一次即可对任意视觉特征在任意分辨率间进行高质量上采样，在语义分割、深度估计等任务上达到 SOTA。

Oversmoothing, Oversquashing, Heterophily, Long-Range, and More: Demystifying Common Beliefs in Graph Machine Learning

本文系统梳理了图机器学习领域围绕 oversmoothing、oversquashing、同质/异质性和长程依赖的九个常见误区，通过简洁反例逐一反驳，将"oversquashing"拆分为计算瓶颈和拓扑瓶颈两个独立概念，厘清了领域中广泛存在的概念混淆。

SmellNet: A Large-scale Dataset for Real-world Smell Recognition

SmellNet 用低成本便携式气体传感器采集 50 种自然食材和 43 类混合气味的真实时序信号，并用结合时间差分、滑动窗口和 GC-MS 化学先验的 SCENTFORMER 建立机器嗅觉基准。

Accelerated Parallel Tempering via Neural Transports

把并行回火（Parallel Tempering, PT）里那个"直接对换两条链当前状态"的死板交换动作，换成"先用神经传输（归一化流 / 受控扩散 / 扩散模型）把两个状态各自往中间推几步、再做 Metropolis 接受判定"，从而在相邻退火分布几乎不重叠时也能高概率交换，在保持 MCMC 渐近无偏的前提下大幅提升参考分布到目标分布的往返次数（round trip），并顺带得到低方差的自由能估计。

Bayesian Influence Functions for Hessian-Free Data Attribution

提出 Local Bayesian Influence Function (BIF)，用 SGLD 采样估计的协方差替代经典影响函数中不可行的 Hessian 逆运算，实现了对数十亿参数模型的无架构限制数据归因，在重训练实验中达到 SOTA。

PlanetAlign: A Comprehensive Python Library for Benchmarking Network Alignment

提出 PlanetAlign，一个集成 18 个跨 6 个领域的数据集、14 种覆盖三大类别（一致性、嵌入、最优传输）方法和标准化评估流程的 PyTorch 网络对齐基准库，通过大规模系统实验揭示了 OT 类方法（PARROT/JOENA）在有效性上的全面领先以及各类方法在可扩展性和鲁棒性上的差异化表现。

Learning on a Razor's Edge: Identifiability and Singularity of Polynomial Neural Networks

本文利用代数几何工具，对多项式激活的 MLP 和 CNN 进行了系统性分析：证明了 MLP 的有限可辨识性和 CNN 的唯一可辨识性，揭示了稀疏子网络对应神经流形的奇异点，并从"临界暴露性"角度给出了 MLP 稀疏偏差的几何解释——而 CNN 不具备这种偏差。

LPWM: Latent Particle World Models for Object-Centric Stochastic Dynamics

LPWM 是首个能扩展到真实世界多物体数据集的自监督物体中心世界模型，核心创新是为每个粒子学习独立的潜在动作分布（per-particle latent actions），通过因果时空 Transformer 并行编码所有帧，支持动作/语言/图像目标/多视角等多种条件生成，在视频预测上达到 SOTA 并展示了模仿学习能力（OGBench task3 成功率 89%）。

TabStruct: Measuring Structural Fidelity of Tabular Data

提出 TabStruct 评估框架和 global utility 指标，在不需要真实因果图的情况下衡量表格数据生成器对因果结构的保真度，在 29 个数据集上系统比较 13 种生成器，发现扩散模型在全局结构保持上显著优于其他方法。

查看全部115篇「其他」论文 →