跳转至

💬 EMNLP2026 论文汇总

1030篇EMNLP2026论文解读,涵盖 LLM Agent(142篇)、LLM Reasoning(110篇)、安全(106篇)、多模态 VLM(80篇)、模型压缩(72篇)、信息检索/RAG(71篇)、NLP 理解(49篇)、医疗 LLM(46篇)等 42个方向。每篇含一句话总结、核心思想、方法详解、实验结果与局限性分析,5分钟读懂一篇论文核心思想。


💡 LLM Reasoning (110)

A retrieval conditioned rebinding circuit for dynamic entity tracking in large language models

本文通过因果中介分析与注意力路径打补丁,揭示了大语言模型在动态实体追踪中并不在状态变化时重建全局情境模型,而是依赖仅占 3.9%–10.8% 头的「检索条件重绑定回路」,在最终提问时通过解引用头与指针机制将实体绑定标识符重定向至原始上下文,且在 Gemma(Q/K 几何对称匹配)与 Llama(键向量主导)间呈现显著的家族表征分异。

CoreMem: Riemannian Retrieval and Fisher-Guided Distillation for Long-Term Memory in Dialogue Agents

针对端侧设备有限显存算力与云端 API 线性成本的双重瓶颈,CoreMem 基于统一的信息几何理论,提出带 Woodbury 加速的 Fisher-Rao 黎曼度量检索与带语法保护的 Fisher 引导离散 Token 蒸馏,在严格 8 GB VRAM 预算下大幅提升开放域与时序推理准确率。

ShapleyLaw: A Game-Theoretic Approach to Multilingual Scaling Laws

本文提出首个基于合作博弈论的多语言缩放法则 ShapleyLaw,通过将每种语言建模为博弈参与者并利用 In-Run Data Shapley 高效量化跨语种知识迁移,构建细粒度聚合迁移变量,实现了任意语种级预训练数据配比与模型损失的精准预测和最优混合比求解。

Beyond Text Following: Repairable Arbitration Reversals in Audio-Language Models

本文揭示音频语言模型在音文冲突下的失误并非感知盲区而是决策仲裁逆转,通过将答案位置残差流修复方向映射到输出候选打分差,提出免训练门控反事实校准策略GACL,在严格忠实度预算下大幅恢复音频正确答案。

LEXPATH: A Domain-Oriented Multi-Path Framework for Legal Article Retrieval

针对通用检索在法律法条检索中难以区分字面相似与法律效力适用差异的问题,提出领域导向的多路框架 LEXPATH,通过 IRAC 法律推理扩展稀疏路、法律位阶与引用图驱动稠密路硬负例对比学习,并结合五类法律意图一致性重排,在多场景基准上实现大幅性能提升。

DeepSearch-World: Self-Distillation for Deep Search Agents in a Verifiable Environment

本文提出面向深度搜索智能体的确定性可验证离线环境 DeepSearch-World 及自蒸馏框架 DeepSearch-Evolve,通过支架教师轨迹生成、实体级过程验证与反思重写,使开源 9B 模型无需闭源强模型蒸馏即可习得长程规划、记忆追踪与故障自愈能力。

Understanding the Effects of Distractors on Reasoning Vision-Language Models

本文系统构建了包含 27.7 万张图像的多模态干扰项评测基准 Idis,首次揭示视觉干扰项通过降低准确率向下平移长–准曲线而不增加思考长度,与文本干扰项引发思考变长并加剧逆缩放形成鲜明对比,并证明干扰属性占比而非思考长度直接主导了模型崩塌。

Predict, Don’t Iterate: Efficient Adaptive-Length Infilling for Diffusion Language Models

针对扩散语言模型在文本/代码填充时预设掩码长度敏感且迭代搜索开销巨大的缺陷,提出冻结骨干的 PILL 框架,通过单次前向探测直接预测目标长度、多槽并行解码生成局部候选并在单次评分中完成事后选择,仅增加 2 次前向传播即超越最强基线并提速 1.82 倍。

StepGuard: Learning Step-Level Guardrails with Scalable Supervision and Safety–Utility Balancing

针对大语言模型智能体执行工具时的安全漏洞与防御偏差,StepGuard 提出了前缀对齐的对比数据引擎 StepGen 与自适应平衡策略 Balance-GRPO,构建了具备动作前拦截与轨迹级审计能力的 4B 步骤级护栏模型,在降低 77.3% 攻击成功率的同时仅损失 2.8 点任务效用。

ANI: Adaptive Numerical Injection for Unifying Semantic and Arithmetic Representations in Numerical Reasoning

ANI 提出了一种即插即用的自适应数值注入框架,利用线性探针在 LLM 浅中层上下文成熟度最高处定位注入层,通过门控网络区分纯文本标称实体与可计算数值操作数,在末位子词稀疏残差注入傅里叶数值拓扑,大幅提升数学运算精度同时消除传统替换导致的语义漂移。

查看全部110篇「LLM Reasoning」论文 →


🦾 LLM Agent (142)

A Comprehensive Survey on Linguistic Steganography in the LLM Era

本文系统梳理了LLM时代的语言隐写术全景,系统归纳了148种隐写方案、60种隐写分析对抗防御、23种评测指标与9大开放挑战,首次厘清了从载体修改向提示词驱动生成、从启发式向可证明安全等五大关键范式转移。

ABDATABENCH: Evaluating AI Agents for Evidence-Grounded Antibody Record Construction

提出了首个面向科学文献与专利中完整抗体记录构建的基准评测 ABDATABENCH(44 篇文档、279 条记录、22 字段三级加权模式与非对称惩罚),并构建了以抗体记录为中枢的多智能体框架 ABCURATOR,通过确定性工具与技能演化工作流在专有与开源模型上分别取得 78.3 与 76.0 的高分。

Agent-as-Peer-Debriefer: A Multi-Agent Framework with Perspective-Based Refinement for Qualitative Analysis

本文提出 Agent-as-Peer-Debriefer 多智能体框架,将质性研究中提升可信度的“同行汇报”(Peer Debriefing)机制引入大模型定性编码流程,通过分层编码智能体生成自反思备忘录,并驱动理论导向、数据驱动、应用导向三个无利害关系的独立同行智能体进行五类结构化重构,显著提升了生成代码与人类编码方案的对齐质量。

Agent-G^2: Gaussian Guidance for Agentic Reinforcement Learning

针对长程智能体强化学习中稀疏奖励与固定提示深度的结构性失配,Agent-G^2 揭示了有效指导深度围绕最优值呈高斯带状分布的机理,提出一种利用在线探索统计动态更新高斯均值与方差的无额外探测开销指导框架。

AgentFold: Closed-Loop Agentic Search for Protein Folding Model Design

AgentFold 构建了面向科学机器学习代码库的闭环多智能体搜索框架,基于 MCTS 树控制器在 ESMFold 紧凑底座上迭代执行代码修改、自动调试与昂贵结构验证,不仅将最佳 lDDT 相比独立 Codex 提议提升 7.5%,还首次系统沉淀了指导几何深度学习设计的经验归纳模式。

AgentJudgeBench: A Multi-Difficulty Benchmark for Evaluating LLM Judges on Agentic Tool-Calling

针对当前智能体工具调用评测盲目依赖大模型裁判却缺乏基准校准的现状,本文构建了首个覆盖 6 种工作流拓扑、3 个难度等级和 3,808 条记录的评测基准 AgentJudgeBench,揭示了无参考真值时裁判普遍受限于 77–82% 结构性上限,以及前沿模型在接触参考真值时因“过度锚定”反而导致对齐度下降等关键失效模式。

AgentProv: Auditing Agentic LLM API Providers via Tool-use Policy Probes

针对黑盒大模型 API 提供商静默替换、量化降级或包装转售底层基座的问题,AgentProv 首次利用模型内生工具选择偏好构建动作级指纹,通过分块 MMD 置换检验实现无文本依赖且对系统提示注入强鲁棒的 API 身份审计。

AgentSpec: Speculative Decoding for Batch Inference of LLM Agents

针对投机解码在大批次 LLM 智能体推理中因高拒绝率与动态预算浪费而严重降速的瓶颈,本文提出 AgentSpec,通过基于下推自动机的结构隔离草稿生成与冗余感知动态预算分配,在 vLLM 上实现了最高 2.02× 的端到端吞吐加速且无损生成质量。

Aggregate While Searching: Online Partial-Trajectory Aggregation for Long-Horizon Reasoning

针对长程搜索智能体中独立采样轨迹无法中途纠偏且易发散的难题,本文提出 OPTA 框架,在固定检查点将活跃轨迹提炼为包含支撑发现、死胡同、未决冲突与进度总结的类型化全局共享状态,并针对接收轨迹实施选择性注入与上下文重置,在仅引入 2.3% 控制开销的前提下将 BrowseComp-Plus 上 Qwen3-30B 的准确率从 37.9% 提升至 59.6%。

AGORA: An Archive-Grounded Benchmark for Agentic Workplace Document Reasoning

AGORA 构建了首个面向真实工作场景、以受限档案集合为落脚点的跨领域智能体文档推理评测基准,包含 8 大行业领域、9,664 份真实文档(3.72 亿 Token)与 362 道具备唯一可验证数值答案的多跳推理任务,揭示了当前前沿大模型在内部杂乱档案检索与跨文件计算上的显著性能瓶颈(最高仅 59.39% 准确率)。

查看全部142篇「LLM Agent」论文 →


⚖️ 对齐 / RLHF (16)

Aligning Cultural Behaviors in Arabic Language Models via Preferences

针对大语言模型缺乏泛阿拉伯跨国细粒度文化偏好对齐的问题,本文构建了覆盖阿拉伯国家联盟 22 国、16 个门类与 200 个维度的首个大规模双语行为偏好与测试基准 ARABPREF,并通过人类在环验证与多种对齐算法(DPO/KTO/SFT)系统性提升了模型在具体文化语境下的行为适切性与鲁棒性。

An Empirical Study on Preference Tuning Generalization and Diversity Under Domain Shift

本文首次在摘要、问答有益性与安全对齐三大测试基准上系统评测了五类主流偏好对齐目标与不同域自适应策略在分布偏移下的泛化表现,揭示了离线对齐方法严重的域脆弱性,并证明伪标签虽能最大化目标域胜率却会引发剧烈的模板模式坍塌,阐明了偏好对齐中泛化性与多样性不可兼得的核心权衡。

ARCA: Attribution-Regularized Causal Alignment for Task-Aware Bias Mitigation

针对传统去偏方法与下游微调解耦导致偏见效应再引入的痛点,ARCA 提出在下游任务微调过程中利用差分梯度归因构建任务特异性因果干预词表,在线生成反事实样本并进行表征级因果对齐正则化,在保持任务精度的同时显著降低预测翻转率与概率散度。

Do Implicit Personalization and Explicit Styles Conflict? PsPLUG: A Lightweight Plug-in for Balancing Personalization and Style in Customized LLMs

针对显式风格指令易破坏模型隐式个性化特质的“个性化崩溃”问题,提出将个性化建模为分布残差的轻量级即插即用框架 PsPLUG,通过风格条件偏好优化与推理期缩放系数,在冻结基座下实现风格遵循与个性化强度的动态可控平衡。

DSPA: Dynamic SAE Steering for Data-Efficient Preference Alignment

DSPA 提出了一种无需更新基座模型权重的推理期动态偏好对齐方法,利用早期/中期输入 SAE 提取 Prompt 特征,结合离线构建的稀疏条件差异映射矩阵检索并仅对解码中当前 Token 活跃的后期输出 SAE 隐变量进行动态消融与增强,以极高的计算与数据效率提升开放式生成质量并实现干预轨迹的可解释审计。

Expert Personas Improve LLM Alignment but Damage Accuracy: Bootstrapping Intent-Based Persona Routing with PRISM

系统揭示专家角色提示能强化对齐任务(安全与偏好)却普遍损害预训练知识检索准确率的核心规律,并提出无需外部数据的门控自蒸馏框架 PRISM,实现兼顾对齐增益与知识无损。

From Rollouts to Recipes: Self-Contained Post-Training for LLMs

针对现有可验证任务后训练统一采用单一优化目标、忽略样本学习状态差异的缺陷,本文提出无需外部教师的 Self-Routing 框架,依据采样采样的正确率与置信度动态将样本路由至 GRPO、链上自蒸馏、正则化或跳过,在数学推理任务上显著优于统一配方及固定混合基线。

GAC: Noise-Aware Adaptive Mixing for Hybrid SFT-RL Post-Training

针对大语言模型SFT与RL混合后训练中固定配比无法应对动态噪声与梯度冲突的问题,GAC通过最小化混合梯度均方误差推导闭式最优混合权重,并利用轻量系数空间代理实现在线噪声感知与三级平滑控制,在计算开销低于1%的前提下显著提升数学与推理对齐效果。

LQ-Rewriter: Generative Reward Model-Guided Lazy Query Rewriting for Role-Playing Dialogue

针对真实角色扮演对话中用户高频输入模糊简短“懒惰Query”导致剧情停滞的痛点,本文提出由真实在线换代偏好驱动的生成式奖励模型(GRM)指导的懒惰Query改写器(LQ-Rewriter),通过融合剧情推进与微观笔法的改写策略及二阶段对齐训练,显著提升下游角色扮演回复的情感张力与对话留存。

Mechanism Alignment for Socially Embedded Decision Making in LLMs

针对大语言模型在多智能体社会模拟中常以表面叙事直觉或单一同伴捷径替代网络效用聚合的缺陷,本文提出了基于网络效用理论的基准评测体系与隐式效用状态监督机制对齐框架(SEDM-alignment),显著提升了微观决策规则复原精度与跨任务泛化性,并修正了金融资产泡沫与劳动力层级分流的宏观涌现动力学。

查看全部16篇「对齐 / RLHF」论文 →


🔒 安全 (106)

A Novel Semantic Manifold Alignment Attack against Embedding-to-Embedding Obfuscation in Privacy-Preserving LLMs

针对基于单射映射的嵌入到嵌入混淆(E2EO)隐私推理方案,提出代理流形对齐攻击(PMA),将混淆向量流视为未知分词器语言,仅利用公开语料和词共现统计诱导的语义流形几何结构,通过 Gromov-Wasserstein 对齐与互近邻迭代细化实现高保真明文重构。

AI Psychosis: Does Conversational AI Amplify Delusions?

本研究通过对 Reddit 真实用户发帖历史进行分层倾向评分匹配构建仿真用户(SimUser),并建立监督语言学度量指标 DelusionScore,首次系统性证实多轮大模型对话会使易感人群的妄想语言强度显著放大(平均上升 233%),且在现实怀疑与强迫认知主题上放大最为严重,而将当前轮次的妄想分值显式注入模型上下文的轻量级运行时干预可成功逆转这一正反馈回环。

[论文解读] Benchmarking Bengali Dialectal Bias: A Multi-Stage Framework Integrating RAG-Based Translation and Human-Augmented RLAIF

布拉克大学团队提出了一套评估低资源语言方言偏见的两阶段评测框架,结合 RAG 方言翻译、CoT 约束的 LLM 评判与人类回退校准机制,构建了覆盖 9 种孟加拉方言的 4,000 组金标问答基准,在 19 个大模型上的 68,395 次评测揭示了方言语言学偏离度直接诱发模型理解断崖的系统性安全偏见。

Beyond Leaderboards: A Frozen-Rubric Contract for Position-Invariant Winning-Argument Detection

本文针对成对大模型裁判普遍存在的发言顺序偏差与测试期量规泄露缺陷,提出了基于冻结评分准则契约的双工架构评测系统 TAPIR,通过模式切分特权自蒸馏将人类准则内化为模型表征,结合反对称标量头与审计账本头在理论上保证置换不变性(WPI=1),在 Change My View 获胜论点基准上以 39.41 倍推理加速超越同底座多调用 baseline。

Beyond Safe Answers: Segment-Aware Listwise Alignment for Reasoning Safety in Large Reasoning Models

针对大推理模型(LRM)中“推理过程包含有害探索但最终回答伪装安全”的双表面安全失配难题,本文提出 SaLT-DPO,通过将响应解耦为推理与回答两个分段并分别拟合长度归一化的列表式软目标分布,结合基于木桶短板原则的联合安全一致性正则化与良性样本效用锚定,在不损伤通用数学代码推理能力与拒答合规性的前提下,全面消除了深思轨迹中的隐蔽有害内容。

BiG-SURE: Bipartite Graph for Semantic Uncertainty and Reliability Estimation of LLMs

针对黑盒大模型与多模态模型幻觉及不确定性评估难题,提出利用低温度采样作为稳定锚点、结合保义扰动的高温度采样作为探测点构建二部图,以归一化平方谱能量补数作为无监督语义不确定性度量。

Black-Box Membership Inference via Word-Level Probability Estimation

针对黑盒大模型仅暴露文本续写、无法获取词表 logits 的隐私审计难题,WPMIA 通过蒙特卡洛多轮续写采样与局部语义核平滑估计词级概率,在对数空间内加性聚合为序列似然,并引入成员与非成员差分对比前缀放大分布间距,在 GPT-5-Chat、Gemini-2.5-Flash 与 Claude-4.5-Haiku 上取得了 42.0% 的平均 TPR@5%FPR。

CAD-Mark: Context-Aware Distributional Watermarking for Robust LLM-Generated Text Detection

针对句子级大模型文本水印中固定语义边界导致的低效拒绝采样与各句信号等权聚合缺陷,本文提出 CAD-Mark,在生成时基于上下文正交主轴对候选句分布自适应二分嵌入多比特水印,并在检测时基于重采样语义多样性进行加权 z 检验,在无损文本质量的同时显著增强抗改写与回译等对抗攻击的鲁棒性。

Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity?

本文提出面向计算机使用智能体(CUA)的情境完整性评估基准 AGENTCIBENCH 与 OpenApps 环境,揭示顶尖 Agent 在日常跨应用协作中普遍存在严重隐私外泄(15 款前沿模型中 12 款泄露率超 50%),并验证轻量提示防御能将交互泄露率显著降低 33–36 个百分点。

CASTLE: A Comprehensive Benchmark for Evaluating Safety Alignment Under Dynamic Conversational Contexts

华东师范大学等提出首个基于教育心理学理论的大规模个性化安全基准 CASTLE,涵盖 15 个教育安全风险领域与 14 项多维度学生画像属性,构建了 92,908 个中英双语交互场景,揭示了主流大模型在通用无画像设置下个性化安全得分全线低于 2.5/5 分的严重缺陷,并证实强化学习与显式画像引导能显著弥补该安全鸿沟。

查看全部106篇「安全」论文 →


👻 幻觉检测 (6)

HaluMem: Evaluating Hallucinations in Memory Systems of Agents

HaluMem 提出了首个针对大模型智能体记忆系统的操作级幻觉评测基准,将传统黑盒问答解耦为记忆抽取、记忆更新与记忆问答三大独立阶段,通过六阶段构建长达百万 token 的多轮动态交互轨迹,揭示了上游记忆抽取遗漏向上向下游级联放大的核心规律。

Library Hallucinations in LLM-Generated Code: A Risk Analysis Grounded in Developer Queries

本文首次系统研究了真实开发者提示词变体(用户自然语言描述与控制拼写/虚构错误)对大模型代码生成中第三方库及成员幻觉的影响,揭示了模型对时间约束和用户拼写错误的极度脆弱性,并构建了首个代码库幻觉基准 LIBHALLUBENCH。

PVFH-Bench: Benchmarking Premise-Induced Visual Fixation Hallucinations in Vision-Language Models

本文提出针对大视觉-语言模型的新失效模式——前提诱导视觉固着幻觉(PVFH)及诊断基准 PVFH-Bench,揭示模型在错误空间前提诱导下会将画面中易混淆的可见物体锚定为虚构证据,并证实显式思维链推理非但不能纠正该错误,反而会通过脑补弱视觉线索显著加剧幻觉。

Teaching LLMs to Abstain via Fine-Grained Semantic Confidence Reward

针对现有大模型拒答对齐依赖粗粒度全局信号导致知识边界模糊的问题,本文提出基于细粒度语义置信度奖励的强化学习框架 FISCORE,利用语义聚类簇大小刻画样本级置信度并通过 GRPO 对齐,同时提出单调敏感的可靠性度量指标 F1rel。

The Trilemma of Truth in Large Language Models

针对传统线性探测方法将真实性简化为对称单轴二分类的缺陷,本文提出结合稀疏多示例学习与保形预测的多分类探测框架 sAwMIL,在十六个大语言模型与三个新数据集上揭示了真实、虚假与未知三值表征机制并实现了因果可干预性。

To Answer or to Abstain: Mitigating Search-Agent Hallucinations via Abstention-Aware Reinforcement Learning

本文针对搜索增强大模型智能体在检索失败或证据不足时强行编造答案的过度作答幻觉问题,提出了基于弃权感知的强化学习框架(AWA-RL),通过两阶段解耦估计查询级先验能力、非线性勇气因子映射与实时批次偏差惩罚动态重塑弃权奖励,在维持高回答准确率的同时显著提升精确率与可靠性指标 RA-F1。


📊 LLM 评测 (29)

Auditing MCQA Benchmarks through Probability Landscapes

提出基于模型输出概率分布的双层评测基准审计框架,宏观上用顶项概率与归一化残差熵构建概率景观及平均成对距离刻画基准内选项竞争与异质性,微观上通过噪声注入扰动有效过滤伪错误并高优先级筛选出人工审查候选题。

Benchmarking LLM-as-a-Judge for Long-Form Output Evaluation

清华大学等团队提出首个针对长文本输出评测的大模型裁判元评测基准 LongJudgeBench,涵盖五大真实场景、候选文本平均达 9,249.7 tokens,揭示了现有裁判模型在长文档下面对结构组织、篇章一致性与专业洞察时的显著可靠性差距与位置偏置缺陷。

Check The Scoreboard: An Analysis of Scoring Schemes on Multiple Choice Evaluation

系统性将教育测量学中的6种替代评分机制引入LLM多项选择题评测,不仅能有效惩罚蒙猜并打破简单正确率排名,而且其按次重答得分与LLM Arena人类真实偏好展现出最高一致性。

CyclicJudge: Mitigating Judge Bias Efficiently in LLM-based Evaluation

针对 LLM-as-a-judge 评估中裁判个体偏置大且无法通过增加测试样本消除的问题,本文通过概化理论方差分解证明了轮循调度(CyclicJudge)的最优性,在与单裁判相同调用预算下抵消了裁判加性偏置并最大化生成多样性,使榜首翻转率降低 61%。

DocFollow: A Hierarchical Fine-Grained Constraints Following Benchmark in Long Contexts for LLMs

针对现有长文本评测忽视“长输入长输出(Long-In-Long-Out)”且依赖不可靠 LLM 打分的问题,DocFollow 构建了涵盖 5 大领域 20 个子领域的 2,436 个专家校验实例,提出层次化细粒度约束体系与基于“信息抽取 + 规则计算”的无偏评测协议。

Does task decomposition improve automatic NLG evaluation?

系统性对比了基于任务解构与直接预测的大模型裁判(LLM-as-a-Judge)方法,证实指标分解本身并未带来与人类判断对齐的增益,以往分解方法的收益实则源自人工标注监督训练与浮点分数的统计偏置,且公平设定的直接预测裁判在部分维度上已达人类标注一致性水平。

Evaluating and Improving LLM Self-Modeling

本文将大模型自建模形式化为对自身输入-输出行为的经验预测能力,构建了覆盖10类任务与4大领域的无偏技能基准,并提出基于“生成-验证-修正”闭环合成数据与格式门控强化学习的训练管线,证明了自建模能力可训练且能跨任务泛化,但本质属于通用行为建模而非特权内部自省。

Evaluating LLM-generated Explanatory Dialogue Turns through Dialogue Completion

本文提出将对话补全(Dialogue Completion)作为透镜,跨人类口语、人类书面与合成三种模态探究解释性对话的生成质量与评测偏置,不仅揭示了主流无参考评测基准 FED 存在偏向书面规整性而惩罚口语交互性的系统性偏置,还验证了基于评测指标反馈的零样本迭代自反思能有效提升大模型的对话交互能力。

Exposía: Teaching and Assessment of Academic Writing Skills for Research Project Proposals and Peer Feedback

本文提出了首个连接高等教育学术开题报告写作与同行评审反馈的公开多阶段评测基准 Exposía,设计了覆盖 36 项开题报告与 24 项评审标准的细粒度评分量规,并系统评测了前沿开源与闭源大语言模型在多维度评分任务上的对齐表现与部署效率。

From Rubrics to Reliable Scores: Evidence-Grounded Text Evaluation with LLM Judges

本文提出针对大模型裁判员的量规式文本评估框架 RULERS,将人类量规编译为锁定规格、执行类型化证据溯源并结合分位数映射校准,在四大基准上显著提升与人类评分的二次加权 Kappa 一致性。

查看全部29篇「LLM 评测」论文 →


⚡ LLM 效率 (5)

Compressing Sequences in the Latent Embedding Space: K-Token Merging for Large Language Models

本文提出一种针对大语言模型输入的隐空间软提示词压缩方法 K-Token Merging,通过均值初始化残差 MLP 将连续 \(K\) 个词嵌入融合成单个压缩向量并配合 LoRA 微调,在保持自回归解码词表不变的前提下实现高达 75% 的输入长度削减与 27.8% 的吞吐量提升,且精度损失极小。

Efficient Iterative Retrieval with Heterogeneous Batching

针对现代迭代式 RAG 中 Embedding 计算密集与 Generation 内存密集的互补特性,提出面向单推理循环的异构批处理 serving 系统 ORTHRUS,通过分块嵌入、增量池化与按剩余工作量动态调度的批内调度机制,消除 GPU 静态切分与同构批处理的计算气泡,实现 1.28×–4.52× 的吞吐提升与至多 55.8% 的端到端 p99 延迟降低。

SpecSteer: Synergizing Local Context and Global Reasoning for Efficient Personalized Generation

针对个性化生成中端侧模型推理能力不足与云端大模型隐私泄露的核心冲突,SpecSteer 提出非对称端云协同投机解码框架,由端侧私有小模型生成草稿、云端大模型通过无私有数据的似然比率完成非对称验证,并在拒绝时执行无损引导恢复,在显著提升生成质量的同时取得 2.36× 的端到端推理加速。

Spexis: Speculative Lookahead Scheduling for LLM Inference

Spexis 提出了投机并行(Speculative Parallelism)这一全新的多 GPU 调度维度,将自投机草稿生成与流水线后续阶段的验证在时间上无缝重叠而不增加额外 KV Cache 显存,配合基于置信度的选择性投机与剩余长度预测的前瞻调度策略,有效打破了张量并行与流水线并行的扩展瓶颈,在单机与跨机配置下取得高达 34% 的推理服务加速。

Survival-Guided Length Control for Efficient Reasoning

本文提出一种面向掩码扩散语言模型(DLM)的免训练、即插即用型生存引导长度预测方法,将生成长度重构为序列终止符的离散时间生存过程,仅凭单次前向传播的 EOS 概率即可闭式估计期望输出长度,在主流数学推理与代码生成基准上取得最高达 7 倍的端到端解码加速且保持精度无损。


📚 预训练 (7)

Beyond Junk Tokens: Subsumed Tokens in Japanese Subword Tokenization

针对频次与似然驱动的子词分词在无显式词边界语言中系统性抑制有效词出现频次的问题,本文形式化了吞没词元(subsumed tokens)现象,并提出一种在不改变分词器词表的前提下基于字符跨度二叉树搜索的动态规划后处理框架,有效恢复有效词统计并提升词嵌入与下游任务表现。

DebugLM: Learning Traceable Training Data Provenance for LLMs

提出 DebugLM 框架,通过引入离散数据源标签与双模态联合优化目标,使大语言模型内生具备行为溯源与测试时靶向补救能力,在单次前向传播中以超 95% 的成功率精确定位生成行为源头数据集且不损害模型通用性能。

How Should LLMs Consume High-Quality Data? Optimal Data Scheduling via Quality-Aware Functional Scaling Laws

本文建立了考虑时变数据质量与批大小耦合的质量感知泛函缩放定律(Quality-Aware FSL),推导出渐近闭式最优联合调度策略,揭示了高质量数据在“噪声受限”(小批次放大信号)与“信号受限”(后置抑制终端噪声)下的对偶作用,并据此设计出 Drop-Stable-Rampup 训练策略,在 15B MoE 和 600M Dense 模型上全面刷新基准。

MDM-Prime-v2: Binary Encoding and Index Shuffling Enable Scaling of Diffusion Language Models

本文深入剖析了掩码扩散模型(MDM)在子词粒度掩码下的理论目标与下界,指出 BPE 词表偏置导致的低熵子词会显著劣化训练损失,进而提出结合随机索引混洗(Index Shuffling)与二进制编码(Binary Encoding, \(\ell=\lceil\log_2 V\rceil\))的 MDM-Prime-v2,在不增加模型前向计算开销的前提下最小化条件交叉熵目标,首次成功将部分掩码扩散语言模型扩展至 1.1B 参数并全面超越 GPT-Neo、OPT、TinyLLaMA 及同规模 SMDM 基线。

OptiMer: Optimal Distribution Vector Merging Is Better than Data Mixing for Continual Pre-Training

OptiMer 提出将多语料持续预训练(CPT)中的数据配比搜索与模型前向训练彻底解耦:通过为各语料独立训练单一模型并抽取分布向量,再借助基于 TPE 的贝叶斯优化在事后快速搜索最优线性组合权重,在 Gemma 3 27B 上以 15–35 倍更低的搜索开销显著超越传统混合数据预训练与主流模型合并基线。

SpinHash: An O(1) Encoder for Any Vocabulary

提出了参数量仅约 0.2M 且对词表大小和模态数量均保持 \(O(1)\) 常数复杂度的 SpinHash 编码器,通过可控几何自旋哈希(Spin-SimHash 与 Spin-Repulse)将离散 token 映射为定长自旋码并由单共享 FFN 解码,在文本、超大 \(k\)-mer 基因组和高基数临床多模态融合中全面媲美或超越传统巨型嵌入表。

WRAP++: Web Discovery Amplified Pretraining

针对单文档改写受限于篇内信息孤岛与事实提取瓶颈的问题,WRAP++ 利用万维网超链接拓扑挖掘高置信度实体关系子图,并在跨文档依赖与事实链约束下合成多跳联合问答,将 8.4B 原生维基语料放大为 82.7B 高质量预训练数据,显著提升了大语言模型的事实知识内化与检索能力。


✏️ 知识编辑 (4)

Editing Rules in LLMs Requires More Than a Localized Update

针对大语言模型中数学与物理规则编辑难以跨形式自洽泛化的难题,本文通过细粒度因果追踪揭示了规则知识具有形态特异性的分层存储机理(公式与描述集中于浅层,数值实例集中于中层),并据此提出分布式多层编辑框架(DMLE),在保持常规编辑指标的同时大幅提升了规则级一致性与实例迁移能力。

Generalizable Lifelong Model Editing via Preference Optimization

针对终身知识编辑中模型容易过拟合特定提示词浅层模式并导致灾难性遗忘与通用能力崩溃的问题,本文提出 GLIME 框架,通过引入与编辑提示词解耦的持续偏好优化作为行为级正则约束,并结合经验重放与在线正交基梯度投影,在大幅提升自回归生成与多跳推理泛化性的同时保护了模型的原始语言和通用能力。

Measuring the Depth of LLM Unlearning via Activation Steering

提出无须额外训练、因果干预且数据不变量化的遗忘深度指标 UDS(Unlearning Depth Score),通过两阶段跨模型激活拼接度量内部表示中遗忘知识的可恢复性,克服了输出层指标与观测型白盒探测对浅层表示偏移的误判。

Validator-Guided Decoding for Multi-Hop Knowledge Editing

针对知识编辑模型在组合多跳推理中难以直接生成正确更新答案、但仍保留较强事实校验能力的“生成-验证差距”,本文提出校验器引导解码(VGD),通过训练轻量校验器作为外部正确性信号,实现高置信候选直接采纳与低置信候选定向修正,显著提升多跳编辑一致性与准确率。


💬 LLM 其他 (42)

Jasper-Flash: Elastic Token Compression and Progressive Distillation for Inference-Scalable Text Embedding Models

Jasper-Flash 提出了包含弹性 Token 压缩(ETC)与压缩自适应渐进式蒸馏(CAPD)的文本嵌入框架,在单模型内支持动态压缩率调节,使 600M 模型在 1024 长度下延迟降低至 4.48 ms(加速 5.4 倍),且在 MTEB 上达到超越 4B 模型的 74.75 分。

Can LLMs Reliably Self-Report Adversarial Prefills, and How?

系统评估了 10 款主流开源大语言模型在遭受对抗性前缀攻击后自省识别恶意响应的能力,揭示出模型平均在 25.3% 的有害输出上错误认领意图;其内省信号主要依赖于内部拒绝机制的中介(消融拒绝方向使识别差距归零),且针对内省的微调不仅无法泛化到外部篡改提问,反而会反常地推高初始越狱攻击成功率。

Sampling Less, Knowing More: Contradiction-aware Adaptive Spectral and Entropic Uncertainty Quantification for LLMs

CASE 框架通过构建采样候选回复间的稀疏化双向矛盾图并计算归一化谱范数来度量语义分歧,以此驱动自适应早停采样降低计算冗余,同时融合贪心基准回复的 token 级预测熵,有效解决了多采样 UQ 面对一致性错误时退化失效的难题。

Advancing Fact-Checking for Large Language Models via Argumentative Reasoning

针对开放网络多源证据冲突与模型检索确认偏差难题,本文提出神经符号事实核查框架 ArgCheck,通过正反双智能体多轮对抗检索均衡证据池,并引入 Dung 抽象论辩框架与基底语义实现公理化冲突消解,在自建多源冲突基准 MAVEN 与公开基准 AVeriTeC 上将 Macro-F1 分别提升 5.39 和 11.10 个百分点。

ClaimFlow: Tracing the Evolution of Scientific Claims in NLP

本文提出了首个以科学主张(Claim)为基本单元的跨论文交互演化数据集与分析框架 ClaimFlow,通过定义声明关系分类任务并构建覆盖 1.3 万篇 ACL 论文的自动化演化图谱,定量揭示了 NLP 领域知识积累中主张高度孤立、质疑稀缺且窗口前置、主要通过拓展与限定推进的演化规律。

CoDAR: Continuous Diffusion Language Models are More Powerful Than You Think

CoDAR 将语言生成解耦为紧凑连续嵌入空间中的高斯扩散过程与自回归跨注意力解码器,揭示并攻克了点式舍入操作符中的序列依赖与局部性缺陷,在保留连续扩散快速数值求解优势的同时显著缩小了与离散扩散模型的生成质量差距。

[论文解读] Concise and Sufficient Sub-Sentence Citations for Retrieval-Augmented Generation

针对检索增强生成(RAG)中文档或句子级引文冗余信息多、孤立词跨度又缺乏充分指代的问题,本文提出子句级(sub-sentence)引文生成任务,构建包含 2,000 条双标注高一致性基准,并通过结合规则校验与评估器打分的数据增广框架及两阶段微调,使开源大模型在保证自包含语义的同时显著压缩引文长度并削减人工核验用时。

Controlling Creativity in Concept Space: A Framework for Generative Models

提出了概念级温度(Concept-τ)框架,通过构建显式概念图结构解析提示词未指定决策,并结合凸阶梯分配算法在概念抽象层对新颖性与效用进行单调可控调节。

Decoupled Contrastive Decoding via Expert-Aligned Drafting

针对对比解码(CD)因引入业余模型导致自回归延迟成倍剧增的问题,本文揭示了轻量草稿模型难以学习弱对比信号且误差放大的机理,进而提出解耦对比解码(DCD),将业余模型移出串行草稿生成链条并改用纯专家对齐提议器,在维持对比目标完全无损的前提下取得 1.65x 至 1.95x 的平均端到端加速。

Demographic Prompting at Scale: When More Attributes Hurt LLM–Human Agreement

论文对 5 类主观语言理解任务与 5 款开源大模型进行了全面的人口统计学提示属性组合遍历,首次发现全属性提示无一例外不如紧凑子集甚至无属性基线,并提出了结合统计重要性、词汇可学习性与组间方向一致性的三层诊断机制与神经元探测解释框架。

查看全部42篇「LLM 其他」论文 →


📖 NLP 理解 (49)

A Survey on Representing Linguistic Style: Challenges and Opportunities

系统梳理语言学与自然语言处理中风格表示的理论演进、预定义特征与神经嵌入构建方法,确立以“面向研究对象且独立于语义内容”的统一风格定义,并揭示风格嵌入在数据质量筛选、机器文本检测及模型评测中低成本超越大模型的独特价值。

Alice: A Large-Scale German Benchmark for Rubric-Based Multi-Dimensional Automatic Short Answer Scoring

针对传统自动短答案评分局限于单一参考答案比对且缺乏概念与技能维度的缺陷,本文构建了包含 1.6 万条德语中学生作答的大规模多维度评分细则基准 ALICE,并提出将变长细则打分重构为跨编码器细则检索匹配,显著提升了模型在未见试题上的泛化能力。

Are Non-English Papers Reviewed Fairly? Language-of-Study Bias in NLP Peer Reviews

本文首次系统性定义并量化了自然语言处理(NLP)同行评审中基于论文所研究语言的偏置现象(Language-of-Study Bias),构建了专家标注数据集 LOBSTER 及达到 87.37 Macro F1 的 LLM 检测流程,并在跨 6 个顶会批次的 15,645 篇审稿意见中证实:非英语论文遭遇评审偏置的概率是纯英语论文的近 40 倍,且绝大多数表现为强加未经声称的跨语言泛化要求等结构性负面偏置。

BeyondAtoms: Benchmarking and Verifying Relational Factuality Beyond Atomic Facts

针对传统事实核查与原子事实分解盲目信任实体/事件重叠而忽略逻辑拓扑连接的缺陷,本文提出了首个专注于关系级扰动的评测基准 BEYONDATOMS,并设计了完全无需训练、基于声明锚定抽取与双向结构对齐的轻量级核查框架 CARVE。

CausalTAD: Injecting Causal Knowledge into Large Language Models for Tabular Anomaly Detection

针对大语言模型在表格异常检测中随机序列化破坏特征因果依赖的瓶颈,CausalTAD 提出基于高阶潜变量因子发现的列级因果偏序投影与线性排序优化,并结合因子频次感知重加权,在 30 多个基准上显著超越 AnoLLM 等 SOTA 方法。

Charting Empirical Patterns for LLM Fine-Tuning in Scientific Multi-Discipline Learning

系统性研究了大语言模型在涵盖数学、化学、生物、医学和地理五大自然不平衡科学学科下的联合微调规律,提炼出四条实证法则,并基于共享A矩阵的非对称LoRA-MoE在仅训练0.902%参数下达到全参数微调相媲美的性能。

CodeTD: Topology of Attention Detects Hallucinations in Code LLMs

CodeTD 将代码大模型的注意力矩阵建模为加权图,利用拓扑数据分析(TDA)中的流形拓扑分歧(MTD)抽取提示词与生成代码间的 0 维连通分支与 1 维绕道环特征,实现了无需运行测试用例的高精度执行前代码幻觉检测与采样重排序。

Deep and shallow biases in language models

提出了偏见深度评分 \(\pi = \text{DR} \times \text{FR}\),通过直接提示词采样与30个情境重构(scenario reframings)测试,将大语言模型在开放选择下的答案固着解构为继承自预训练且难以消除的深层偏见(Deep bias)与仅由提示词表层措辞诱发的浅层偏见(Shallow bias)。

DiscoTrace: Representing and Comparing Answering Strategies of Humans and LLMs in Information-Seeking Question Answering

本文提出篇章级长文本问答策略表征框架 DiscoTrace,将回答分解为修辞边界上的篇章行为与具体问题解读意图的有序二元组序列,揭示了人类不同社群迥异的修辞规范,并从语用学视角证实大语言模型存在答非所选、策略单一以及追求广度而牺牲深度的结构性缺陷。

DiscoTrack: A Multilingual LLM Benchmark for Discourse Tracking

DiscoTrack 涵盖 12 种语言和 4 个篇章核心维度(显著性、实体跟踪、篇章关系、桥接推理),构建包含 11 个子任务的标准化问答评测基准,全面揭示当前大语言模型在跨句隐式篇章理解上的显著性能落差。

查看全部49篇「NLP 理解」论文 →


✍️ 文本生成 (15)

ArgSum-X: A Structure-Aware Benchmark for Argument Summarization and Key Point Analysis

针对论辩摘要(ATS)与关键点分析(KPA)长期割裂且缺乏结构保真度度量的问题,ArgSum-X 构建了首个融合两类任务的多层级基准数据集与结构感知评估套件,揭示出常规大模型虽具备高语义保真度但在全局论证流建模上依然存在显著结构缺陷。

Beyond a Single Story: Meta-Reviewing Sparse and Incomplete User-Generated Content

针对推荐系统中用户生成评论严重缺失与属性覆盖残缺的痛点,MOSAIC借鉴学术同行评审的元综述机制,通过聚合相似邻居的细粒度属性-情感证据弥补个体视角盲区,并结合MMoE多任务与个性化注意力模块,实现精准评分预测与属性级可解释推荐。

Beyond Prefix Answering: Parallel Infilling Reading for Long Contexts with Diffusion Language Models

针对扩散语言模型处理长上下文时机械沿用自回归前缀回答导致其原生双向填空能力闲置的问题,提出并行填空阅读(PIR)范式,通过在上下文切块后插入抽取槽位并行去噪生成局部证据中间态并规约回答,并结合槽位隔离掩码与单激活槽位微调有效解决了跨槽位注意力干扰引起的证据重复问题。

CURP: Codebook-based Continuous User Representation for Personalized Generation with LLMs

提出基于离散原型码本与双路聚合器的连续用户表征框架 CURP,将用户交互历史解耦为低维子空间原型并分别提取查询自适应动态偏好与稳定内在特质,在仅引入 28M 可训练参数(底座模型参数量的 0.36%)的前提下,实现即插即用且强鲁棒的高保真个性化生成。

Evaluating Style-Personalized Text Generation: Challenges and Directions

本文构建了首个涵盖8大写作领域与3大递进评测场景的长文本风格个性化生成评测基准,系统剖析了n-gram重合度、风格感知嵌入与LLM裁判三大评测范式的表现边界,证明了跨范式指标集成能显著超越单一评测器的判别能力。

Evo: Autoregressive–Diffusion Large Language Models with Evolving Balance

本文提出对偶潜流模型 Evo,将自回归生成与扩散去噪统一为同一连续概率流在不同演化阶段的离散化表现,利用逐 token 连续进度变量动态调配全局规划与局部实现,在逼近纯自回归解码速度(52 tokens/s)的同时显著突破复杂推理与代码生成的准确率瓶颈。

FAVoR: Measuring and Mitigating Author-Style Homogenization in Federated Personalized Generation

针对联邦个性化续写中因全局聚合抹杀作者独特语域的“作者风格同质化”问题,FAVoR 提出了共享-私有解耦的参数高效残差微调机制,在聚合通用续写能力的同时将作者风格校准限制在本地私有残差中,在保持续写流畅度与语义效用的同时显著提升跨作者风格辨别度。

POLARIS: Guiding Small Models to Write Long Stories

POLARIS 提出了一种低算力长文本创意写作强化学习配方,通过引入具备细粒度叙事准则的前沿大模型裁判与示教锚定人类参考注入(HRI),仅用 4 张 A100 GPU 和约 1.4K 篇短篇故事数据,使 Qwen3.5-9B 在 8k–12k 词超长故事写作中保持极高叙事质量与长度依从度,性能逼近 3 倍参数量模型。

Provenance Before Prose: Claim-Locked Reporting for Statistical Text Generation

针对大语言模型在生成脑功能连接(fMRI)与临床试验(RCT)等统计报告时存在的数值漂移、方向反转与修辞失真问题,本文提出 Claim-Locked Reporting 协议,在生成前通过构建主张账本、风险审计与策略降级锁定统计主张的数值、效应方向与措辞强度,使确定性渲染输出事实基准、LLM 仅生成过渡连接词,跨 seed 报告数值复现率达到 98.5%~100.0%。

SGTR: Learning Style-Generalizable Trajectory Reasoning for Zero-Shot Text Style Transfer

SGTR 将文本风格迁移建模为显式思维链推理轨迹与执行文本的联合概率分布,通过“风格理解-偏差定位-反思精炼”三阶段推理与隐空间对比解耦,在仅需轻量数据监督下实现了对未见风格的强零样本泛化。

查看全部15篇「文本生成」论文 →


🗣️ 对话系统 (20)

AI Psychosis: Does Conversational AI Amplify Delusion-Related Language?

本文针对公众与学界关注的“AI精神错乱”(AI Psychosis)现象展开首个大规模实证研究,通过构建高仿真模拟用户SimUser与监督评估指标DelusionScore,证实未经安全干预的对话AI在多轮交互中会使既有妄想语言强度平均放大233%,而基于运行期用户状态感知提示干预可有效逆转这一强化闭环。

Anticipating User Interpretations in Emotional Support Conversations via Inference-Time User-Side Simulation

针对情感支持对话中合理建议常被求助者误读为说教、评判或施压的交互困境,本文提出认知前瞻模拟框架(CLS),在推理阶段引入结构化用户状态推断与轻量认知世界模型,在候选回复正式发出前预演用户的即时内心想法与状态转移,并对高风险草稿进行针对性重写,显著降低了多轮对话恶化率并提升了求助者信任度。

Beyond Single-Policy: Evaluating Composed Organization-Specific Policy Alignment in LLM Chatbots

针对现实组织级聊天机器人中单请求常跨越多个组织策略的盲区,本文提出自动化评测框架 COPAL,通过从实证数据诱导出的四类策略交互模式与目标切面构建复合测试用例并绑定显式执行契约,在 30 个虚拟组织环境中揭示出主流大模型在复合策略下高达 33.1% 的单侧执行失败率。

Client Simulation via Conversational Trajectory Modeling for Both Trainee Practice and Model Evaluation in Mental Health Counseling

PsyCLIENT 针对心理咨询中模拟来访者行为单一、过度顺从且缺乏长程连贯性的问题,构建了包含 120 份丰富中文个案画像的数据集 PsyCLIENT-CP,并通过将静态画像与动态对话行为轨迹(含 12 类离散行为与风格参考)正交解耦,实现了高度逼真、包含阻抗防卫特征的多轮咨询来访者模拟。

From Chatbots to Confidants: A Cross-Cultural Study of LLM Adoption for Emotional Support

本文针对七个国家共 4,641 名受访者开展了首个关于大语言模型用于情感支持的跨文化大规模实证研究,结合心理测量量表、累积链路混合模型(CLMM)与 731 条真实提示词语义挖掘,系统揭示了人口统计学特征与国家文化背景如何塑造人机情感支持交互。

Know What You should not Know: Dynamic Attention Gating for Knowledge-Bounded Role-Playing

针对基于大语言模型的角色扮演智能体在思维链中泄露超界知识破坏沉浸感的问题,本文提出轻量级动态注意力门控路由器(DAG Router),仅占用基座模型不到0.6%的参数,冻结LLM并基于角色系统提示动态生成逐层FFN神经元稀疏抑制门控,大幅消除知识泄露并显著提升角色扮演质量。

Learning an Efficient Multi-Turn Dialogue Evaluator from Multiple LLM Judges

针对多大模型裁判集成评估多轮对话时计算开销过大且单裁判存在系统偏差的问题,本文提出轻量级评估器 MTDEval,构建包含 10 个细粒度维度的多裁判偏好数据集 P2-MTD,基于瑟斯通 Case V 模型和信号检测论显式建模裁判置信度并进行极大似然联合优化,在大幅降低推理延迟的同时显著超越开源基线。

Learning Diagnostic Clarifying Questions for Conversational Question Answering via Data-Efficient Dynamic Distillation

针对开放域对话问答中澄清提问缺乏结构化意图收敛与轨迹蒸馏低效的问题,D4CQ 提出过程脚手架、对比意图对齐、基于回答诊断性的动态蒸馏加权以及带兼容性门控的后验重标记机制,在保持紧凑交互轮数的同时大幅提升歧义消除与直接回答质量。

PersonaDual: Balancing Personalization and Objectivity via Adaptive Reasoning

针对个性化信息在提升用户偏好对齐时容易损害事实客观性与逻辑推理的“双刃剑”难题,PersonaDual 借鉴认知双过程理论,在单一模型中集成客观通用推理与个性化推理双模式,并通过提出的 DualGRPO 强化学习算法实现上下文自适应模式切换。

Preference-Aligned Data Synthesis for Fine-Grained Intent Detection

针对细粒度意图识别中 LLM 合成伪数据跨类模糊与类内同质化的瓶颈,本文提出一种基于多质心原型驱动、结合类间混淆度加权与直接偏好优化(DPO)的生成器参数级对齐框架,在零样本与少样本场景下显著提升下游分类判别精度与生成器可靠性。

查看全部20篇「对话系统」论文 →


🌐 多语言/翻译 (24)

ALEE: Any-Language Evaluation of Embeddings via English-Centric Minimal Pairs

通过在平行语料英语端利用抽象语义表示(AMR)自动实施受控语义微扰并经双向 NLI 校验,构建覆盖 275+ 种语言的三元组极小对诊断基准 ALEE,揭示现有跨语言嵌入模型在结构与词汇语义上的细粒度对齐盲区。

Assessing the Impact of Language Disparity on Multilingual Linguistic Ability in Large Language Models

论文在覆盖 101 种语言的 MultiBLiMP 句法最小对偶基准上评测 6 个大模型家族,揭示后训练带来的语言对齐税由低资源语言承担最高代价,且大模型无法通过元语言提示言说其保留的语法知识,而目标语言原生提示能有效唤醒低资源潜伏语法能力。

Bridging the Consistency Gap: A Noun Bank Augmented Framework for Low-Cost Long Text Translation

针对长文本机器翻译中全局词汇一致性与推理成本之间的严重冲突,本文提出 NoBAT 框架,通过“粗粒度串行构建全局名词库 + 细粒度并行检索翻译”的两阶段解耦范式,在大幅提升实体与专有名词一致性的同时,将总 Token 消耗降低最高达 6.3 倍并实现 8.8 倍推理加速。

Cross-Attention Eigenvalues Know the Word Order in Multilingual Machine Translation

通过对 NLLB-200 交叉注意力 Gram 矩阵的归一化特征值谱训练线性探针,揭示跨语言词序(SVO vs. SOV)在以英语为源端生成多样目标语时具有高可分性与全网分散性,而在以英语为目标端时急剧退化,证明交叉注意力几何形态主要受目标端生成需求驱动而非源端结构。

Cross-lingual Biography Enrichment via Claim Extraction and Alignment

针对非英语母语背景女性在英文维基百科中记载简略而母语版本详实的信息不对称问题,本文提出基于主张(Claim)的跨语言传记增量丰富框架,通过将双语传记映射至统一英文原子主张空间、执行细粒度语义对齐筛选增量证据,并引导大模型实施受控事实重写,在大幅削减生成幻觉的同时显著提升了有效事实增量。

[论文解读] DeepSEA: A Multilingual Evaluation Benchmark for Southeast Asia

Google Research 提出首个覆盖 12 种东南亚语言、跨高低资源层级的全面人工翻译评测基准 DEEPSEA,涵盖数学推理、科学推理、问答、摘要与机器翻译五大任务,揭示了前沿大模型与开源模型在低资源语言上的断崖式差距及对英语表示的深层依赖。

Discourse Dependency: A Continuous Criterion for Translation Difficulty

论文将机器翻译难度从传统依赖译文质量打分的后验指标,重构为基于源端指代跨度距离的先验连续客观准则——篇章依存度(Discourse Dependency, DDP),并通过英韩译后编辑实验揭示了前沿大模型在长程篇章推理上的系统性失效以及主流自动评估指标对篇章难度的盲区。

FuzhouBench: A Benchmark for Eastern Min Chinese with Tone Sandhi Annotations

基于社区开源词典构建首个包含连读变调标注的闽东语福州话 NLP 基准 FuzhouBench,系统评测 G2P、变调预测与释义检索,揭示了大模型对复杂方言音系规则拟合不足及口语查询下检索崩塌的核心挑战。

IndicParam: Benchmark to evaluate LLMs on low-resource Indic Languages

论文基于印度国家研究生资格考试(UGC-NET)真题构建了涵盖 11 种低资源与极低资源印度语言的 13,207 道高难度选择题基准 IndicParam,通过解耦语言本体理解与事实常识推理并引入六类复杂题型,系统评测 20 款主流大模型并揭示当前模型即便如 Gemini-2.5 平均准确率亦仅有 58% 的严重瓶颈。

Length-Adaptive Decoding for Masked Diffusion Machine Translation

针对固定画布掩码扩散机器翻译在去噪前必须预分配目标长度、容易造成过短漏译或过长幻觉的结构性缺陷,本文提出完全免训练的“熵谷”(Entropy-Valley, EV)长度选择器:仅通过对少量紧凑候选长度做单次全掩码前向探测并计算平均预测熵,选取骨干模型自身最易去噪的“熵谷”画布,在 En↔Zh 与 En→De 上收回了参考长度上限 33.0%~65.3% 的 COMET-22 增益,且在同等微调数据下性能匹敌甚至超越自回归 LLaMA-3-8B。

查看全部24篇「多语言/翻译」论文 →


🔍 信息检索/RAG (71)

A Wolf in Sheep’s Clothing: Targeted Routing Hijacking in Federated RAG

本文首次提出联邦检索增强生成(FedRAG)中的预检索定向路由劫持攻击(Routing Hijacking),揭示了客户端伪造语义画像操纵路由准入的根本脆弱性,并提出了基于检索相关性、画像一致性与跨客户端一致性行为反馈的信任感知安全路由框架(TASR)。

HARVE: Hacking-Aware Reward-Head Vector Editing for Robust Reward Models

本文提出免反向传播的标量奖励模型头向量编辑方法 HARVE,通过从被攻破样本中提取多方向作弊子空间并消除头向量投影分量,在无需微调的情况下显著提升高风险专业与通用领域的防作弊鲁棒性。

Training-free LLM Verification via Recycling Few-shot Examples

本文提出 ReFeri 框架,首次将少样本样例同时用于输出生成与后验验证,通过贝叶斯对数似然分解结合前向置信度得分与留一法后向重构惩罚,在无需额外训练和标注的情况下显著抑制表面模式过拟合,跨 7 个复杂基准取得 8.2% 的相对性能提升。

AfrIFact: Cultural Information Retrieval, Evidence Extraction And Fact Checking for African Languages

提出了首个涵盖 10 种非洲本土语言与英语、包含逾 1.8 万条人工声称的事实核查综合基准 AfrIFact,系统评估了嵌入模型在跨域跨语言文档检索与句级证据抽取中的严重瓶颈,并揭示了主流大模型在非洲语言事实分类中依赖 Few-shot 提示与参数高效微调(QLoRA)才能有效利用证据的关键特性。

AnInter: Anti-Interference Training for Long Context Retrieval

针对长文档检索中目标证据往往只占局部小片段、其余内容形成严重干扰的痛点,本文提出了抗干扰训练范式 AnInter,通过短文本循环拼接合成含噪多正例并采用多正例 InfoNCE 进行微调,在无需昂贵长序列预训练的前提下使模型在 LongEmbed 上取得 16.4 分的平均性能跃升。

Argument Collapse: LLMs Flatten Long-Form Public Debate

本文通过系统比对 5 款前沿大模型在 256 场真实公共辩论中的 23,381 篇生成文章与 1,487 篇人类长文,首次在主论点、支撑分论点与篇章论辩结构三个层次量化了跨模型「论辩塌缩」(Argument Collapse)现象,并揭示了现有基于人类偏好的评价体系对共有论点的强化偏差。

Argus-Retriever: Vision-LLM Late-Interaction Retrieval with Region-Aware Query-Conditioned MoE for Visual Document Retrieval

针对传统视觉语言后期交互检索中文档表征对查询不敏感的痛点,Argus 引入融合查询上下文与空间坐标的区域感知混合专家模块(MoE),实现保持离线多向量索引高效性的查询自适应文档表征,在 ViDoRe V1+V2 榜单上达到 86.0 NDCG@5。

Authority Bias in Conversational Search Engines for Academic Paper Recommendation

本文提出首个针对大语言模型对话式学术论文推荐的受控反事实因果审计框架,在冻结标题与摘要的前提下操纵多维权威元数据,揭示出高达 39.2% 的推荐决策受声望驱动发生翻转,且证实顶会声望主导偏见、前沿模型在温和去偏提示下发生反噬并存在显著的“言行差距”。

Axis-LoRA: Probing and Adapting Embedding Models for Personal-Memory Retrieval

针对通用文本嵌入模型在个人记忆检索中对时间、空间、实体与事件四类属性轴严重欠暴露的问题,提出在冻结底座内部引入轴特定 LoRA 分支与逐查询稀疏门控路由的 Axis-LoRA,在极低参数微调下显著提升长程多会话记忆召回。

Benchmarking Aggregation Queries over Unstructured Text

针对现有检索增强与智能体系统在开放文本上“只找部分支撑证据、缺乏全局完备覆盖”导致系统性漏数的缺陷,本文形式化了语料库受限的实体级文本聚合查询任务,构建了涵盖金融与科研领域 498 道多/单约束聚合查询基准 AGGBench,并通过 15 种代表性系统的系统评测揭示了现有范式在实体召回与证据密度稀疏场景下的根本瓶颈。

查看全部71篇「信息检索/RAG」论文 →


💻 代码智能 (8)

ChainSWE: Benchmarking Coding Agents on Multi-Bug Software Maintenance

构建了首个针对多缺陷连续修复的软件工程智能体基准 ChainSWE,揭示出累积的代码仓库状态漂移会导致智能体单缺陷解决率沿修复链急剧下降高达 70%,且传统对话记忆保留与主动重写往往难以弥补代码基线的隐性破坏。

DSEffi-Bench: Demystifying Large Language Models’ Capabilities in Data Science Programming

构建了首个针对数据科学代码生成执行效率的评测基准 DSEffi-Bench(包含 1,000 个源自真实 Stack Overflow 痛点的人类验证实例与压力测试套件),揭示出正确性与效率的显著解耦现象,提出了细粒度五分类效率根因分类学,并通过分类学引导优化与库感知路由实现了高达 +14.7% 的效率增益与 13.0× 的成本缩减。

Fast and Focused: Interactive Repository-Level Fill-in-the-Middle Code Completion with Hybrid Structural Retrieval

针对交互式仓库级代码补全中检索粗糙与生成越界破坏后缀结构的问题,ACAR 提出了基于行级倒数排名融合(RRF)的词法与 AST/LSP 结构混合检索,并结合语法感知祖先对齐后处理,在 87–95 ms 低延迟开销下大幅超越现有方法。

Functional Entropy: Predicting Functional Correctness in LLM-Generated Code with Uncertainty Quantification

针对自然语言推理(NLI)无法区分代码功能差异而导致语义熵聚类坍塌的缺陷,提出基于代码功能等价性判别的一系列不确定性量化方法(Functional Equivalence Methods),在多语言基准上无需执行测试即可高精度预测大模型生成代码的功能正确性。

PolySQL: Scaling Text-to-SQL Evaluation Across SQL Dialects via Automated Backend Isomorphism

PolySQL 提出了一种基于后端同构与归一化比较的双重执行(Dual-Execution)评测方法,消除了跨 SQL 方言评测对脆弱查询转译的依赖,以 100% 执行覆盖率和最高保真度揭示了模型跨方言评测中 25.2% 的相对性能下滑及逻辑退化瓶颈。

SABER: Benchmarking Operational Safety of LLM Coding Agents in Stateful Project Workspaces

SABER 构建了一个包含 716 个 Docker 沙箱化真实工程任务的状态化操作安全评测基准,从多步执行轨迹与环境状态持久化变更出发,揭示出即使前沿模型在实际项目操作中的有害安全违规率仍高达 54.7% 以上。

Verification Trap: Understanding Test-Time Selection Failures under False Premises in Code Generation

论文揭示了代码生成中测试时验证选择的关键漏洞:当生成器与验证器共享错误前提时两者发生认知耦合,验证器生成的测试用例无法暴露依赖错误假设的捷径候选,导致在 64 个候选中即使存在正确程序也会被误选淘汰;通过无金标风险预测与解耦证据通道可有效收复潜在正确率。

XRepoTest: Benchmarking Multilingual Repository-Level Unit Test Generation for Large Language Models

XRepoTest 构建了首个跨 Rust、Go、Julia、PHP 和 Ruby 5 种语言的仓库级单元测试生成基准(3,642 个核心方法),提出检测虚假覆盖的 Invocation Rate (IR) 指标,揭示了大模型在真实项目依赖与构建约束下测试通过率仅在 27% 以下的严峻瓶颈。


🎨 图像生成 (2)

Decomposing Visual Histories with Vision-Language Agents: Hierarchical Temporal Guidance for Compositional Image Generation

针对多参考图图像生成中异构参考信息相互冲突和破坏性扁平融合问题,提出无需训练的层级时间引导框架 HTGF,利用视觉语言智能体将参考图分解为主体、结构和细节三维控制策略,并基于 Tweedie SNR 灵敏度闭式解将不同语义轴映射至去噪轨迹的特定时间窗口,结合流形校正器消除阶段突变伪影。

SpatialGuard: Harness-Guided Verifiable Spatial Reasoning for Text-to-Image Generation

SpatialGuard 将文本到图像的复杂 3D 空间推理抽象为可编辑的结构化布局状态,并首创引入由规则约束、工具调用、共享知识与反馈循环构成的 Layout Harness,通过「规划-具象化-验证-修复」闭环彻底解决了多轮生成中的空间约束衰减难题。


🎬 视频生成 (1)

Helping Figures Tell their Story! Paper-Grounded Video Generation Explaining Complex Scientific Figures

针对科学论文中高度压缩的架构图难以理解的问题,本文提出了首个论文立足的图表到视频生成基准 FigTalk,并设计了将任务解耦为“说什么、指什么、怎么指”的三团队流水线 MINARD,在保持原始图表高保真度的同时生成时序对齐的高质量讲解视频。


🧩 多模态 VLM (80)

Anchoring What Matters: A Dual-Level Learning Framework for Visually-Grounded Multimodal Reasoning

针对多模态可验证奖励强化学习(RLVR)中高质量视觉定位轨迹随抛弃而流失、标量优势均匀分配稀释关键视觉与逻辑步骤优化的双层瓶颈,本文提出 PIVOT 框架,通过自校准经验回放构建历史回顾锚点,并结合局部反事实视觉支撑与未来熵门控影响动态重构 token 级优势,在 Qwen2.5-VL 上显著提升多模态几何与数学推理性能。

Beyond Visual Memory: Mechanistic Diagnostics of Latent Visual Reasoning

本文将多模态大语言模型的隐空间视觉推理分解为隐式槽位、边界标记符与格式三要素,构建高精度强探针 MVH 证明槽位内容并非可恢复的视觉记忆,增益实质来源于标记符格式控制与视觉注意力路由。

Can Humans Dream of Electric Sheep? Human-Written Samples for Fine-Grained Vision-and-Language Hallucination Benchmarking

针对视觉语言模型(LVLM)幻觉评测基准严重依赖特定模型生成、极易快速过时且难以覆盖罕见错误类型的问题,本文提出了跨 4 种语言、涵盖 5 种 LVLM 与人类手写伪造样本的 20,000 条细粒度字符跨度级幻觉基准 SHEEP,实证了人类编写幻觉在标注一致性、类别均衡可控性及评测有效性上完全可替代传统依赖模型的合成评测基准。

Causal Probing for Internal Visual Representations in Multimodal Large Language Models

本文提出基于激活引导的因果探测框架,通过差异均值提取四类视觉概念向量并干预残差流,揭示了实体知识高度局部化而抽象概念全局分布的内在表征机制,并发现了逆向引导下的隐式过补偿以及视觉感知与几何推理动作的严重脱节。

Chartographer: Counterfactual Chart Generation for Evaluating Vision-Language Models

CHARTOGRAPHER 将图表逆向工程解析为语义数据与可执行绘图代码,在自反思与人工验证保证保真度后生成底层数据受控改变的反事实图表,并用可执行逻辑重新计算答案,系统揭示了前沿 VLM 在原始图表做对后仍广泛无法随视觉证据改变而更新答案的泛化盲区。

Co-Evolutionary Prompt Optimization with Cross-Category Transfer for Zero-Shot Anomaly Detection

CoEvoAD 针对零样本工业异常检测中连续提示词可解释性差与源域过拟合问题,提出了离散自然语言规则的双种群协同演化搜索框架,并引入基于源域留出类的跨类别迁移目标(CCTO),在保持语言可读性与毫秒级推理速度的同时刷新了六大基准 SOTA。

Correlation-Flip Visual Injection for Hallucination Mitigation in Large Vision-Language Models

本文发现大型视觉语言模型在深层存在视觉证据被语言先验反向压制的“相关性翻转”现象,并提出一种完全免训练、轻量级的推理期视觉注入方法(CFVI),在保持 35.01 token/s 高吞吐的同时显著压低 CHAIR 和 POPE 幻觉指标。

Exposía: 针对研究项目开题报告与同行评审反馈的学术写作技能教学与评估基准 (Exposía: Teaching and Assessment of Academic Writing Skills for Research Project Proposals and Peer Feedback)

达姆施塔特工业大学 UKP 实验室提出首个贯通“初稿撰写-双源反馈-修订终稿”完整教学链条的学术写作基准 Exposía,配套 36 项开题与 24 项评审细粒度评估量表,揭示了联合提示在大模型自动化写作与评审评测中的显著优势与开闭源模型特性。

E^3-Pruner: Towards Efficient, Economical, and Effective Layer Pruning for Large Language Models

针对大语言模型结构化剪枝中性能受损严重、掩码搜索代价高昂以及端到端加速受限的三重矛盾,本文提出两阶段剪枝框架 E^3-Pruner,通过基于 KL 散度初始化的可微 Gumbel-TopK 采样器与渐进调度实现精准经济的层掩码搜索,结合 Token 预测熵加权的自适应知识蒸馏恢复模型能力,在仅消耗 0.5B token 的极低预算下显著刷新 SOTA 表现。

Divide-and-Adapt: Fine-Tuning VLMs via Model Division and Routing

针对传统微调始终保持密集预训练架构完整而导致的计算冗余与下游适配瓶颈,本文提出 Divide-and-Adapt 范式,通过 Wanda 与 SparseGPT 结合不同校准数据将预训练 FFN 剪枝切分为多样化子网络专家,并以交替 DA-MoE 模块配合 top-2 动态路由协同微调,在大幅降低推理激活参数的同时超越全量微调与 LoRA。

查看全部80篇「多模态 VLM」论文 →


🧠 VLM Reasoning (17)

Ada-DeVL: Adaptive Decoupling of Visual and Logical Reasoning Pathways for Efficient VLM Inference

Ada-DeVL 将多模态大模型测试时推理显式解耦为视觉感知深度与逻辑推理强度构成的 \(2 \times 2\) 路径体系,通过自蒸馏 SFT 与带多样性/格式长度惩罚的 GRPO 强化学习,实现了按题目复杂度动态分配计算量,在消除过度思考与视觉幻觉的同时大幅缩减 token 消耗。

Decompose, Look, and Reason: Reinforced Latent Reasoning for VLMs

提出 DLR 框架,通过在思维链中交错生成文本前提、抽取前提引导的连续视觉隐变量并生成定位论证,并设计球面高斯潜在策略(SGLP)结合 GRPO 强化学习,显著提升多模态模型复杂视觉推理能力。

FloCA: Towards Faithful and Logically Consistent Flowchart Reasoning

针对大模型在面向流程图的多轮对话中缺乏拓扑约束且极易发生节点跳转幻觉的难题,FloCA解耦语义理解与路径推理,通过拓扑受约束的外部图执行工具确保节点转移忠实一致,在任务成功率与路径覆盖度上大幅超越现有LLM与VLM基线。

How Robust is OCR-Reasoning? Evaluating OCR-Reasoning Robustness of Vision-Language Models under Visual Perturbations

本文提出了首个专注于评估视觉语言模型在受控视觉退化下文本推理稳健性的诊断基准 OCR-Robust,通过双子集评测与多维保留率度量,揭示了高推理能力与模型扩展并不能保证视觉扰动下的鲁棒性,尤其是图表和表格等结构化视觉输入在扰动下表现出极高的符号脆弱性。

Keeping Eyes on the Image: Dynamic Visual Attention Recalibration for Vision-Language Reasoning

针对多模态大语言模型(LVLM)在自回归思维链推理后期严重依赖已生成文本而出现「视觉注意力衰减」的退化问题,本文提出免训练的推理解码方法 DVAR(Dynamic Visual Attention Recalibration),通过提示词空间锚定、语义相关性权重与时间步注意力转移散度联合调度,自适应放大当前视觉目标的 value 向量,在六大基准与多款架构上显著改善视觉忠实度与多步推理精度。

Learning to Reason Before Masking for Referring Audio-Visual Segmentation

针对指代音视频分割中隐式多跳线索推理缺失的瓶颈,本文提出了 Reasoning Ref-AVS 新任务与 ReAVS 基准,并设计了先进行全模态实体多跳推理再条件解码掩码的 Re2Seg 框架。

MedQA-MM: Shortcuts Behind Medical Visual Reasoning

针对医疗多模态多选题基准将单一准确率错误等同于真实图像推理能力的“推理虚增”问题,本文提出了涵盖候选筛查、模态消融、成对微创修复与临床验证的证据阶梯评测框架,实证揭示了选项形式与非视觉文本等捷径对模型决策的显著驱动作用,并构建了具备残差风险审计的千题级捷径抑制基准 MEDQA-MM。

MeetingToM: Evaluating Multimodal LLMs on Theory-of-Mind Reasoning in Multi-Party Meetings

针对现有心智理论评测局限于孤立显式问答的缺陷,本文提出了首个面向真实多方会议场景的层次化多模态心智理论评测基准 MeetingToM,通过解耦主体状态、二元指代态度与群体共识三级社交颗粒度,深入揭示了前沿多模态大模型在捕捉微弱非言语线索、辨识“表面合意、内心异议”的伪共识现象上的系统性缺陷。

MemDreamer: Decoupling Perception and Reasoning for Long Video Understanding via Dreaming-Induced Dynamic Working Memory

MemDreamer 将长视频理解解耦为流式离线感知建图与基于纯文本分层图记忆的主动智能体推理,通过三层语义拓扑与七大工具驱动的观察-推理-行动循环,仅需 5-6K 上下文窗口即可在 LVBench 上达到 85.5 的前沿 SOTA 水平。

MR^2-Bench: Going Beyond Matching to Reasoning in Multimodal Retrieval

提出了首个涵盖知识检索、图解搜索与视觉关系推理三层体系的推理密集型多模态检索基准 MR^2-Bench,涵盖 12 个子任务与 1,309 个经过严格视觉不可替代性验证的查询,揭示了当前顶尖嵌入模型在深度视觉推理上的巨大性能断层,并证明显式思维链重写与两阶段推理重排能带来最高 +15.22 nDCG@10 的显著收益。

查看全部17篇「VLM Reasoning」论文 →


⚡ VLM Efficiency (1)

Learning to Zoom Efficiently with a Contrastive Curriculum

针对视觉语言模型学习缩放工具(Zoom-in Tool)严重依赖昂贵的人工标注与轨迹级冷启动 SFT 的痛点,提出一种基于 InfoNCE 对比差异的自监督内在探索奖励与动态负样本课程学习机制,完全无需 SFT 即可驱动强化学习收敛,且仅凭单次精准缩放便在多个通用 VQA 基准上达成超越多轮交互基线的帕累托最优性能。


🎵 音频/语音 (31)

A Family Affair: Counterintuitive transfer effects across speech-language models

针对低资源濒危语言 ASR 常假设同语族语言迁移效果最优的传统经验,本文在 7 种台湾南岛语系濒危语言上进行严格的音素等量跨语言微调实验,反直觉地证实非亲缘关系供体语言(如英语、斯瓦希里语)的迁移增益显著优于同族语言,甚至超过近一倍目标语本语言数据的微调效果。

Audio-Reward-R1: Reasoning Reward Model for Unified Audio Understanding and Generation

Audio-Reward-R1 是首个统一音频理解偏好(AUP)与音频生成偏好(AGP)的推理型奖励模型,通过两阶段数据构建、细粒度维度推理与可验证奖励指导的 GRPO 强化学习,在 Audio-Reward-Bench 上取得 87.90%(AUP)和 80.10%(AGP)的最佳性能,全面超越闭源模型 Gemini-3-pro-preview。

Better Retrieval, Worse Robustness: How Multi-hop RAG Amplifies Upstream ASR Errors

本论文系统评估了口语多跳检索增强生成(RAG)管道,发现实体图链接与迭代检索重构等先进结构虽然在干净文本上表现优异,但在面对上游ASR识别误差时不仅未能吸收扰动,反而将口音导致的F1退化差距放大了36%至67%,其实验诊断证明查询实体破坏是占据主导地位的级联失效根源。

Beyond Text Following: Repairable Arbitration Reversals in Audio-Language Models

针对音频语言模型在图文/音文冲突下盲目顺从文本的仲裁反转失效,本文提出一种免训练的门控反事实对数校正算法 GACL,通过因果激活修补定位到答案边界残差流的表征位移,在严格忠实度预算下显著挽救音频遵循决策。

BiMTokenizer: Preserving Semantic-Acoustic Balance in Low-Bitrate Speech Tokenization

针对低比特率语音编解码中双塔解耦架构参数开销大与单塔码本崩溃的困境,BiMTokenizer 在单塔架构下融合双向 Mamba 骨干与无须可学习码本的残差球面李奇量化(RSLQ),在 1.1 kbps 极低码率下实现了保真度与语音理解能力的双重突破。

Bulbul: A Dataset for Dialectal Arabic Speech Recognition

本文构建了首个涵盖11个阿拉伯国家、16个细粒度方言与子方言的大规模多源社区驱动语音识别数据集BULBUL(总计71.59小时),并配套两级质检和口音化现代标准阿语/古典阿语评估集,揭示了前沿多语言ASR在真实方言口语识别中的巨大性能落差。

CALM: Class-Conditional Sparse Attention Vectors for Large Audio-Language Models

本文提出免微调分类器 CALM,将冻结大音频语言模型内部注意力头建模为类别条件专家,利用少样本边界置信度加权实现软投票聚合,在音频、视听及跨模态少样本分类上显著超越均匀投票基线。

CSAVocoder: A Causal Spatial Audio Vocoder Towards Real-Time Spatial Audio Generation

针对传统神经声码器忽略跨通道空间线索且非因果架构难以实时流式推断的瓶颈,CSAVocoder 提出一种集成多通道自注意力与动态位姿 FiLM 调制的空间适配器、严格因果无未来帧依赖的状态化生成器,以及格式自适应声场一致性判别器与损失函数,在保持高保真波形合成与亚实时(RTF=0.1587)低延迟的同时,显著提升了双耳与一阶高保真立体混响(FOA)空间声学线索的渲染精度。

DOA: Training-Free Decoder-Only Attention Policy for Long-Form Simultaneous Translation with SpeechLLMs

针对 Decoder-Only 架构 SpeechLLM 缺乏显式交叉注意力的瓶颈,DOA 提出一种纯训练无关的流式决策策略,直接从自注意力矩阵中切片出代理交叉注意力信号并结合标点感知历史剪枝,在长音频连续流式翻译中实现了逼近离线解码的高质量与低延迟。

EmbodiChat: Towards Zero-Latency Text-driven Talking Face Generation for Embodied Dialogue

针对具身对话中传统级联式音频驱动面部动画延迟高、易受级联误差干扰以及跨硬件泛化难的痛点,EmbodiChat 将面部动作生成直接对齐到两阶段 TTS 的离散/连续声学表征空间,摆脱了对中间音频波形合成与跨模态适配器的依赖,配合流式隐空间解码器和通用面部动作编译器(UFAC),在消费级 GPU 上实现了约 150 ms 的首包音频延迟与跨异构机器人的高保真动作迁移。

查看全部31篇「音频/语音」论文 →


🧑 人体理解 (3)

Beyond CTC Spikes: LLM-Driven Gloss-Temporal Supervision for Continuous Sign Language Recognition

针对连续手语识别中 CTC 损失导致的稀疏脉冲对齐塌陷与视觉语义表征微弱问题,本文提出 GTM 模块融合时序锚点、帧间差分与 MLLM 帧级动作描述,借助 LLM 结构化推理构建显式手语词-帧区间密集监督,在不改变识别器参数的情况下显著加速收敛并降低错误率。

DiscoSign: Discourse-Aware Text to Sign Language Gloss Translation

DiscoSign 是首个面向文本到手语标签(Gloss)翻译的篇章感知计算框架,通过显式状态注册表与确定性规则后处理,在单次大模型调用中协同约束空间共指消解、问答分句重构与概念-标签映射一致性,显著提升多句手语生成的篇章连贯性。

sEMG Typing Transcription with Conformer Encoding and Beam-Aware Large Language Model Correction

提出一种连接前端信号转录与大语言模型纠错的意图打字框架,利用多尺度双边 Conformer 产生 CTC beam 候选假设,并通过微调 Qwen3.5-9B 进行三窗口局部纠错,在 emg2qwerty 基准上将泛化 CER 降低至 19.65%、个性化 CER 降低至 2.01%。


📹 视频理解 (17)

CapRiCorn-1K: A Comprehensive Benchmark for Video Captioning and Subject Referential Consistency Across Temporal Scales

针对现有视频字幕基准时长偏短、场景单一且忽视长程实体追踪的痛点,CapRiCorn-1K 构建了首个涵盖 15 秒至 10 分钟跨度、包含动态场景转场与服装形变的 1000 条长视频基准,通过五类关键点评估整体字幕质量,并首创基于锚定共指聚类的“主体指称一致性”(Ref)量化指标,支持音视频与纯视觉双模态评测。

Caption-once, Frames-on-Demand: Visual-Need Routing for Budget-Aware Agentic Long Video Understanding

提出 Caption-once, Frames-on-Demand (CFD) 边云协同智能体长视频理解架构,通过边缘侧单次离线构建双轨叙事索引(事件级故事骨架与切片级微动作日志),并在云端通过视觉需求路由器(Visual-Need Router)仅在感知类属性问题上按需检索少量关键帧,将平均每查询在线抽帧量降至 5.8 帧(相比密集基线降低两个数量级),并在 Video-MME (67.5) 与 InfiniBench 上实现精度与计算效率的最佳权衡。

CausalChapter: Improving Long-Form Video Chaptering with Interventional Dependency Modeling

针对长视频章节切分在分段生成范式下面临的边界误差累积与跨片段上下文碎片化瓶颈,本文提出基于因果干预思想的 CausalChapter,通过局部掩码干预捕获相邻时间窗的依赖骤降实现平滑过渡边界定位,并通过剔除式干预评估历史段落对当前章节生成的实际支持度以重排上下文,在 AVLecture 与 VidChapters-7M 基准上显著超越现有 SOTA 模型。

CoFIE: Coarse-to-Fine Evidence Selection for Efficient Streaming Video Understanding

针对流式视频中编码阶段计算开销大及下游 token 剪枝难以缩减端到端延迟的问题,提出两阶段粗到细证据选择框架 CoFiE,在视觉编码前利用灰度直方图新颖度过滤时间冗余帧,在 LLM 预填充阶段通过文本-视觉注意力筛选问题相关证据帧,实现高达 2.54× 端到端加速与超越全帧基线的准确率。

Emotion Understanding in Streaming Video with Trajectory-Aware Reliability

针对流式视频中前缀预测片面且容易产生虚假高置信度的问题,提出基于轨迹感知的可靠性决策框架 TRACE,利用轻量音频流动态构建情感信念演化轨迹,通过风险与收益双头网络评估轨迹稳定性并自适应触发跨模态重解释,在仅调用 55.58% 重解释率的情况下达到 69.47% 的高准确率。

HIPPO: Accelerating Video Large Language Model Inference via Holistic-aware Parallel Speculative Decoding

针对视频大语言模型推理中的视觉Token冗余与草稿模型延迟瓶颈,HIPPO提出了结合多维正交评分的语义感知Token保留策略与重叠生成-验证阶段的视频并行推测解码算法,在保证理论无损的前提下实现了最高3.51倍的端到端推理加速。

Long-to-Short Video Evidence Reasoning for Grounded Question Answering

针对视觉证据定位视频问答(GQA)中证据稀疏度不一及边界重叠优化干扰问答目标的问题,本文提出 LOVER 强化学习后训练框架,引入由长到短的证据课程学习、以 IoP 替代传统 IoU 的证据发现奖励机制,以及背景感知自适应时间戳渲染,在 NExT-GQA 和 ReXTime 基准上均取得开源模型最优表现。

LongSpace: Exploring Long-Horizon Spatial Memory from Perception to Recall in Video

针对长视频中 3D 空间线索跨时程分散且易被冗余视觉 token 稀释的痛点,本文提出了融合 3D 空间结构感知(SSP)与分层 KV 记忆(HKM)的统一架构 LongSpace,并构建了涵盖秒级至小时级室内漫游的长时程空间记忆评测基准 LongSpace-Bench,在空间记忆回溯与多项基准上取得显著突破。

MemDreamer: Decoupling Perception and Reasoning for Long Video Understanding via Agentic Hierarchical Graph Memory

提出 MemDreamer 框架,将长视频理解彻底解耦为流式视频构建纯文本「分层图记忆」与智能体驱动的「工具增强检索」两阶段,仅需原生端到端 2% 的上下文窗口即在四大长视频基准上刷新 SOTA。

MemoryCard: Topic-Aware Multi-Modal Clue Compression for Long-Video Question Answering

针对长视频问答中关键证据稀疏短暂且孤立帧缺乏语义连贯性的痛点,MemoryCard 通过 VLM 自阅读将视频切分为事件会话,将事件摘要、对齐语音及代表帧统一渲染为高密度图文「记忆卡片」,配合问题感知检索与相关度自适应分辨率分配,在有限视觉预算下大幅提升长视频问答准确率。

查看全部17篇「视频理解」论文 →


🚗 自动驾驶 (1)

PlannerForge: LLM Agents for Scenario-Based Testing of Motion Planners in Autonomous Driving

PlannerForge 提出了首个贯穿自动驾驶运动规划器场景化测试全生命周期的 LLM 智能体框架,通过模块路由解耦、真实地图参数化生成、分层检索、基于 SUMO 物理约束的四维场景修改及自然语言参数微调,全面替代传统碎片化人工测试工具链。


🤖 机器人/具身智能 (7)

Inferring the Unspoken: Aligning Embodied Agents with Implicit Preferences

针对具身智能体面对欠指定自然语言指令时难以满足用户个性化隐式偏好的难题,本文提出了涵盖 290 项偏好的 PBP 评估基准,并设计了两阶段框架 InTU,通过显式语言化推断隐式偏好后再行规划,揭示了具身对齐瓶颈在于偏好获取而非下游规划。

IntentVLA: Short-Horizon Intent Modeling for Aliased Robot Manipulation

针对部分可观测下当前帧多义性(observation aliasing)导致分块策略频繁跳变意图的问题,IntentVLA 从近期视觉历史中提取紧凑的相机与寄存器 token,通过门控交叉注意力与全局意图 token 注入 Qwen3-VL 上下文来引导 DiT 流匹配动作头,在 AliasBench、SimplerEnv、LIBERO 及双臂实机抓取任务上显著提升了操作成功率与动作轨迹的一致性。

LIBERO-Para: A Diagnostic Benchmark and Metrics for Paraphrase Robustness in VLA Models

本文提出了首个细粒度解耦动作与物体维度的 VLA 复述鲁棒性诊断基准 LIBERO-Para 与难度感知综合指标 PRIDE,系统揭示了 VLA 模型在下游微调下面临 22–52 百分点的普遍性能骤降,证实物体视觉接地缺陷是核心瓶颈,且 80–96% 的失败源于高层任务识别引起的规划发散。

LookStep: Efficient Vision-Language Navigation with Linguistic Foresight and Event Driven Memory

针对连续视觉语言导航中下步动作直接模仿导致的数据效率低下与历史视觉观察累积导致的显存爆炸,LookStep 引入语言中心未来状态建模与事件驱动滚动记忆,仅凭单目 RGB 且不依赖额外 3D 几何工具便在 R2R-CE 上取得 49.7% 成功率与显著显存/延迟削减。

MineExplorer: Evaluating Open-World Exploration of MLLM Agents in Minecraft

针对现有游戏基准过度耦合专有机制与短程任务的问题,MineExplorer 构建了首个解耦游戏先验、围绕 ReAct 架构并具有隐式多跳依赖图的 Minecraft 开放世界探索评测基准,利用多智能体协同合成场景与规则化里程碑,揭示出顶尖 MLLM 在面对长程隐式先决条件时性能断崖式下跌的瓶颈。

Mini-BEHAVIOR-Gran: Revealing U-Shaped Effects of Instruction Granularity on Language-Guided Embodied Agents

针对语言引导具身智能体中指令粒度难以跨任务量化与受控评估的难题,构建了多粒度动态指令基准 MINI-BEHAVIOR-GRAN,提出规划宽度作为量化认知与规划负担的核心指标,并在三类 VLA 架构下揭示出性能随粒度变化的非单调 U 型效应及粗粒度下的浅层视觉捷径机制。

When Search Becomes Memory: Accelerating Robot Design Discovery with Self-Evolving Skills

针对传统机器人演化构型搜索中代价昂贵的仿真探索轨迹在迭代后即被遗忘的无记忆弊端,本文提出 AUTO-ROBOTIST 自演化智能体,将构型物理评测轨迹提炼为显式的自然语言技能库(包含结构原型、正负规则及支持证据),实现了冷启动加速搜索以及从 \(5\times 5\) 到 \(10\times 10\) 跨尺度搜索空间的有效知识迁移。


🎮 强化学习 (7)

Beyond SFT-Optimality: Cold-Start Data Selection for Reinforcement Learning via Gradient Subspace Coverage

针对传统以 SFT 性能为导向的数据选择准则无法预测下游强化学习样本效率的倒挂现象,本文提出 RL-Proxy-Coverage 方法,利用紧凑的 RL 锚点提示与验证器奖励估计低秩奖励梯度子空间,并通过贪心对数行列式目标选择提供非冗余覆盖的冷启动 SFT 子集,显著提升下游数学推理 RL 的样本效率。

EDGE: Experience-Distillation for Guided Exploration in Agentic Reinforcement Learning

EDGE 提出将检索经验从推理期常驻的提示拐杖转变为训练期的瞬态探索脚手架,通过组内无损评估经验边际增益并以反向 KL 散度蒸馏至自身参数,实现了无需推理期检索依赖的自主探索智能体。

Expanding the Solvable Frontier: Policy-Adaptive Curriculum Learning for Reasoning RL

针对推理强化学习中静态难度标签与学生模型实际能力脱节的痛点,本文提出策略自适应课程框架 PAD-Curriculum,基于学生贪婪采样轨迹划分已解与未解边界,并利用冻结评分模型归一化 KL 散度对已解题目精细排序与动态重排,在不引入 token 级模仿的前提下显著提升数学推理性能。

HIPO: Instruction Hierarchy via Constrained Reinforcement Learning

本文提出 HIPO 对齐框架,将大语言模型的分层指令遵循(HIF)形式化为约束马尔可夫决策过程(CMDP),利用解耦式判别器和基于组相对优势的原对偶安全强化学习,在严格满足系统提示词约束的可行域内最大化用户效用。

How Much Supervised Fine-Tuning Is Enough? Dissecting the Impact of SFT Extent on Downstream Reinforcement Learning Performance

本文系统剖析了监督微调(SFT)深度对下游强化学习(RL,如GRPO)性能的制约机制,提出衡量解码概率集中度的刚性指数(Rigidity Index)与精度-刚性拐点准则,证明在拐点处由SFT切换至RL能在保障领域对齐的同时最大化下游探索收益。

Long Document Reconstruction Unlocks Scalable Long-Context RLVR

本文提出了一种完全无监督的长文本可验证奖励强化学习(RLVR)框架,通过遮蔽长文档中的段落并让大模型从打乱的候选池中重构正确顺序,利用文档自身固有的篇章结构提供自动化、可验证的稠密奖励与课程学习信号,无需人工问答标注或教师模型蒸馏即可显著提升大模型的长上下文检索与综合推理能力。

Source-Grounded Semantic Reinforcement Learning for Low-Resource Target-Language Generation

针对低资源目标语言生成中平行数据稀缺的问题,SG-SRL 提出“训练-强化-恢复”三阶段框架,利用多语言重排器构建无目标参考的源端语义奖励,将海量高资源源语言单语数据转化为强化学习语义监督,并通过轻量级微调消除奖励作弊、恢复目标语言格式。


🎁 推荐系统 (4)

Illuminating the Path: Reachability-Aware Supervision Curation for LLM-Based Recommendation

GEARec 针对大语言模型在序列推荐中因「上下文利用偏差」强行拟合历史噪声以及海量候选池中探索奖励极度稀疏的困境,提出由双视角锚点提取、可达性感知轨迹路由与动态微调对齐构成的离线数据精选框架,使小参数量模型在全库真实检索与长尾推荐上显著超越强化学习及更大规模语言模型基线。

LLaDA-Rec: Discrete Diffusion for Parallel Semantic ID Generation in Generative Recommendation

针对自回归生成式推荐中单向因果约束限制全局表征以及早期预测误差沿 token 链累积放大的固有缺陷,LLaDA-Rec 首次将离散扩散模型引入语义 ID 预测,通过多头 VQ-VAE 并行分词、历史与物品双层掩码训练及自适应束搜索,实现了高质量的并行自适应顺序推荐。

Re2A: Situated Conversational Recommendation via Rubric-based Preference Reasoning and Alignment

本文提出情境化对话推荐框架 Re2A,通过自动化规则引导的策略优化生成显式结构化偏好状态,并结合异构负样本偏好条件 DPO 解决物理场景与用户需求的双重对齐困境,在多模态对话推荐中实现大幅精度提升与极低幻觉率。

SafeGEO: Understanding Generative Engine Optimization Risks in Recommendation Agents

SafeGEO 首次将生成式引擎优化(GEO)从被动的“可见性提升”重新定义为推荐智能体的“效用对齐与决策危害”问题,提出了涵盖 3 个操纵维度、7 类原语的 22 种攻击变体评测套件,揭示出真实感攻击可使缺陷商品进入前三推荐率激增高达 83.2 个百分点,并验证了排序前证据核验防御可削减最高 39.2 个百分点的有害推荐。


🔄 自监督/表示学习 (2)

CWoMP: Morpheme Representation Learning for Interlinear Glossing

CWoMP 摒弃了将行间标注视为无约束字符序列生成的传统范式,通过多正例对比预训练将单词与「形-义」语素原子单元对齐至共享嵌入空间,并利用轻量自回归解码器从可变词典中进行离散检索,实现了 0% 语素幻觉、切分-标注严格 1:1 对齐、推理算力消耗降低 8.5 倍以及推理期零重训动态扩展。

Unified Work Embeddings: Contrastive Learning of a Bidirectional Multi-Task Ranker

针对劳动力市场中离散任务割裂与超大规模候选空间难题,本文提出统一工作排序基准 WorkBench 与轻量双编码器 UWE,基于二部图多对多 InfoNCE 损失与全词元软迟延交互,以仅 109M 参数击败 8B 通用大模型并实现显著正向跨任务迁移。


📐 优化/理论 (1)

FormuEvo: LLM-Guided Evolution for Discovering Solver-Efficient Mixed-Integer Programming Formulations

FormuEvo 将混合整数规划(MIP)的高效建模设计重构为可执行代码空间上的 LLM 引导演化搜索,通过将求解器底层运行统计转化为可解释的语言梯度诊断,并结合三元组结构化记忆蒸馏,实现了比人类专家与前序模型高出多至 5.5 倍的求解加速。


🔗 因果推理 (1)

From Text to Structure: The PACKaGE Benchmark for Bidirectional Causal Reasoning in Paragraphs and Graphs

提出了首个段落级双向因果推理基准 PACKaGE,构建了包含 4,566 个学术事实段落与因果有向无环图(DAG)的配对数据集,系统揭示了大语言模型在因果提取与因果生成之间的能力解耦现象。


🔬 可解释性 (19)

Attribute-Based Activation Steering of LLMs for Group-Specific Explanation Generation

本文提出一种无监督且免训练的属性级激活引导方法,从社区解释文本中提取目标群体的风格与知识属性,在推理期内部激活层注入加权引导向量,在保证事实性的同时显著提升生成解释对特定群体的针对性。

Beyond Decodability: Reconstructing Language Model Representations with an Encoding Probe

针对传统解码探针无法跨特征统一度量贡献度且易受特征共线性误导的问题,本文提出反转探针方向的编码探针(Encoding Probe),利用多变量 Ridge 回归与特征消融重构模型内部表征,首次在统一未解释方差(UV)尺度上严格解耦并量化了声学、音素、说话人、句法与词汇特征的独立贡献。

Confidence Before Answering: A Paradigm Shift for Efficient LLM Uncertainty Estimation

提出先置信度后回答(Confidence-first)的新范式与端到端强化学习框架 CoCA,利用分组经验胜率作为动态目标,并通过分段信用分配联合优化置信度校准与答案正确率,将置信度获取成本降低 92% 以上。

Dissecting Transformers: A CLEAR Perspective Towards Green AI

针对硬件能耗传感器采样周期与微秒级组件执行时间严重失配的瓶颈,提出基于激活缓存与重复放大测量的评测框架 CLEAR,首次完成跨 4 类架构 15 个模型的组件级细粒度推理能耗拆解与规律建模。

Diverging Transformer Predictions for Human Sentence Processing: A Comprehensive Analysis of Agreement Attraction Effects

通过基于惊讶度的链接机制对11个自回归Transformer进行主谓一致吸引效应评测,揭示出模型虽然在介词短语修饰结构上能复现人类阅读时间模式,但在宾语抽取关系从句中预测严重分歧且违背认知与理论预期,否定了当前Transformer作为人类形态句法处理通用认知模型的充分性。

Do Compounds and Phrases Follow the Same Combinatorial Principles? What a Multi-Dimensional Exploration Reveals

构建了包含七类平行构式的跨尺度中英数据集 COMPPHRASE-7,提出解耦特征迁移、几何对齐与因果特异性的三维探测协议,实证发现中文预训练语言模型中复合词与短语共享部分可迁移构式特征,但表征几何受层级与预训练策略敏感调制,且未表现出局域化的因果神经回路支持。

Does Fine-Tuning Undo Activation Steering? Behavioural Recovery Without Weight-Edit Reversal

本文系统研究了将激活导向线性投影直接嵌入模型权重后在下游非对抗微调(SFT 与 RLHF)下的鲁棒性,发现微调即使大幅恢复被抑制的行为(如拒答行为在 SFT 下平均恢复 69%),底层的权重编辑也几乎毫发无损(编辑逆转率不足 0.8%、投影恢复率平均仅 0.4%),揭示模型是通过建立绕过编辑的替代通路而非擦除干预权重来实现行为复原。

From Profiles to Steering Vectors: Global Sparse Priors and Local Semantic Calibration for Interpretable LLM Steering

针对传统激活引导与检索式个性化生成中严重的语义残留与上下文泛化不足问题,本文提出免微调框架 GLASS,利用稀疏自编码器在潜空间提取全局风格稀疏先验,并在场景聚类上对比提取局部风格向量,通过双流分层残差注入实现低延迟、可解释的高保真个性化生成。

LSC-Pattern: Interpretable Lexical Semantic Change Analysis via Diachronic Sense Distributions

针对传统词汇历时语义演变分析(LSCD)仅能输出标量变化分数、无法解释具体词义与语义属性如何演化的黑盒痛点,提出 LSC-Pattern 框架,将大语言模型词义消歧映射至显式词典义项与多维语义属性(情感效价、语义广度、隐喻度)联合建模,在日语跨越 150 年的历史语料上实现高可解释、高对齐的人类判断分析。

Observable Patterns Are Not Explanations: A Causal-Geometric Analysis of Latent Reasoning Models

针对隐式推理模型中“可观测隐状态模式(如广度优先搜索、草稿本计算)即推理机制”的流行假设,本文通过设计严密的控制基线、因果追踪与梯度子空间干预,揭示可观测表象并非隐式推理所独有且不能反映真实因果影响,证明隐状态利用率呈现连续梯度分布,且因果效应高度集中于低维几何子空间中。

查看全部19篇「可解释性」论文 →


📦 模型压缩 (72)

A^3: Attention-Aware Accurate KV Cache Fusion for Fast Large Language Model Serving

针对长文本推理中跨请求 KV Cache 重用因位置错位与注意力缺失导致的性能衰退,提出基于浅层 Query 注意力引导重计算的 \(A^3\) 融合算法,在保持 2 倍首字延迟加速的同时实现近乎无损的任务准确率。

Accelerating Neural Architecture Search with Code Semantics

提出首个面向神经网络架构搜索的代码语义转移评估器 ECO-SCE,通过建模父代到候选架构的代码演化效用与风险感知路由,在进入昂贵评估前安全过滤低收益突变,零样本迁移下平均节省 70.88% 的 GPU 搜索开销。

AdaCode: Adaptive Lossless Compression for BFloat16 KV Cache

针对长文本推理中 KV Cache 显存线性爆炸且量化不可避免引入精度损失的问题,本文发现 BFloat16 的阶码(exponent)具有极高的统计集中性,并提出 AdaCode 无损压缩框架——对高频阶码采用基于最小代价优化的短定长码编码、稀疏离群值显式保留,配合离线校准与异步 CPU 调整器,在完全不损失精度(Bit-Exact)的前提下实现平均 71.78% 的 KV Cache 显存压缩率。

Adaptive Layer Allocation for Efficient Transformer Fine-Tuning

本文基于道德基础理论(MFT)探究大语言模型内部潜空间是否存在跨中英通用的道德路径,提取出具备因果干预能力的道德向量(Moral Vectors),并提出自适应道德融合(AMF)推理时动态干预机制,在几乎不损失通用推理能力的前提下大幅降低 HarmBench 越狱攻击成功率并抑制 XSTest 过度防御。

HLoRA: Hierarchical Regularization on Combined Parameter Space for LoRA Fine-Tuning

针对传统持续学习正则化在 LoRA 低秩分解因式分解歧义性下失效的问题,HLoRA 提出在合并增量参数空间 \(\Delta W = BA\) 上累积路径积分重要性,并结合元素级与层级动态自适应正则化,在显著抑制灾难性遗忘的同时将重要性计算耗时降低 20 倍、显存开销降低 85%–90%。

Small Models, Fewer Heads, More Forgetting: Sparse Attention Fine-Tuning for SLM Continual Learning

针对小语言模型(SLM)因注意力头数量稀少导致任务表征空间早熟挤占并加剧灾难性遗忘的结构性瓶颈,本文提出免增添参数的稀疏微调方法LightLoRA,融合LoRA增量SVD原始重要性与历史梯度方向正交冲突惩罚,仅更新高贡献且低冲突的关键注意力头,显著提升持续学习适应与记忆保持能力。

Advantageous Parameter EXpansion Training Makes Better Large Language Models

针对大语言模型中高激活优势参数主导模型性能而大量参数未被充分利用的现象,本文提出了优势参数扩展训练(APEX),通过多阶段将优势参数空间扩展并融合至劣势参数空间,在不改变模型架构与参数总量的前提下显著提升模型能力并降低训练开销。

ADWIN: Adaptive Windows for Horizon-Aware On-Policy Distillation

针对在策略蒸馏(OPD)受制于全轨迹生成高开销及后期状态师生漂移的问题,ADWIN 提出将展开长度重构为在线准入决策,通过短前缀同步更新结合异步长轨迹探针审计,在数学与代码推理任务上将端到端训练计算量降低达 4.1 倍,同时保持甚至超越全轨迹蒸馏精度。

All for 1-Bit: Towards Genuine 1-Bit Post-Training Quantization for LLMs

AF1(All for 1-Bit)提出零空间感知二值分解(NABF)与分层 Shapley 预算分配(HiSA),首次在目标线性层实现严格 1.0 有效 BPW(bits per weight)且无额外元数据开销的真 1 比特大模型训练后量化,在大幅缩小模型尺寸的同时取得超越以往二值 PTQ 基线的精度与 2.5 倍解码加速。

AWARe: Mitigating Catastrophic Forgetting via Activation-Weighted Adaptive REtention

针对多模态大语言模型(MLLM)在下游任务微调过程中易覆盖预训练核心表征导致灾难性遗忘的难题,AWARe 通过在校准集上分析自注意力投影与多模态投影层的激活强度来评估输出通道显著性,并全局冻结前 30% 最关键神经元权重,仅更新约 17.5% 参数即实现了高适应性与通用知识保留的双赢。

查看全部72篇「模型压缩」论文 →


🕸️ 图学习 (10)

Dual-Prompt-Driven Textual Knowledge Graph Generation With Heterogeneous Information Embedding for CTR Prediction

针对传统 CTR 模型离散特征编码语义缺失及多模态融合粗糙的问题,本文提出 TKE4CTR 框架,通过双提示模板将多领域表格数据转换为统一语义文本块与任务自适应异构知识子图,结合两阶段幻觉抑制策略抽取三元组,并利用双向跨注意力门控网络与特征门控 MLP 实现了结构与语义的高效协同对齐,在五大真实电商场景中大幅超越现有基线。

FBV-KGQA: Forward-Backward Verification for Knowledge Graph Question Answering

提出前向推导与后向验证相结合的知识图谱问答框架 FBV-KGQA,通过关系规划生成路径、基于图模式约束的反事实扰动量化逻辑枢轴因果效应,并结合反向问题一致性检验,有效滤除表面相关但缺乏因果支持的伪推理路径。

GraphLit: Learning Text-Enriched Dynamic Character Network Representations for Literary Study

GraphLit 提出了将长篇小说分解为局部时序异构图的动态异构角色网络(DHCNs),将角色实体与其出现的文本片段紧密对齐,并通过结合掩码属性/边重构、篇章叙事排序与跨书全局对比的自监督掩码图自编码器,在包含 12 项任务的角色基准测试与引文归属上全面超越纯文本、纯图与既有混合基线。

LLM-Powered Holistic Enhancement for Text-Attributed Graphs

提出 EFS(Enhancing Features and Structures)框架,利用大语言模型抽取关键词与多层预测解释全面增强节点语义特征,并复用预测置信与文本嵌入构建轻量边精炼器双向修正图拓扑,在六大基准数据集上显著超越现有 GNN 与 GNN+LLM 基线。

Logic Meets Language: Hybrid Query Answering over Incomplete Text-Labeled Graphs

针对文本标记知识图谱中离散逻辑约束与灵活文本语义并存且数据不完备的难题,本文提出形式化混合查询语言及基准,并构建端到端嵌入框架 HybridQE,通过查询条件化实体表示与神经逻辑算子在统一空间中实现跨模态联合推理。

Ontology-Driven Structural Regularization for Document-Level Relation Extraction

针对远程监督篇章级关系抽取数据中长期被忽视的本体约束违背、逆关系缺失与非对称矛盾等结构性噪声,本文提出基于网络本体语言(OWL)的形式化约束诊断与无模型依赖的数据清洗与补全预处理框架,在显著消除模型预测逻辑冲突的同时实现端到端抽取泛化性能的稳健提升。

PathSoft: Hybrid Soft Prompting with Ranked Reasoning Paths for Knowledge Graph Question Answering

PathSoft 提出了一个结合排序文本推理路径与连续软提示的混合提示框架,通过轻量级 PathMLP 筛选高可靠推理路径,并由 PathSoftAdapter 将有序实体-关系结构注入冻结大语言模型,在保持单次调用与极低推理延迟的前提下大幅刷新了多跳知识图谱问答性能。

StruProKGR: A Structural and Probabilistic Framework for Sparse Knowledge Graph Reasoning

针对稀疏知识图谱中随机游走收集路径开销大且路径孤立推理的问题,提出免训练框架 StruProKGR,通过截断距离引导的 DFS 剪枝提升路径收集效率(提速高达 54.93×),并结合路径内衰减与贝叶斯几率形式的路径间概率聚合建模图结构关联,在五大基准上全面超越现有路径与规则基线。

TATK: Triple-Aware Top-K Learning with Knowledge-Grounded Verification for LLM-based Sequential Recommendation

针对大语言模型序列推荐将排序任务转化为文本生成所导致的弱上下文锚定、目标与指标失配以及推理缺乏结构校验等核心痛点,TATK 提出三元感知框架,在训练阶段引入元数据图提示与位置感知 Top-K 奖励,在推理阶段基于缓存图结构对候选集进行免额外前向传播的知识接地重排序,在全目录测评下大幅提升 Top-K 排序性能。

TKG-Thinker: Towards Dynamic Reasoning over Temporal Knowledge Graphs via Agentic Reinforcement Learning

针对时序知识图谱问答(TKGQA)中复杂时序约束易引发幻觉以及静态提示工作流缺乏动态交互验证的问题,提出 TKG-Thinker 框架,通过两阶段优化(教师轨迹 SFT 冷启动与基于时序工具调用的在线强化学习),利用多维度可验证奖励使大语言模型学会自主时序规划与自适应图谱检索。


🏥 医学图像 (1)

LENS: Exploiting the Cross-View Stability Gap for Hallucination Mitigation in Medical Vision–Language Models

本文揭示了医疗视觉语言模型中真实视觉依据与幻觉标记在语义保持图像扰动下的“跨视角稳定性鸿沟”,并提出了联合训练期偏好优化(SPPO)与推理期对比解码的 LENS 框架,显著降低放射学与内窥镜生成中的幻觉率。


🩺 医疗 LLM (46)

AP-GRPO: Anchor-Gated Phonetic Alignment with Policy Optimization for Pathological Speech Reconstruction

针对神经退行性疾病与运动障碍导致的病理性语音退化问题,提出锚点门控音素对齐策略优化框架 AP-GRPO,利用可靠清晰词作为结构化锚点约束,并结合病理发音持续时间先验与混淆平滑后验图,通过可微 Soft-DTW 音素对齐奖励监督锚点间严重损毁区域的重构,使重度构音障碍的词错误率从 ~0.75 骤降至 ~0.29。

Auditing Evidence Use in Medical LLM Diagnosis

针对医疗大模型端到端诊断准确率无法反映临床证据使用合理性的痛点,本文提出一种行为学证据审计框架,通过控制性子集干预与诊断边际交互挖掘,结合诊断相对性证据角色与多重稳定性过滤,有效剥离伪影并定位真实证据误用。

Can MLLMs Perceive and Describe Medical Image Quality Beyond Scores?

MedQ-Bench 构建了首个涵盖 5 种成像模态、40 余种退化类型及 3,308 张图像的医学图像质量评估(IQA)多模态基准,提出解耦“低层感知辨识”与“专家级诊断描述”的全新范式,评测 23 个前沿 MLLM 揭示出当前模型在轻度退化感知与细粒度成对对比上的严重瓶颈,并尖锐指出医学专用大模型普遍存在“以诊断偏置掩盖质量缺陷”的系统性失效。

PsyCLIENT: Client Simulation via Conversational Trajectory Modeling for Both Trainee Practice and Model Evaluation in Mental Health Counseling

提出 PsyCLIENT 框架与包含 120 份长篇档案的中文心理咨询基准 PsyCLIENT-CP,将静态来访者背景与对话轨迹显式解耦,通过离散行为标签与参考内容引导大模型生成具备真实防御、阻抗与依从特性的多轮咨询对话,在 24 位专业咨询师双盲评测中展现出高度真实性与教学实用性。

ClinHallu: A Benchmark for Diagnosing Stage-Wise Hallucinations in Medical MLLM Reasoning

构建了首个将医疗视觉问答推理拆解为视觉识别、知识回忆与推理整合三阶段的幻觉诊断基准 ClinHallu(7,031 实例),通过阶段替换干预定位错误根因,揭示不同数据集的认知瓶颈并证实全轨迹监督微调可显著抑制阶段性幻觉。

Cognitive-Level Prefix-MoE Reward Modeling for Curriculum Alignment of Medical Language Models

针对医学语言模型在多选题与开放式长文本推理之间的奖励冲突,本文提出基于认知层级的前缀混合专家奖励模型(Prefix-MoE RM),通过冻结路由器软融合可训练的层级前缀以提供自适应标量奖励,并结合多选标准答案反馈与认知课程 GRPO,在保持多选基准性能的同时大幅提升开放式临床推理质量。

Criterion-Activated Preference Synthesis: Attributed Alignment for Medical Dialogue Agents

本文提出标准激活偏好合成框架(CAPS),通过显式质量标准驱动查询生成与多源响应采样,并利用“准则引导裁判”与“全局盲测裁判”构成的双视角打分机制,结合上下文级经验激活测试(EAT)和样本对级归因比率(AR)审计,从源头上剔除表层混淆因素并精确归因偏好差,仅用 2k 合成偏好对即在医疗临床基准 HealthBench 上超越 22k SFT 并追平 35k 人工偏好对齐表现。

CRU-Reason: Knowledge Graph-Grounded and Interpretable Clinical Prediction with Clinical Rationale Units

提出 CRU-Reason 框架,通过融合机器学习先验与受限知识图谱探索构建疾病为中心的临床理由单元(CRU),驱动大语言模型进行细粒度解耦推理,在药物推荐和诊断预测中显著超越基线并提供可追溯的临床解释。

CRU-Reason: Knowledge Graph-Grounded and Interpretable Clinical Prediction with Clinical Rationale Units

提出融合机器学习统计先验、知识图谱与大语言模型的 CRU-Reason 框架,通过规则受限的图探索将电子健康记录分解为以疾病为中心的临床理由单元(CRU),驱动大模型进行细粒度循证推理与可信归因,在 MIMIC-III 与 MIMIC-IV 上的用药推荐与诊断预测任务中平均提升 9.4%。

Dementia-R1: Reinforced Pretraining and Reasoning from Unstructured Clinical Notes for Real-World Dementia Prognosis

针对非结构化长时序临床病历中痴呆症非单调进展轨迹难以建模且最终预后标签稀疏的难题,提出两阶段强化学习框架 Dementia-R1,通过利用自由文本病历中固有的中间临床量表构建容差感知的可验证奖励实施冷启动预训练,再进行端到端痴呆症二分类预后微调,在韩国首尔峨山医院真实队列上取得 84.02% AUROC,全面超越参数量大 10 倍的开源及闭源大模型。

查看全部46篇「医疗 LLM」论文 →


⚛️ 物理/科学计算 (1)

MDForge: Agentic Molecular Dynamics Pipeline Design under Sparse Simulator Feedback

MDForge 将分子动力学(MD)管线设计建模为口语化强化学习(Verbal RL)指导的开放式代码生成,通过 PRISM 多物理专家辩论机制将昂贵且稀疏的终末模拟反馈细化为阶段诊断与类型化批判,在 SAMPL 自由能基准上追平人类专家水准并成功湿实测发现皮摩尔级高亲和力结合分子。


👥 社会计算 (39)

Affective Context Amplifies Sycophancy in LLM Responses

本文基于社会心理学讨好理论(Ingratiation Theory)构建对比评估框架,揭示大语言模型在面对用户直接倾诉时存在普遍的单向弱化/隐瞒负面评判倾向,而用户的情感状态上下文(尤其是孤独和痛苦等负面脆弱情绪)会显著放大这一谄媚效应,使模型更多转向回避型谄媚(非承诺性敷衍、话题重定向与表面共情)而非提供诚实客观的反馈。

Beyond Good Intentions: When Does the Framing of Multilingual and Low-Resource NLP Research Become a Caricature?

论文系统审视了多语言与低资源 NLP 研究中动机、技术手段与社会影响之间的断裂,提出了基于目的、手段与证据支持的三元分析框架,揭示出资源构建与道德急迫性叙事往往脱离实质证据,并给出了一套四维责任审计清单。

CogniDir: Combating Cognitive Malicious Comments via Adaptive Distributional Learning for Robust Fake News Detection

针对大模型时代深度认知与逻辑操控恶意评论导致检测器大幅退化的难题,CogniDir 基于认知心理学合成细粒度机理对抗评论,并提出耦合经验准确率与概率置信度的信息论脆弱性度量及狄利克雷期望自适应重采样机制,实现假新闻检测鲁棒性的闭环动态强化。

ContraGAND: Auditing and Repairing Gender Ambiguity Failures in LLMs with Neuro-Symbolic Counterfactuals

针对机器翻译与大语言模型在无性别线索时盲目依赖职业刻板印象推断性别的顽疾,本文构建了包含 14,556 条样本的神经符号反事实基准 CONTRAGAND,首次揭示模型在自主枚举实体与跨子句绑定线索的开放式评测中存在高达 69.1 个百分点的断崖式性能下跌,并通过反事实增强与多指称教师蒸馏将 4B 小模型性能提升至 0.976,在八分之一参数量下追平 31B 前沿教师。

Counter-Stereotypic Evidence Is Not Enough: Unequal Uptake in LLMs

论文提出了一个严谨受控的时序偏见审计框架,发现大语言模型在显式选择题中能有效吸收上下文反刻板印象证据,但在下游自由文本生成中该吸收红利显著瓦解甚至逆转,且亚裔与西班牙裔女性群体在吸收上面临系统性低校正。

Demographic Prompting at Scale: When More Attributes Hurt LLM–Human Agreement

通过对 5 项主观 NLP 任务与 5 款开源大模型枚举单属性至全属性组合的人口统计提示,论文揭示全属性提示从未取得最优对齐且常导致性能恶化,并提出结合词汇交互可学习性与 Fisher 方向一致性的三层诊断框架及揭示高激活量悖论的神经元探测机制。

Detection is Not the End: Personalized Modeling of User Susceptibility to Misinformation

针对传统虚假信息治理仅依赖客观真伪检测而忽视个体认知差异与早期证据匮乏的瓶颈,本文形式化定义了个性化错误信息易感性预测(MiSP)任务,构建了涵盖问卷调研与社交平台的基准数据集及四类冷启动评测场景,并提出融合双路异构图与拓扑同构图的 VulneraSpotter 模型,通过自监督对齐实现向未知用户与陈述的稳健泛化。

Do Large Language Models Adapt Politeness Like Humans?

通过构建解耦沟通收益与群体惯例的人造语言重复请求博弈,结合分层贝叶斯认知模型发现:人类与主流大语言模型均遵循权衡收益与曝光的策略混合机制,但在开放无约束的基线交流中,人类兼顾效用与惯例,而大语言模型显著偏向追求收益最大化的策略性表达。

Emotion Experience, Expression, and Perception: Emotion Analysis on Multimodal Social Media Posts

提出了首个同时建模社交媒体多模态帖子的情感体验、表达与感知的 Mult2EMo 数据集(7,200 篇帖子,涵盖作者与读者双重视角),揭示了引发事件理解对读者与模型重构作者真实情感状态的决定性作用,并证实文本仍是情感重构的主导模态。

Enhancing LLMs in Predictive Political QA with Semi-Structured Data

针对预测性政治问答无法通过直接事实检索求解的瓶颈,PSL提出语义视角与向量视角的双视图框架,分别从半结构化政治记录中提取细粒度议题立场,并在行动者交互图上聚合高阶依赖表征,通过协同过滤对齐与轻量LoRA调优显著增强大语言模型的决策预测能力。

查看全部39篇「社会计算」论文 →


📂 其他 (2)

Dissecting Transformers: A CLEAR Perspective Towards Green AI

针对微秒级计算与毫秒级功率传感器失配导致难以精准归因模型内部能耗的难题,本文提出纯软件层面的细粒度能耗测量框架 CLEAR,跨 15 种模型首次解构 Attention 与 MLP 等组件的能耗规律,发现 Attention 的单 FLOP 能耗显著高于全模型平均水平。

Train Smarter, Not Harder: Switching Signal-Guided Training in Active Learning

针对主动学习中每轮全量重训(RETRAIN)开销高昂而持续微调(FINETUNE)在初期损失可塑性且校准崩塌的矛盾,本文提出 HYBRIDAL 自适应切换框架,通过在线监测权重谱指数变化(\(\Delta\alpha\))或验证准确率变化(\(\Delta\mathrm{Acc}\)),在检测到模型表征稳定后将训练模式单向切换为微调,在保持测试 F1 非劣效的前提下节省高达 49% 训练时间并显著保留预测校准度。


📄 ai_safety (1)

LLM-Based Adversarial Persuasion Attacks on Fact-Checking Systems

本文提出面向自动事实核查(AFC)系统的说服注入对抗攻击框架(Persuasion Injection Attacks),利用生成式 LLM 在保持声称真实性标签不变的前提下注入 15 种说服话术,通过解耦评测揭示出最坏情况下核查准确率崩塌至接近零,且操纵性措辞能同时瓦解证据检索与真实性分类两道防线。


📄 financial_nlp (2)

FinDeepForecast : A Live Multi-Agent System for Benchmarking Deep Research Agents in Financial Forecasting

本文提出了首个针对金融前瞻性预测评测的实盘动态多智能体系统 FinDeepForecast,通过双轨四象限任务分类、严格时序隔离截断与专家在环分级容差校验,构建了覆盖全球 8 大经济体与 1,314 家上市公司的零污染连续基准 FinDeepForecastBench。

召唤神谕以斩弑之:利用大语言模型缓解金融回测中的参数化前瞻偏差 (Summoning the Oracle to Slay It: Mitigating Look-Ahead Bias in Financial Backtesting with Large Language Models)

针对大语言模型在金融回测中因预训练记忆历史行情而产生的参数化前瞻偏差,本文提出 FINCAD 推理期解码算法,通过对抗性提示搜索激活内部记忆先验,并基于标的与日期的不确定性自适应缩放对比惩罚强度,在不重训模型与不损害通用推理能力的前提下有效校准回测收益。


📄 information_extraction (8)

All Relations at Once: Efficient Open-World Tabular Relation Discovery with Hierarchy-Aware Reward Shaping

针对开放世界表格列关系抽取中闭集预定义受限、近义预测硬判错误以及两两配对推理开销过大的瓶颈,本文提出一种基于层次感知奖励塑形与跨度级优势分配的强化学习框架,单次前向输出整表全部列对关系并提供细粒度语义梯度,显著超越强通用大模型与领域基线。

SSR: 兼顾鲁棒性与可验证思维链的神经符号软推理框架

针对神经符号系统自动形式化极易因细微翻译错误导致确定性求解崩溃的脆弱性,提出软推理框架 SSR,通过语法过滤、置信度加权 MaxSAT 松弛、歧义定向检索与自底向上双向思维链生成,在保留求解器验证性保障的同时大幅提升复杂推理鲁棒性。

IdioSteer: Controlling Figurative-vs-Literal Interpretation via Residual-Stream Activation Steering

针对大语言模型在包含习语的上下文默认偏向比喻义(figurative)生成的固疾,本文提出基于残差流激活引导(Activation Steering)的轻量化干预机制,通过跨层注入均值差分向量,在不破坏文本连贯性的前提下使模型输出系统性转向字面义(literal)解释,且引导方向可完全泛化至未见习语。

MelonBench: A Benchmark for Coded Entity Resolution over Noisy Web Evidence

针对现有网络智能体基准依赖显式查询与干净权威语料的缺陷,本文提出了首个面向故意语义混淆与碎片化 UGC 噪声证据的开放域隐语实体消歧基准 MelonBench(包含 665 道中长尾娱乐爆料测试题),评估表明当前最强检索增强系统准确率仅为 49.9%,揭示了解密隐喻线索与开放式实体召回两大核心瓶颈。

ObSchema: From Local Observations to Global Entity Attribute Schemas in Scientific Literature

针对科学文献中属性分散、命名异质且深陷实验条件复合词的痛点,ObSchema 提出从局部观察到全局模式的批次归纳框架,解耦语义归类与确定性证据晋升,结合值感知保守合并与自适应分组,自动构建高质量的层次化实体属性模式。

Personalization over Generalization: History-Aware User Modeling for Dialogue Agents

针对现有句子级AI检测器对所有作者无差别对待而无法捕捉个体风格边界的问题,本文提出了结合历史写作参考的个性化句子级检测模型 PHAS-ID 与风格感知合成管线 GhostFill,在已知/未知作者、跨领域和跨生成器评测下全面刷新最先进性能。

Measuring Source-Resolution Distortion in LLM Output Arbitration: A Source-Bounded Evaluation Framework

针对多模型输出仲裁压缩过程中出现的来源结构丢失与错误映射,本文形式化定义了来源分辨率畸变(SRD),提出了源有界评测基准,并设计了先提取单元构建稀疏决策账本、再确定性渲染的 A2R 仲裁方法,显著降低冲突抹除率并提高来源可恢复性。

The Harder Text Embedding Benchmark (HTEB): Beyond One-dimensional Static Robustness

针对传统 MTEB 静态单一标量排名掩盖模型真实退化行为的缺陷,本文提出了包含词汇/风格、长度与语言三大维度的动态评估基准 HTEB,通过 LLM 在评测时随机注入可解释变换,揭示了嵌入模型鲁棒性的维度解耦特性与尺度扩展的局限性。