💬 LLM 其他¶
💬 EMNLP2026 · 42 篇论文解读
📌 同领域跨会议浏览: 🧠 NeurIPS2026 (98) · 🎞️ ECCV2026 (13) · 📷 CVPR2026 (3) · 🔬 ICLR2026 (55) · 💬 ACL2026 (61) · 🧪 ICML2026 (39)
🔥 高频主题: LLM ×11 · 扩散模型 ×7 · 推理 ×3 · 个性化生成 ×3 · 对齐/RLHF ×3
- Jasper-Flash: Elastic Token Compression and Progressive Distillation for Inference-Scalable Text Embedding Models
-
Jasper-Flash 提出了包含弹性 Token 压缩(ETC)与压缩自适应渐进式蒸馏(CAPD)的文本嵌入框架,在单模型内支持动态压缩率调节,使 600M 模型在 1024 长度下延迟降低至 4.48 ms(加速 5.4 倍),且在 MTEB 上达到超越 4B 模型的 74.75 分。
- Can LLMs Reliably Self-Report Adversarial Prefills, and How?
-
系统评估了 10 款主流开源大语言模型在遭受对抗性前缀攻击后自省识别恶意响应的能力,揭示出模型平均在 25.3% 的有害输出上错误认领意图;其内省信号主要依赖于内部拒绝机制的中介(消融拒绝方向使识别差距归零),且针对内省的微调不仅无法泛化到外部篡改提问,反而会反常地推高初始越狱攻击成功率。
- Sampling Less, Knowing More: Contradiction-aware Adaptive Spectral and Entropic Uncertainty Quantification for LLMs
-
CASE 框架通过构建采样候选回复间的稀疏化双向矛盾图并计算归一化谱范数来度量语义分歧,以此驱动自适应早停采样降低计算冗余,同时融合贪心基准回复的 token 级预测熵,有效解决了多采样 UQ 面对一致性错误时退化失效的难题。
- Advancing Fact-Checking for Large Language Models via Argumentative Reasoning
-
针对开放网络多源证据冲突与模型检索确认偏差难题,本文提出神经符号事实核查框架 ArgCheck,通过正反双智能体多轮对抗检索均衡证据池,并引入 Dung 抽象论辩框架与基底语义实现公理化冲突消解,在自建多源冲突基准 MAVEN 与公开基准 AVeriTeC 上将 Macro-F1 分别提升 5.39 和 11.10 个百分点。
- ClaimFlow: Tracing the Evolution of Scientific Claims in NLP
-
本文提出了首个以科学主张(Claim)为基本单元的跨论文交互演化数据集与分析框架 ClaimFlow,通过定义声明关系分类任务并构建覆盖 1.3 万篇 ACL 论文的自动化演化图谱,定量揭示了 NLP 领域知识积累中主张高度孤立、质疑稀缺且窗口前置、主要通过拓展与限定推进的演化规律。
- CoDAR: Continuous Diffusion Language Models are More Powerful Than You Think
-
CoDAR 将语言生成解耦为紧凑连续嵌入空间中的高斯扩散过程与自回归跨注意力解码器,揭示并攻克了点式舍入操作符中的序列依赖与局部性缺陷,在保留连续扩散快速数值求解优势的同时显著缩小了与离散扩散模型的生成质量差距。
- [论文解读] Concise and Sufficient Sub-Sentence Citations for Retrieval-Augmented Generation
-
针对检索增强生成(RAG)中文档或句子级引文冗余信息多、孤立词跨度又缺乏充分指代的问题,本文提出子句级(sub-sentence)引文生成任务,构建包含 2,000 条双标注高一致性基准,并通过结合规则校验与评估器打分的数据增广框架及两阶段微调,使开源大模型在保证自包含语义的同时显著压缩引文长度并削减人工核验用时。
- Controlling Creativity in Concept Space: A Framework for Generative Models
-
提出了概念级温度(Concept-τ)框架,通过构建显式概念图结构解析提示词未指定决策,并结合凸阶梯分配算法在概念抽象层对新颖性与效用进行单调可控调节。
- Decoupled Contrastive Decoding via Expert-Aligned Drafting
-
针对对比解码(CD)因引入业余模型导致自回归延迟成倍剧增的问题,本文揭示了轻量草稿模型难以学习弱对比信号且误差放大的机理,进而提出解耦对比解码(DCD),将业余模型移出串行草稿生成链条并改用纯专家对齐提议器,在维持对比目标完全无损的前提下取得 1.65x 至 1.95x 的平均端到端加速。
- Demographic Prompting at Scale: When More Attributes Hurt LLM–Human Agreement
-
论文对 5 类主观语言理解任务与 5 款开源大模型进行了全面的人口统计学提示属性组合遍历,首次发现全属性提示无一例外不如紧凑子集甚至无属性基线,并提出了结合统计重要性、词汇可学习性与组间方向一致性的三层诊断机制与神经元探测解释框架。
- DiffuTester: Accelerating Unit Test Generation for Diffusion LLMs via Mining Structural Pattern
-
针对扩散大语言模型(dLLM)在单元测试生成时激进多Token解码易引发质量退化的瓶颈,DiffuTester通过行级抽象语法树跨候选测试动态提取共享语法骨架并额外解码对应Token,在完全保持甚至提升测试覆盖率的前提下取得2×–3×推理加速。
- Do Implicit Personalization and Explicit Styles Conflict? PsPLUG: A Lightweight Plug-in for Balancing Personalization and Style in Customized LLMs
-
针对显式风格控制容易覆盖用户隐式特征导致的“个性化坍塌”问题,PsPLUG 将个性化建模为以风格输出为基准的条件分布残差,通过注入三元紧凑连续前缀并在偏好优化下对齐,实现了无需单用户全量微调的高保真个性化与推理期强度连续可控。
- Domino: Decoupling Causal Modeling from Autoregressive Drafting in Speculative Decoding
-
针对投机采样中自回归草稿存在序贯延迟、并行草稿缺乏块内因果依赖的矛盾,Domino 提出解耦架构:先由并行骨干一次性输出全块基础分布,再由轻量 Domino 头在 logit 空间注入前缀因果信息做低秩残差校准,并辅以基座锚定训练课程,在保持低草稿开销的同时显著提升接受长度与端到端吞吐。
- Entropic properties of languages in phonetic versus orthographic alphabets
-
基于覆盖 25 个语系、42 种语言的自然口语与标注语料 DoReCo,在词级、子词级和字符/音素级全面测算香农熵连续演化轨迹,发现口语(语音 SAMPA)与书面语(正字法 UTF-8)展现出系统性的模态收敛现象,并在 BPE 子词层级差距最小。
- Evo: Autoregressive–Diffusion Large Language Models with Evolving Balance
-
Evo 建立自回归(AR)与扩散模型在连续概率流下的对偶等价性,通过引入逐 token 演化的语义成熟度进度变量与统一时间条件 Transformer,实现全局扩散规划与局部自回归细化的自适应动态平衡,在保持接近纯自回归极速推理的同时显著提升复杂符号推理与代码生成能力。
- Expert Personas Improve LLM Alignment but Damage Accuracy: Bootstrapping Intent-Based Persona Routing with PRISM
-
论文揭示了专家人设提示在促进指令与安全对齐的同时会普遍损伤预训练知识检索能力,并提出了无需外部监督的全自举框架 PRISM,通过成对自验证与二元门控 LoRA 蒸馏实现按需动态路由,在零退化保持知识准确率的前提下全面提升生成质量与安全性。
- From AI Reviewers to Evidence Assistants: Quantifying the Shift in LLM Scientific Peer Review
-
论文系统评测了前沿 LLM 评阅系统在可用性、评分校准、视角多样性与扎根综合四项职责上的表现,论证了 AI 适合作为扎根论文证据的辅助助手而非拥有决策权的独立审稿人,并设计了人机协同工作流 Review Copilot,在保持人类主导评判的同时显著提升了审稿意见的可操作性与事实扎根度。
- H²Table: Hierarchical Hypergraph-Enhanced Large Language Models for Complex Table Reasoning
-
针对传统序列化和大模型直接拍平多级表头导致的结构语义割裂与上下文膨胀问题,本文提出将复杂嵌套表格显式建模为分层嵌套超图,通过四阶段层级感知消息传递与紧凑可学习 Query 向量生成软结构 Prompt,使中轻量级大模型在深度嵌套表格问答上显著超越百亿与闭源大模型。
- HiTeC: Hierarchical Contrastive Learning on Text-Attributed Hypergraph with Semantic-Aware Augmentation
-
针对文本属性超图(TAHG)中传统自监督学习存在的图盲文本编码、随机扰动噪声大以及缺乏长程依赖建模三大缺陷,HiTeC 提出了两阶段层次化对比学习框架,先后通过拓扑感知文本编码器预训练与结合 s-walk 子图采样的语义感知超图对比预训练,显著刷新了节点分类与超边预测性能。
- Improving Diffusion Language Model Decoding through Joint Search in Generation Order and Token Space
-
针对掩码扩散语言模型(DLM)启发式重掩码陷入探索-利用两难的瓶颈,提出在生成顺序与Token取值联合空间进行搜索与剪枝的Order-Token Search解码算法,凭借基于增量去噪动作的稳定似然评分函数,无需额外后训练即可在多项复杂推理与代码任务中取得显著精度突破。
- InFi-Check: Interpretable and Fine-Grained Fact-Checking of LLMs on Grounding Documents
-
提出了首个面向依据文档的大模型细粒度与可解释事实核查框架 InFi-Check,通过受控合成管线构建 15.6k 训练集与 519 篇人工精筛基准 InFi-Check-FG,并训练出联合输出支持证据、6类细粒度错误标签、诊断理由与针对性修正的 InFi-Checker 模型,在细粒度平衡准确率上超越闭源 SOTA 大模型 27.65%。
- Jais 2: A Family of Arabic-Centric Open Large Language Models
-
Jais 2 构建了从头预训练的 70B 和 8B 开源双语大模型家族,通过 8 倍 FFN 中间层、\(\text{ReLU}^2\) 稀疏激活、150K 阿语定制词表以及两阶段退火与文化对齐后训练,在 OALL2、AraGen 及诗歌、解梦、伊斯兰问答等原生阿拉伯文化基准上达到开源领先水平。
- LDC: Learning to Generate Research Ideas with Dynamic Control
-
针对自动化科研灵感生成中新颖性、可行性与有效性之间的内在权衡,LDC 提出监督微调(SFT)与可控强化学习(RL)结合的两阶段框架,利用三个独立维度控制器与句级 RNN 动态解码器实现推理时上下文感知的动态权重调控,显著超越静态基线与基于检索的多智能体方案。
- LLMs Regret Before They Say It: Early Detection and Compositional Architecture of Regret in Hidden States
-
本文通过三阶段渐进认知诱发流程构建首个大模型后悔表达数据集,基于隐状态探针证实模型在吐露“regret”词前数个token便已激活后悔表征,并提出后悔主导分数(RDS)与群体影响系数(GIC)揭示了由多类神经元协同构成的组合式神经元架构及规模效应。
- Micro Language Models Enable Instant Responses
-
华盛顿大学与 Meta AI 提出微语言模型(µLM,8.8M–29.5M 参数),在端侧设备上以 45 ms TTFT 即时生成并提交回复的前 4–8 个词以掩盖多秒的云端网络与排队延迟,云端大模型作为续写者接力补全,并引入自然/幽默/显式三种优雅容错机制保证交互体验。
- MiST: Mid-Training LLMs for Cybersecurity
-
MiST 提出了一种以合成数据为核心的领域中程续训(Mid-Training)范式,摒弃无节制的无结构文本持续预训练,将 22 万条专家精选种子数据扩充为结构化、多任务因果推理语料,使 8B 和 32B 模型在 13 项网络安全基准上全面超越开源同级 SOTA 与同源基线,并为下游可验证强化学习与监督微调提供了显著更优的策略起点。
- Improving Diffusion Language Model Decoding through Joint Search in Generation Order and Token Space
-
针对扩散语言模型启发式重掩码陷入单一轨迹或盲目探索的困境,本文提出联合搜索生成顺序与 Token 取值的 Order-Token Search 算法,通过增量去噪动作似然估计器实现稳定剪枝,在数学推理与代码基准上显著超越现有解码策略及 GRPO 后训练。
- Not What, But How: A Communicative Audit of LLM Response Framing
-
针对传统文化评估仅关注事实正确性而忽略表达风格的缺陷,本文提出了响应框架审计体系 FRANZ,涵盖文化局内定位、泛化语言、拟人化和格赖斯交际准则四个社会语言学维度,并在基于 57 个国家级 Subreddit 构建的 37.6 万条主观问题语料 SQUARE 上,揭示了开源大模型中局内人视角与情感拟人化之间的强耦合性及其跨国差异。
- PsyAgent: Constructing Human-like Agents Based on Psychological Modeling and Contextual Interaction
-
PsyAgent 提出了一个显式结合大五人格个体结构(IS)与八大多场景交互规范(MSC)的架构范式,通过两阶段 SFT+DPO 参数高效微调,在保持跨场景规范适应的同时大幅提升了紧凑模型的长程人格保真度与行为一致性。
- RATF: Robust Adaptive Tri-Encoder Framework for Fake News Detection against Style-Confusion Attacks from LLMs
-
针对大语言模型驱动的风格混淆攻击使虚假新闻检测器在“信任风格易被欺骗”与“无视风格损失洁净性能”之间陷入两难的困境,本文提出 RATF 框架,通过大模型解耦内容与风格特征并计算条件概率曲率重写分数,利用重写分数条件化的交叉注意力融合与可学习参数化门控自适应平衡各流表征,在对抗攻击下显著超越现有 SOTA 并保持高泛化性。
- Response-Aware User Memory Selection for LLM Personalization
-
针对现有大语言模型推理时个性化过度依赖输入与记忆项表面语义相似度的问题,本文提出基于互信息与输出分布熵缩减的响应感知效用选择框架 RUMS,并通过 DeBERTa 轻量分类器将效用信号蒸馏为高效推理模型,在生成质量大幅超越 GPT-4 Prompting 等基准的同时降低高达 95% 的提示词成本。
- Reviewing the Reviewer: LLM-Assisted Reviewer Feedback Generation for Guideline Compliance
-
针对科学同行评审中泛滥的惰性思维与缺乏具体性问题,本文提出首个面向评审准则对齐的多阶段LLM评审反馈生成框架,结合基于抽象特征提炼的精准问题检测、知识增强规划器与带可验证复合奖励的遗传重排序算法,并在受控重写实验中将准则违规率降低高达92.4%。
- Select, Label, Evaluate: Active Testing in NLP
-
本文提出首个针对自然语言处理的主动测试(Active Testing)框架,通过轻量级多头注意力不一致性采样(Agreement)与无偏 Horvitz-Thompson 估计,在仅标注 5%–10% 样本甚至减少多达 95% 标注量的前提下,将模型性能估计误差控制在 1% 以内,并引入自适应早停准则消除预设预算限制。
- SpecSteer: Synergizing Local Context and Global Reasoning for Efficient Personalized Generation
-
针对端侧小模型推理能力不足与云端大模型面临隐私泄露的两难困境,提出非对称端云协同推断框架 SpecSteer,将协同生成建模为贝叶斯知识融合,通过比率验证消除云端对私有数据的依赖,并在拒绝时注入对比导向向量恢复用户意图,以 2.36 倍推理加速实现了高质量个性化生成。
- Survival-Guided Length Control for Efficient Diffusion Language Models
-
将掩码扩散语言模型(DLM)的生成长度形式化为离散时间生存分析过程,利用单次前向传播中各位置的[EOS]预测概率作为风险函数,闭式推导期望生成长度,无需任何额外训练或调优即可实现实例级动态长度截断,取得最高达7倍的推理加速且完全保持下游任务精度。
- The Curious Case of Factual (Mis)Alignment between LLMs’ Short- and Long-Form Answers
-
本文提出 SLAQ 评估框架探究 LLMs 在单事实短问与多事实长查询间的事实一致性,揭示出高一致性主要源于共同回答错误及正负动量级联效应,并通过零消融机制分析证明注意力头排序相似性可有效预测问答对齐。
- The Curious Case of Factual (Mis)Alignment between LLMs’ Short- and Long-Form Answers
-
本研究针对大语言模型在回答简单事实与复合长文本事实时的行为断层,构建了包含 600 个主题与 3,000 个事实的控制式评测框架 SLAQ,评估 16 种主流开源模型后发现模型表面呈现 73%-78% 的高对齐度实则由“双重答错”的负向对齐主导,并揭示了长文本生成中高达 7% 步进的误差累积动量效应;进一步通过 768 GPU 时的零消融神经机制分析证明,一致性回答高度共享底层计算回路,且利用注意力头重要度排序可达 80% 准确率(ROC-AUC 0.85)提前预判事实对齐状态。
- UltraX: Refining Pre-Training Data at Scale with Adaptive Programmatic Editing
-
UltraX 提出了一套基于函数调用的自适应规划式预训练数据精炼框架,通过补齐包含行级插入、删除与行内替换的完备编辑空间,结合自适应 Prompt 优化、分层文本-操作映射与冲突消除后处理,以极低生成开销实现了大规模网页语料的细粒度可解释修复,在 5 大基准语料上使用 16B token 预训练即全面超越 20B token 基线。
- When Calibration Rankings Reverse: Accuracy-Controlled Evaluation for Fair Comparison of LLMs
-
揭示了传统全局校准指标(如 ECE 和 Brier Score)受模型任务准确率严重混杂的本质缺陷,提出兼顾实例、分布与候选对齐的三重视角准确率控制评估框架 ACE,发现所谓的大模型或思考模型校准优势在控准后大幅削弱并频发排位倒转。
- When i.i.d. Factorization Breaks Language: The Structural Failure of Discrete Diffusion Language Models
-
揭示了非自回归离散扩散模型(DDLM)因 i.i.d. 加噪与因式分解采样破坏自然语言非可交换依赖结构、在语义稀疏下必然坍塌至位置边缘分布的根本机理,并提出保证稳定并行生成的依赖耦合原则(DCP)。
- When Surprise Is Not Enough: Validation-Aware Rewards for LLM-Guided Scientific Discovery
-
针对基于大语言模型(LLM)的开放式科学探索智能体过度依赖贝叶斯惊奇(Bayesian surprise)而陷入“嘈杂电视(Noisy-TV)”陷阱的问题,本文提出了可约简信息增益(REIG)验证感知反馈机制,利用置信下界、符号重采样稳定度与置换检验校准真实数据证据,将假设搜索的可靠性、新颖性与非平凡性解耦,显著提升了高质量科学发现的产出效率与泛化鲁棒性。
- X-Coder: Advancing Competitive Programming with Fully Synthetic Tasks, Solutions, and Tests
-
针对竞赛编程中真实题目与测试用例严重稀缺且容易被刷榜污染的痛点,X-Coder 构建了首个完全不直接依赖真实赛题与测例的端到端合成训练闭环,通过特征演化任务生成与双重交叉验证生成高质量题目、长思维链解法及可靠测试套件,在 LiveCodeBench 等顶尖基准上将 14B 模型成绩大幅提升超过 40 个百分点。