跳转至

📖 NLP 理解

💬 EMNLP2026 · 49 篇论文解读

📌 同领域跨会议浏览: 🔬 ICLR2026 (2) · 💬 ACL2026 (34) · 🧪 ICML2026 (2) · 🤖 AAAI2026 (1) · 🧠 NeurIPS2025 (3) · 📹 ICCV2025 (1)

🔥 高频主题: LLM ×14 · 问答 ×5 · 推理 ×2 · 对齐/RLHF ×2 · 翻译 ×2

A Survey on Representing Linguistic Style: Challenges and Opportunities

系统梳理语言学与自然语言处理中风格表示的理论演进、预定义特征与神经嵌入构建方法,确立以“面向研究对象且独立于语义内容”的统一风格定义,并揭示风格嵌入在数据质量筛选、机器文本检测及模型评测中低成本超越大模型的独特价值。

Alice: A Large-Scale German Benchmark for Rubric-Based Multi-Dimensional Automatic Short Answer Scoring

针对传统自动短答案评分局限于单一参考答案比对且缺乏概念与技能维度的缺陷,本文构建了包含 1.6 万条德语中学生作答的大规模多维度评分细则基准 ALICE,并提出将变长细则打分重构为跨编码器细则检索匹配,显著提升了模型在未见试题上的泛化能力。

Are Non-English Papers Reviewed Fairly? Language-of-Study Bias in NLP Peer Reviews

本文首次系统性定义并量化了自然语言处理(NLP)同行评审中基于论文所研究语言的偏置现象(Language-of-Study Bias),构建了专家标注数据集 LOBSTER 及达到 87.37 Macro F1 的 LLM 检测流程,并在跨 6 个顶会批次的 15,645 篇审稿意见中证实:非英语论文遭遇评审偏置的概率是纯英语论文的近 40 倍,且绝大多数表现为强加未经声称的跨语言泛化要求等结构性负面偏置。

BeyondAtoms: Benchmarking and Verifying Relational Factuality Beyond Atomic Facts

针对传统事实核查与原子事实分解盲目信任实体/事件重叠而忽略逻辑拓扑连接的缺陷,本文提出了首个专注于关系级扰动的评测基准 BEYONDATOMS,并设计了完全无需训练、基于声明锚定抽取与双向结构对齐的轻量级核查框架 CARVE。

CausalTAD: Injecting Causal Knowledge into Large Language Models for Tabular Anomaly Detection

针对大语言模型在表格异常检测中随机序列化破坏特征因果依赖的瓶颈,CausalTAD 提出基于高阶潜变量因子发现的列级因果偏序投影与线性排序优化,并结合因子频次感知重加权,在 30 多个基准上显著超越 AnoLLM 等 SOTA 方法。

Charting Empirical Patterns for LLM Fine-Tuning in Scientific Multi-Discipline Learning

系统性研究了大语言模型在涵盖数学、化学、生物、医学和地理五大自然不平衡科学学科下的联合微调规律,提炼出四条实证法则,并基于共享A矩阵的非对称LoRA-MoE在仅训练0.902%参数下达到全参数微调相媲美的性能。

CodeTD: Topology of Attention Detects Hallucinations in Code LLMs

CodeTD 将代码大模型的注意力矩阵建模为加权图,利用拓扑数据分析(TDA)中的流形拓扑分歧(MTD)抽取提示词与生成代码间的 0 维连通分支与 1 维绕道环特征,实现了无需运行测试用例的高精度执行前代码幻觉检测与采样重排序。

Deep and shallow biases in language models

提出了偏见深度评分 \(\pi = \text{DR} \times \text{FR}\),通过直接提示词采样与30个情境重构(scenario reframings)测试,将大语言模型在开放选择下的答案固着解构为继承自预训练且难以消除的深层偏见(Deep bias)与仅由提示词表层措辞诱发的浅层偏见(Shallow bias)。

DiscoTrace: Representing and Comparing Answering Strategies of Humans and LLMs in Information-Seeking Question Answering

本文提出篇章级长文本问答策略表征框架 DiscoTrace,将回答分解为修辞边界上的篇章行为与具体问题解读意图的有序二元组序列,揭示了人类不同社群迥异的修辞规范,并从语用学视角证实大语言模型存在答非所选、策略单一以及追求广度而牺牲深度的结构性缺陷。

DiscoTrack: A Multilingual LLM Benchmark for Discourse Tracking

DiscoTrack 涵盖 12 种语言和 4 个篇章核心维度(显著性、实体跟踪、篇章关系、桥接推理),构建包含 11 个子任务的标准化问答评测基准,全面揭示当前大语言模型在跨句隐式篇章理解上的显著性能落差。

Does Finetuning with Scientific Data Increase Hallucinations? A Multi-domain Factuality Evaluation of LLMs

提出了跨五大学科的科学事实性闭卷评测基准 SCIFACTCHECK 与解耦未验证性、过度声明和虚假归因的三维评测框架,通过受控最小配对评测揭示科学领域微调不仅未改善事实性,反而普遍加剧了幻觉并导致“外在语言自信而内在参数不确定”的解离现象。

Encoder-only and decoder-only models exhibit distinct patterns of linguistic bias

基于严格对齐的 Ettin 双架构预训练模型与标准开源大模型,通过心理语言学测试范式揭示编码器与解码器在动词论元结构与句法选择中的差异:两类模型均具有强烈的“有生性优先”启发式偏置,但在剥离有生性线索后,双向掩码编码器展现出更符合人类的高层语义泛化与显著的被动语态偏好,而因果解码器则受制于表面统计频率。

Evaluating Communicative Belief Updates in Large Language Models via Implicature Recognition and Cancellation

论文提出了首个涵盖标量、篇章与会话隐含的语用信念更新专家校验基准 IMPLICATUREX,形式化评估大语言模型在隐含触发与话语消解下的动态信念修正能力,揭示出大模型在自然会话中远落后于人类、依赖先验记忆且存在显著“信念惯性”的核心缺陷。

Exposía: Teaching and Assessment of Academic Writing Skills for Research Project Proposals and Peer Feedback

本文提出了首个在真实高等教育计算机科学课程中收集的高质量公开基准数据集 Exposía,完整连接了科研开题报告(Exposé)初稿、行内批注与全文评审反馈、针对性终稿修订及细粒度教育学量表评分,并系统评测了大语言模型在提案和评审自动化评估中的能力。

From Prompts to Trees: Effective LLM-Guided Tree Generation for Few-Shot Tabular Classification

本文提出三阶段少样本决策树生成框架 LLMT,将大语言模型蕴含的领域常识先转化为机器可解析的离散单特征规则集,再结合极少标注样本自顶向下按基尼不纯度贪心组装成树并完成叶节点置信度校准,在免除推理阶段调用 LLM 的同时实现了高精度、强可解释性与低计算开销。

From Text to Structure: The PACKaGE Benchmark for Bidirectional Causal Reasoning in Paragraphs and Graphs

本文提出了首个段落级文本与有向无环因果图(DAG)双向对齐基准 PACKaGE,通过四阶段严密流水线构建了涵盖 4,566 个高质量多跳因果图-文本对,系统评测揭示了大语言模型在因果抽取与因果文本生成之间存在显著的能力解耦与反直觉现象。

Global Consistency Repair for Natural-Language Claim Sets

本文形式化了自然语言命题集合的全局一致性修复任务,提出了结合 LLM 判定与自适应子集诊断的 QXR 框架,通过递归定位紧凑的最小冲突子集并求解贪心命中集删除,在消除全局矛盾的同时大幅减少过度裁剪并保留更多有效信息。

Granuscore: A Reference-Free Measure of Granularity for Text Analysis and Question Answering

本文提出无需参考文本的语义粒度度量指标 Granuscore,利用庞加莱球双曲嵌入空间的径向深度与锚点流形距离,经梯度提升树与分位数校准映射至绝对粒度刻度,有效解释了跨语篇、句子具体性以及大语言模型问答失准中的粒度偏置。

H²Table: Hierarchical Hypergraph-Enhanced Large Language Models for Complex Table Reasoning

针对复杂多级嵌套表头在序列化与扁平超图中结构依赖丢失的问题,H²Table 将复杂表格形式化建模为层次化嵌套超图,配合四阶段层级超图编码器与可学习 Query 结构对齐机制,在仅微调 1% 参数下显著提升 LLM 在深层嵌套表格 QA 上的推理与泛化能力。

HALT: Hallucination Assessment via Log-probs as Time series

将大语言模型单次生成产出的 Top-20 对数概率视为多元时间序列,结合 5 种局部校准不确定性衍生特征,仅用 5M 参数的双向 GRU 与 Top-q 显著池化实现低成本、高精度的灰盒幻觉判别。

How LLMs Follow Instructions: Skillful Coordination, Not a Universal Mechanism

通过对三个开源大语言模型在九类指令任务上的诊断探针、跨任务迁移、INLP因果消融及动态时间序列分析,揭示大语言模型的指令遵循能力并非源自全局抽象的统一约束检查机制,而是多层级、局部特异性语言技能的动态协调。

Human Label Variation as Stable Signal: Learning Annotator-Specific Explanation Behavior via Cross-Annotator Preference Optimization

针对传统人类标注差异(HLV)研究仅聚焦标签分布而忽略解释行为的局限,本文提出跨标注员偏好优化(CAPO),将同一输入下不同有效标注员的“决策-解释”成对对比作为偏好监督,使大语言模型学会复现特定标注员的推理风格与论证习惯。

HyperProve: Answer-Guided Hypergraph Expansion for Multi-Hop Question Answering

针对复杂多跳问答中证据检索与问题割裂、易受语义干扰项误导的缺陷,HyperProve 构建同义词感知的原子事实超图,将已验证的中间答案与支撑事实作为前沿状态推进,并在局部邻域内执行融合拓扑结构与问询语义的偏置随机游走,实现了高保真、抗漂移的状态化多跳证据链检索。

Investigating and Enhancing Concept Induction in LLMs: A Prototype-based Property-augmented Approach

针对大语言模型在概念归纳任务中普遍倾向于生成过度宽泛概念(Overly General)的粒度失配难题,本文构建了基于知识探测的熟悉度受控评估基准,并提出结合原型理论与理想认知模型的属性增强概念归纳方法 PPACI,通过离线构建内涵与外延融合的原型向量库及在线双层候选检索自验证,为大语言模型提供细粒度语义锚点,将过度宽泛预测降低 17–28 个百分点。

JustifIT-QA: Evidence-Grounded Legal Question Answering in Italian

构建了首个包含专家撰写答案与细粒度条文证据切片标注的意大利语成文法问答基准 JustifIT-QA,并提出集成领域对比微调检索器 DARv2、法定合规准则审判反馈回环与严格文本包含度证据抽取的端到端可验证法律问答框架。

LAMPEAE: LLM-Augmented Manifold Probing for Adaptive Event Argument Extraction

针对传统提示微调中静态角色锚点无法捕捉实例内语义漂移的几何刚性瓶颈,LAMPEAE 利用冻结大语言模型提取高阶推理先验,通过轻量超网络将静态锚点低秩自适应投影至切空间流形轨迹,在 RAMS 达到 54.5% Arg-C F1 取得同类对比系统最佳性能。

Large Language Models Systematically Favor Popular Options: Evidence, Mechanisms, and Mitigation

论文揭示了大语言模型在多项选择题中系统性偏好高流行度错误干扰项的“流行度偏差”,提出六种受控生成策略构建的基准 PopMCQ,并设计出无需重训练、单次前向推理的先验剥离算法 PopDebias,使多模型平均准确率最高提升 31.9 个百分点。

Learning the Cue or Learning the Word? Analyzing Generalization in Metaphor Detection for Verbs

论文设计了严格排除目标动词词元的受控词汇留出实验与几何表征探针,揭示出预训练编码器主要依赖句法论元上下文中的可迁移线索实现泛化,而目标词身份仅提供辅助性的记忆增强。

LLM Feedback for Topic Model with Preference Optimization and Contrastive Learning

LLMFeed 提出了一种利用大语言模型语义反馈优化神经主题模型的高效框架,仅需单阶段离线 LLM 交互,通过直接偏好优化(DPO)过滤主题噪声词并提纯主题表示,并结合基于主题描述引导的对比学习增强文档-主题分配,在极低计算开销下兼顾高主题相干性与准确的文档聚类。

LLM Summaries Systematically Distort Topic Distributions

系统性评测揭示大语言模型在多文档摘要中会系统性且顽固地扭曲原始主题分布,优先放大其预训练先验认为重要的主题,甚至对完全缺席的主题凭空强调,且提示工程与模型扩缩容均无法消除该偏差。

LSC-Pattern: Interpretable Lexical Semantic Change Analysis via Diachronic Sense Distributions

LSC-Pattern 提出了一种结合词典对齐历时词义分布与可解释语义维度的词汇语义演变分析框架,通过大语言模型词义消歧将历时语料用例映射至显式词典语义,并在效价、语义范畴和隐喻度三个维度上解构演变轨迹,成功实现对贬降、泛化和隐喻化等经典语义演化模式的细粒度可解释归因。

Measuring Data Diversity with Embeddings: A Taxonomy and Benchmark for Diversity Measures

本文系统梳理了现有基于嵌入的21种文本多样性测度并归纳为四大家族,构建了首个将多样性解耦为变体(Variety)、平衡(Balance)和差异(Disparity)三维度的受控评测基准 EmbDivBench,实验发现最常用的平均成对距离表现显著落后,而图熵在模拟与真实文本上综合表现最优。

MoF: Preference-Aware Mixture Modeling for Black-Box LLM Personalization

针对黑盒大模型个性化中用户专属评分头导致参数随用户规模线性膨胀且无法泛化至冷启动用户的问题,MoF 提出了基于共享隐式偏好面(latent preference facets)的混合建模架构,结合稀疏自编码器(SAE)与聚类采样(CBS)实现免微调的即插即用个性化生成与检索。

Not All or None: Dynamic Construction of Target-aware Memory Graph for Conversational Stance Detection

TamGraph 针对对话立场检测中全历史引入噪声与单轮缺失背景的两难困境,提出基于熵引导的逐步回溯机制,动态抽取目标相关命题并构建立场记忆图,在 MT-CSD 和 ZS-CSD 双语基准上显著超越单轮、全多轮与 CoT 等基线。

On the Optimality of Kinship Naming: an Information-theoretic Approach

本文将信息瓶颈理论适配至离散亲属称谓领域,用多分类交叉熵定义信息损失并推导出独立于语种需求分布的理论最优权衡前沿 \(L = -\tilde{C}\),不仅证明了四种真实语言在贝叶斯监听者假设下严格位于最优曲线上,更通过关系图卷积网络(RGCN)参照博弈首次展示了神经网络多智能体能自发涌现出逼近最优前沿的亲属称谓系统。

Ontology-Driven Structural Regularization for Document-Level Relation Extraction

针对文档级关系抽取中远程监督数据存在的严重结构性逻辑矛盾,本文提出了一套基于网络本体语言(OWL)公理的本体驱动结构正则化框架,通过在预处理阶段清除违规实体并补全逆关系,在不改变模型架构的情况下大幅削减逻辑错误,实现抽取质量与泛化能力的系统性跃升。

OVLAFND: Open-Vocabulary Logic-Aware Fake News Detection

本文提出了 OVLAFND 框架,通过多模态 LLM 生成反事实困难负例并结合逻辑一致性子空间建模图文细粒度逻辑互斥,同时以原型对比与离线语义锚点构建开放词表主题流形,突破了传统虚假新闻检测对刚性领域标签和浅层语义匹配的依赖。

Promptology: A Large-Scale Systematic Analysis of Prompt Elements and Contextual Factors in Argument Generation

本文针对多语言政治议题论辩生成开展了首个全因子(fully factorial)实验,构建包含逾37.5万篇机器论辩与人类政客对照数据的三语语料库,通过16万次诊断性分类与贝叶斯回归揭示:大模型与人类论辩在文体风格与语义表征上高度可分(平衡准确率超90%),仅社会人口画像提示能微弱缩小人机差距,而模型架构、语言和议题才是决定生成差异与输出稳定性的决定性因素。

Quizzing the Translation: A Prover-Grounded Evaluation Metric for NL->FOL

针对自然语言转一阶逻辑(NL->FOL)中现有字面与图匹配指标无法感知逻辑严重度甚至倒挂的问题,提出结构化推理验证指标 SIV:通过定理证明器从参考公式构建正向探针与对比探针,以 F1 评分实现对逻辑错误严密定级与细粒度诊断追踪。

Relational Linearity is a Predictor of Hallucinations

本文提出并实证检验了关系线性度假说,证明大语言模型内部基于仿射映射的关系表征可访问性(\(\Delta\cos\))是预测模型在未知实体上产生幻觉而非拒答的核心指标(相关系数 \(r \in [0.58, 0.84]\)),揭示了线性几何结构在促进知识泛化的同时也诱导模型填充虚构事实的内在机理。

Rubric Spans are Label Representations: Joint LLM Encoding for Short Answer Scoring

针对自动简答评分在固定分类头灵活性差与自回归生成/成对检索计算开销大的两难困境,提出 RUSPAN 框架将各评分档细则文本切片直接作为标签表征并在单次 LLM 前向中完成打分,配合细则独立掩码(RIM)与位置重索引彻底解耦档位间注意力依赖,在多语言跨基准零样本迁移下实现显著泛化提升。

Structure-Aware Data Augmentation for Argument Mining

本文提出了一种结构感知的论辩挖掘数据增强框架,首先通过从训练集学习的概率上下文无关文法(PCFG)束搜索采样多样的伪论辩树结构并线性化为 TANL 模板,再利用基于树编辑距离检索的少量样本引导大语言模型填词与两轮自动化反馈修正,显著提升了论辩组件与关系的抽取性能。

SustainableQA: A Comprehensive Question Answering Dataset for Corporate Sustainability and EU Taxonomy Reporting

针对企业可持续发展与欧盟分类法(EU Taxonomy)报告长篇非结构化、跨页表格与叙述分散的痛点,本文提出了包含195,287个问答对的大规模基准数据集SustainableQA,构建了端到端混合实体抽取与表格转段落生成管线,并引入基于忠实度与相关性的自适应评估审校机制,使微调后的8B模型性能超越70B甚至更大规模闭源模型。

Syntactic Prediction through Reinforcement Learning

针对大语言模型在句法预测任务中因监督微调(SFT)遭遇“监督平台期”而难以超越专用神经句法模型的问题,本文提出两阶段后训练框架 Syntax-RL,先利用 80% 数据冷启动建立统一序列生成规范,再在 20% 不相交子集上利用 GRPO 强化学习直接优化括号 F1 与词元正确率等结构级目标,全面刷新成分句法分析与 CCG 超标注的 SOTA。

Thinking in Different Spaces: Domain-Specific Latent Geometry Survives Cross-Architecture Translation

通过在独立训练的异构大模型间学习仿射投影矩阵并在推理阶段介入学生模型残差流,本文证实了跨架构隐空间几何可被线性对齐并实现零权重更新的行为纠正,同时揭示出事实问答与数学推理占据几何正交的领域专属子空间。

Usage-Modulated Sentiment Representations in Large Language Models

针对大语言模型内部情感是否仅由单一线性方向表征的理论疑问,本文构建了固定事件骨架且严格正交控制极性与语用因素(语气/受众)的双语配对评测集,证明在正交剥离共享情感方向后残差仍保留紧凑且可复现的语用子空间结构,并通过靶向擦除与生成期激活引导证实了该残差具有因果可控性。

What Can Reviews Reliably Tell Us About Books? A Per-Attribute Audit and Tiered Annotated Dataset Across 1.7M Titles

针对计算文学与图书推荐中普遍将聚合书评作为图书属性代理的做法,本文结合真实读者问卷基准对 391 项细粒度叙事属性与 8 类书评特征提取方法展开系统审计,发现多数预测表现受图书流行度严重混杂,并揭示了基于“词汇锚定性”的内容恢复边界与三级分层标注数据集。

When Does Auxiliary Classification Help Regression in Practice? A Case Study in Arabic Dialectness Modeling

本文针对连续回归任务中目标分布严重偏斜导致的均值坍缩与负迁移难题,以阿拉伯语方言度建模(ALDi)为切入点,揭示了离散化粒度与辅助损失函数设计的关键作用,提出结合 7-bin 等宽离散化与 Focal Loss 的辅助多任务学习框架,在 NADI 2024 盲测集上取得 0.1275 RMSE(超越前 SOTA 逾 9%),并成功泛化至英语毒性回归任务。

When Should Models Change Their Minds? Contextual Belief Management in Large Language Models

提出了上下文信念管理(CBM)框架与包含规则发现和电路诊断的闭式基准 BeliefTrack,揭示了前沿大模型在信念维持、修正与噪声隔离上的严重缺陷,并证明基于 Jaccard 信念状态奖励的强化学习与隐层表征干预能显著降低失效率。