📊 LLM 评测¶
💬 EMNLP2026 · 29 篇论文解读
📌 同领域跨会议浏览: 🧠 NeurIPS2026 (83) · 🎞️ ECCV2026 (3) · 🔬 ICLR2026 (131) · 💬 ACL2026 (96) · 🧪 ICML2026 (40) · 🤖 AAAI2026 (16)
🔥 高频主题: LLM ×13 · 对话系统 ×2
- Auditing MCQA Benchmarks through Probability Landscapes
-
提出基于模型输出概率分布的双层评测基准审计框架,宏观上用顶项概率与归一化残差熵构建概率景观及平均成对距离刻画基准内选项竞争与异质性,微观上通过噪声注入扰动有效过滤伪错误并高优先级筛选出人工审查候选题。
- Benchmarking LLM-as-a-Judge for Long-Form Output Evaluation
-
清华大学等团队提出首个针对长文本输出评测的大模型裁判元评测基准 LongJudgeBench,涵盖五大真实场景、候选文本平均达 9,249.7 tokens,揭示了现有裁判模型在长文档下面对结构组织、篇章一致性与专业洞察时的显著可靠性差距与位置偏置缺陷。
- Check The Scoreboard: An Analysis of Scoring Schemes on Multiple Choice Evaluation
-
系统性将教育测量学中的6种替代评分机制引入LLM多项选择题评测,不仅能有效惩罚蒙猜并打破简单正确率排名,而且其按次重答得分与LLM Arena人类真实偏好展现出最高一致性。
- CyclicJudge: Mitigating Judge Bias Efficiently in LLM-based Evaluation
-
针对 LLM-as-a-judge 评估中裁判个体偏置大且无法通过增加测试样本消除的问题,本文通过概化理论方差分解证明了轮循调度(CyclicJudge)的最优性,在与单裁判相同调用预算下抵消了裁判加性偏置并最大化生成多样性,使榜首翻转率降低 61%。
- DocFollow: A Hierarchical Fine-Grained Constraints Following Benchmark in Long Contexts for LLMs
-
针对现有长文本评测忽视“长输入长输出(Long-In-Long-Out)”且依赖不可靠 LLM 打分的问题,DocFollow 构建了涵盖 5 大领域 20 个子领域的 2,436 个专家校验实例,提出层次化细粒度约束体系与基于“信息抽取 + 规则计算”的无偏评测协议。
- Does task decomposition improve automatic NLG evaluation?
-
系统性对比了基于任务解构与直接预测的大模型裁判(LLM-as-a-Judge)方法,证实指标分解本身并未带来与人类判断对齐的增益,以往分解方法的收益实则源自人工标注监督训练与浮点分数的统计偏置,且公平设定的直接预测裁判在部分维度上已达人类标注一致性水平。
- Evaluating and Improving LLM Self-Modeling
-
本文将大模型自建模形式化为对自身输入-输出行为的经验预测能力,构建了覆盖10类任务与4大领域的无偏技能基准,并提出基于“生成-验证-修正”闭环合成数据与格式门控强化学习的训练管线,证明了自建模能力可训练且能跨任务泛化,但本质属于通用行为建模而非特权内部自省。
- Evaluating LLM-generated Explanatory Dialogue Turns through Dialogue Completion
-
本文提出将对话补全(Dialogue Completion)作为透镜,跨人类口语、人类书面与合成三种模态探究解释性对话的生成质量与评测偏置,不仅揭示了主流无参考评测基准 FED 存在偏向书面规整性而惩罚口语交互性的系统性偏置,还验证了基于评测指标反馈的零样本迭代自反思能有效提升大模型的对话交互能力。
- Exposía: Teaching and Assessment of Academic Writing Skills for Research Project Proposals and Peer Feedback
-
本文提出了首个连接高等教育学术开题报告写作与同行评审反馈的公开多阶段评测基准 Exposía,设计了覆盖 36 项开题报告与 24 项评审标准的细粒度评分量规,并系统评测了前沿开源与闭源大语言模型在多维度评分任务上的对齐表现与部署效率。
- From Rubrics to Reliable Scores: Evidence-Grounded Text Evaluation with LLM Judges
-
本文提出针对大模型裁判员的量规式文本评估框架 RULERS,将人类量规编译为锁定规格、执行类型化证据溯源并结合分位数映射校准,在四大基准上显著提升与人类评分的二次加权 Kappa 一致性。
- From Sampled Outcomes to Capability Distributions: Rethinking Supervision for LLM Routing
-
针对传统大语言模型路由依赖单次采样输出导致监督信号脆弱且严重误导策略的问题,本文提出分布感知路由监督框架 DARS,通过语义保持的提示重写与多次随机解码构建能力分布,结合期望质量、推理成本与性能方差构建风险敏感效用,在不改变下游路由器架构的前提下显著提升了多族路由器的决策效用与成本效益。
- From Test-taking to Cognitive Scaffolding: A Pedagogical Diagnostic Benchmark for LLMs on English Standardized Tests
-
本文提出了首个面向大语言模型的标准化考试教学诊断基准 ESTBOOK,涵盖 5 大主流英语考试与 10,576 道多模态题目,通过将解题过程形式化为结构化认知轨迹并构建认知陷阱干扰项,揭示了大模型在中间约束绑定步骤的"整合瓶颈",并验证了基于诊断引导的轻量级认知支架干预的显著有效性。
- Gold vs. Translation: Are We Measuring Language, Knowledge, or Locality in Translated Benchmarks?
-
本文提出增量代理有效性(Incremental Proxy Validity)统计控制框架,通过在 5 种北欧与波罗的海语言、7 组本地黄金基准对与 29 个 LLM 上的实证分析,揭示机器翻译版 MMLU 能否替代本地原生基准取决于知识重合度而非单纯排名相关性。
- Granuscore: A Reference-Free Measure of Granularity for Text Analysis and Question Answering
-
提出首个基于双曲层次嵌入与锚点特征的无参考文本粒度度量指标 Granuscore,无需人工词表或参考答案即可量化语义抽象层次,不仅跨领域非线性预测句子特异性,更揭示出大模型在问答任务中答错倾向于过度细粒度猜测的共性行为规律。
- How Human-Like Are Large Language Models? A Register-Aware Linguistic Evaluation Framework
-
提出首个语域感知的语言学评测框架,基于 67 项 Biber 词汇语法特征与核最大均值差异(MMD)构建双样本检验,揭示主流开源大模型在各类语域下的特征分布均显著偏离人类基线,且语言拟人度强烈依赖语域情境而非单纯由模型参数规模决定。
- Is my model perplexed for the right reason? Contrasting LLMs’ Benchmark Behavior with Token-Level Perplexity
-
论文提出了一个基于 token 级困惑度(PPL)的轻量可解释性评测框架,通过在最小句对提示中对齐并追踪关键 token 引起的困惑度差值占比,发现大语言模型在语言基准测试中即使取得极高准确率,决定句法与语义合法性的核心 token 也往往只能解释不到一半的困惑度偏移,揭示了表面基准表现与真实语言机制之间的严重错配。
- JuDi: Revisiting Judge Decoding from First Principles via Training-Free Distributional Divergence
-
揭示裁判解码(Judge Decoding)中通过昂贵监督学习到的 token 关键性判别本质等价于草稿与目标模型间的分布发散,提出基于无训练 KL 散度的轻量验证准则与高置信度兜底机制,彻底免除数据挖掘与分类器训练。
- LLM Abstention Can Be a Prompt Artifact, in Addition to Genuine Uncertainty
-
论文系统揭示了大语言模型在判断题中引入“未知”选项时产生的“弃权膨胀”现象(正确率骤降约20个百分点),证实该拒答行为多为指令微调诱发的表层提示伪影而非真实认知不确定性,且本质上属于神经网络晚期层对完好中间推理的表征覆盖。
- Measuring Source-Resolution Distortion in LLM Output Arbitration: A Source-Bounded Evaluation Framework
-
针对大语言模型在仲裁与融合多个候选输出时因信息压缩导致的任务相关源端结构不可逆丢失问题,本文提出了源界定评测框架与量化指标,并设计了基于决策账本的抗混叠仲裁方法 A2R,在保持高偏好率的同时大幅提升了结论溯源与冲突保留能力。
- Multi-Domain Latent Concepts Evaluation: Auditing Interpretability and Robustness
-
针对复杂与多轮越狱攻击难以低成本精准判别的难题,本文提出结合拒答初筛、动态价值对齐与批评者-辩护者多轮辩论的多智能体评判框架,并构建了包含 11,100 条高质量人工标注样本的越狱安全基准 FS–HAJailBench,以小模型实现媲美前沿大模型的评测一致性与显著成本优势。
- Multi-Expert Conformal Risk Control for Pairwise LLM Judging in Open-Ended Dialogue
-
本文提出首个针对开放域对话大模型裁判成对评估的多专家保形风险控制(CRC)框架,通过边际校准共识(MC3)统一校准与测试决策函数,在严守无分布假设统计风险上界的同时显著提升评测接受率与准确率。
- PaperAudit-Bench: Benchmarking Error Detection in Research Papers for Critical Auditing
-
PaperAudit-Bench 首创了包含 220 篇顶会论文与 2,200 余个可控合成学术错误的基准数据集,并构建了分层级错误检测与静默线索约束的审稿修正框架,使大语言模型能够深入长文本定位实质性学术漏洞并输出高对齐度的审校级同行评审。
- Post-hoc Alignment of LLM-judges to Human Judgment Distribution
-
针对大语言模型裁判(LLM-as-a-judge)在硬标签评估接近人类而在软标签评判分布上严重失准的问题,本文提出了轻量级事后对齐框架 NAPHA,通过预测概率的香农熵将样本划分为低、中、高三个熵阶,并路由至专用的小型 MLP 对齐模型,以极小训练成本大幅缩小模型输出与真实人类判断分布的差距。
- Rating the Pitch, Not the Product: User Evaluations of LLMs Reflect Expectations More Than Performance
-
通过对 162 名参与者在跨两个模型家族、三级能力梯队的受控双盲实验中发现,预先设定的能力包装(Framing)不仅在交互后持续主导用户对 LLM 的主观评分与提示词交互风格,而且交互后印象的转变完全由“期望是否被满足”与“自我效能感增量”驱动,与客观任务产出质量毫无统计显著相关性。
- Self-Calibrating Language Models via Test-Time Discriminative Distillation
-
本文提出首个针对大模型置信度校准的测试时训练框架 SECL,利用语言模型内生且校准度显著更优的标准化判别概率作为自监督信号,在无真实标签及自适应熵门控触发下通过保守方向 LoRA 更新口头置信度,在跨 4 个模型家族和 4 大领域上将期望校准误差相对降低 56%–78% 并保持原有任务精度。
- The Evaluation Scaling Law: Toward More Reliable LLM Assessment via Multi-Prompt Diversity
-
针对大语言模型单提示词评测易受格式与措辞波动干扰的痛点,本文提出了评测缩放法则(Evaluation Scaling Law),通过聚合多样化提示词平滑评测噪声,并设计了质量-多样性(QD)选择算法实现高置信度的模型能力估计。
- The Evaluation Scaling Law: Toward More Reliable LLM Assessment via Multi-Prompt Diversity
-
针对大语言模型在单一提示词模板下评测噪声大与排序单调性弱的痛点,本文提出系统化的多提示词评测框架与 Quality-Diversity(QD)模板选择算法,揭示并验证了评测可靠性随提示词数量呈对数线性增长的“评测缩放律”(Evaluation Scaling Law)。
- When LLMs Benchmark Themselves: Deconstructing Self-Bias in Automated Evaluation
-
论文系统解构了“大模型生成测试集并执行评测”(LLM-as-a-benchmark)中的自身偏见,证明该偏见由测试集生成偏差与评估器偏好两重叠加放大,其根本机理在于低资源生成时模型陷入狭窄且独特的退化模式,并通过多样性过滤与语言熟练度提供了切实对齐指引。
- When VLMs 'Fix' Students: Identifying and Penalizing Over-Correction in the Evaluation of Multi-line Handwritten Math OCR
-
本文首次系统揭示了多模态大模型在多行手写数学OCR中普遍存在的“过度修正”致命缺陷(模型自行动作“修补”学生错误解题步骤导致教学诊断失效),并提出了基于大模型教育量规与阶梯惩罚机制的保真度评估指标 PINK,使得模型排序发生根本性逆转并获得 55.0% 的专家偏好。