跳转至

📊 LLM 评测

🧠 NeurIPS2026 · 83 篇论文解读

📌 同领域跨会议浏览: 🎞️ ECCV2026 (3) · 🔬 ICLR2026 (131) · 💬 ACL2026 (96) · 🧪 ICML2026 (40) · 🤖 AAAI2026 (16) · 🧠 NeurIPS2025 (38)

🔥 高频主题: LLM ×32 · 推理 ×6 · 对抗鲁棒 ×3 · 个性化生成 ×2 · 布局/合成 ×2

A Semantic-Sampling Framework for Evaluating Calibration in Open-Ended Question Answering

针对开放域问答中缺乏内部 logits 且传统置信度难以评测校准的难题,本文提出了基于语义采样的 Sem-ECE 评测框架与留出估计器 Sem2,在严谨理论下消除了胜者诅咒并兼具问题难度诊断能力。

A Unified Perturbation Framework for Analyzing Leaderboard Stability and Manipulation

基于影响函数与单步牛顿校正,统一对 Bradley-Terry 排行榜的增、删、翻转匹配及玩家移除进行扰动影响反向传播,实现对 Top-\(k\)、全局 Kendall's \(\tau\) 与置信区间不确定性的稳定度审计与靶向操纵。

AI Evaluation Should Require Standardized Item-Level Data Releases

针对现有AI基准测试过度依赖总体聚合分数、掩盖构念错配与题目退化的问题,本文提出将标准化题目级数据发布确立为评估基础设施,并构建了涵盖444个模型、10.7M+响应的OpenEval评测库。

AI GAMESTORE: Scalable, Open-Ended Evaluation of Machine General Intelligence with Human Games

针对传统 AI 基准任务静态狭窄且易饱和过拟合的问题,本文提出以人类游戏全空间(Multiverse of Human Games)作为通用智能评测代理,构建包含 LLM 程序生成与人机协同迭代的开放式评测平台 AI GAMESTORE,并在首批 100 款游戏上揭示前沿视觉语言模型平均仅达人类中位数得分不足 10% 的认知能力瓶颈。

Aligning Language Model Benchmarks with Pairwise Preferences

针对静态基准难以预测大模型真实下游偏好与效用的断层问题,本文提出了基准对齐(Benchmark Alignment)框架与 BenchAlign 诊断工具,通过排序学习(Learning-to-Rank)自适应学习题目连续权重,实现了仅用中小模型即可零样本泛化至 70B+ 大模型真实偏好排序。

APM: Evaluating Style Personalization in LLMs with Arbitrary Preference Mappings

本文提出任意偏好映射(APM)基准,通过在用户 prompt 风格属性与模型回复准则间建立随机零均值映射矩阵解耦语义先验并抵消 LLM 裁判偏见,在此严苛基准下证实路由分类是隐式风格个性化中最稳健有效的方法。

Ask-E: An Environment for Calibrated Question Generation

提出 Ask-E 评估与训练环境,通过让提问者大模型与两台已知能力边界的求解器交互并生成恰好仅被其中一台求解的校准问题,颠覆传统依赖更强模型监督的范式,并在无外部数学数据和无真实性奖励下通过 RL 显著提升了下游解题能力。

AssayBench: An Assay-Level Virtual Cell Benchmark for LLMs and Agents

AssayBench 汇聚 1,920 项人类 CRISPR 筛选并统一为表型端点基因排序任务,引入校正随机基线偏差的连续指标 AnDCG,系统揭示了通用前沿大模型虽显著优于生物专用小模型与可训练基线,但距离经验性能上限仍有巨大鸿沟。

BayesJudge: Uncertainty-Aware Bayesian Meta-Evaluation of Human and LLM Judgments

针对成对评测中人类标注分歧与 LLM 裁判系统性偏差交织的难题,BayesJudge 构建了在线流式贝叶斯元评测层,通过开放平局选项与 AB/BA 交换调用解耦数据歧义与评测器偏差,输出后验裁决分布及不确定度。

BBOWP-Bench: Evaluating LLMs on Black-Box Optimization Word Problems

提出了黑盒优化应用题(BBOWP)新评测设定与基准套件 BBOWP-Bench,评测大语言模型作为元求解器从自然语言需求中自主推断设计变量搜索空间并选择匹配黑盒优化算法的能力。

Benchmark for Assessing Olfactory Perception of Large Language Models

提出了包含 8 大任务类别共 1,010 道客观评估题的首个大语言模型嗅觉感知基准 OP,通过化合物通用名称与异构 SMILES 的双重 Prompt 对比,揭示了当前前沿大模型主要依赖浅层词汇关联而非分子结构推理来回答气味问题。

Benchmark Health Index: A Systematic Framework for Benchmarking the Benchmarks of Large Language Models

提出基准健康指数(BHI),从能力区分度、抗饱和度与生态影响力三个正交维度对大语言模型评测基准进行元评测,通过留一基准校准与 CRITIC 客观赋权揭示基准效用退化与生态错位。

Benchmarking and Improving Monitors for Out-Of-Distribution Alignment Failure in LLMs

针对现有大语言模型防护分类器在面对未知或未预见分布外失效模式时泛化性能严重骤降的问题,本文构建了覆盖7类典型分布外对齐失效的评估基准 MOOD,并提出将传统防护分类器与基于马氏距离及困惑度的 OOD 检测器融合加权,大幅提升未知安全风险的召回率。

Benchmarks Are Not Atomic: Composition-Aware LLM Evaluation using BenchHub

提出了将评测基准拆解为多维属性分布的组合感知评估框架 BenchHub,整合 10 种语言 54 个基准的 83.9 万道题目并训练专用轻量分类器,揭示了总分聚合会掩盖子领域性能与排行榜位移的核心现象。

Beyond Fixed Benchmarks and Worst-Case Attacks: Dynamic Boundary Evaluation for Language Models

针对传统固定基准的天花板/地板效应与对抗攻击难以统一度量的问题,提出动态边界评估框架(DBE),通过结合 1PL Rasch 模型与技能引导边界搜索(SGBS),主动寻找模型通过率 \(p \approx 0.5\) 的决策边界,构建并按需扩展全局可比的能力量尺。

BioXArena: Benchmarking LLM Agents on Multi-modal Biomedical Machine Learning Tasks

针对现有生物医学智能体基准仅停留在问答推理或局限于狭窄管道、无法评测端到端机器学习建模的痛点,BioXArena 提出了涵盖 9 大领域 76 项端到端机器学习任务的标准化多模态评测基准,并在统一定量标准与沙箱资源下对 18 种主流智能体与基座组合进行了系统性基准测试。

BIRD-RL: Scaling Agentic Reinforcement Learning over Stateful Data-Centric Environments

针对真实有状态数据库交互中环境隔离代价高昂与直接端到端探索不稳定的瓶颈,本文提出解耦为四阶段递进式学习课程的 BIRD-RL 与轨迹作用域持久化执行基础设施,实现了隔离且高效的数据库副本复用并训练出可比拟闭源大模型的开源 SQL 智能体。

Calibrating LLMs with Semantic-Level Reward

针对可验证奖励强化学习(RLVR)与口头置信度校准中易受表层词元扰动与过度自信猜测的弊端,本文提出 CSR 框架,直接在语义空间利用采样生成间的成对语义一致性构建校准奖励,并通过课程学习与 GRPO 联合优化,实现了无需显式置信度接口的高鲁棒语义不确定性校准。

Can We Trust Item Response Theory for AI Evaluation?

本文系统剖析了将心理测量学项目反应理论(IRT)迁移至大模型评测时面临的“模型少、题目多、能力分布非正态”范式失配,通过六大基准上 18,000 次模拟揭示了经典与现代估计器的失真边界及评测排序、题目分析的置信条件。

Capturing LLM Capabilities via Evidence-Calibrated Query Clustering

针对传统语义聚类与 LLM 实际能力需求脱节的问题,本文提出证据校准聚类算法 ECC,利用后验成对模型比较校准先验语义嵌入,通过软责任分配与轻量级单探针推理,实现查询级精准能力感知排序。

CAREBench: Evaluating LLMs' Emotion Understanding by Assessing Cognitive Appraisal Reasoning

CAREBench 基于认知评价理论构建了首个涵盖「情境→开放式评价推理→多维评价量化打分→多标签情绪输出」完整因果链与双重视角的人类真实情绪叙事基准,揭示了大语言模型在下游离散情绪预测上看似比肩人类、实则严重缺乏深层评价推理与主观异质性建模能力的断层现象。

Celeus: Certifiable and Efficient LLM Evaluation via e-Processes

针对大语言模型序贯评测中重复检验与自适应早停导致置信区间覆盖率失效(double dipping)的问题,Celeus 提出基于 e-过程的随时有效置信序列框架,结合不确定性引导采样与轻量代理模型辅助修正,在严格保障名义覆盖率的同时节省 54%–62% 的样本评估开销。

Conditional Evaluation of Language Models with Cheap Auxiliary Signals

针对大语言模型细粒度条件性能评估中人工黄金标签昂贵而廉价代理信号(如 LLM-judge、置信度等)易偏倚失准的问题,提出局部增强控制变量评估方法 LACE,通过在目标剖析协变量邻域内对廉价信号进行局部中心化与岭回归控制变量增强,在无需校准的条件下实现渐近无偏且方差最优的高精度条件画像估计。

Continual Learning Bench: Evaluating Frontier AI Systems in Real-World Stateful Environments

提出了首个涵盖六大真实世界领域的持续学习基准 CL-Bench,通过隐式先验与概念漂移设计,结合无状态基线增益指标,严格隔离并评测了前沿前沿大模型系统的在线自适应能力。

Corrective Diffusion Language Models

针对掩码扩散语言模型(MDLM)在未掩码可见位置缺乏监督导致无法辨别错误 token 的缺陷,本文提出校正导向的混合掩码后训练准则(CDLM),结合吸收掩码与均匀替换噪声赋予模型误差感知置信度,并构建可执行的代码修正基准(CRB),实现了精准的局部重掩码原地迭代修正与更优的高不确定性并行解码。

Crossing the Validation Crisis: Cross-Validation Reduces Benchmarking Variance Surprisingly Well

本文针对机器学习中因小样本评测带来的验证危机,提出“方差等效测试集样本增益”指标量化交叉验证的虚拟样本扩充效应,证明多折交叉验证能带来高达10倍以上的评测方差缩减,并设计了仅依赖前几折的早停冗余度诊断机制。

CruxBench: A Benchmark of Information Discovery

提出了首个评估大语言模型“信息发现”能力的开放式基准 CruxBench,利用预测市场量化模型分解出的子问题(crux)对终极预测目标的信息价值(VOI),发现前沿模型仅微弱超越随机基线且与理论上限存在数量级差距。

diffscore text evaluation beyond autoregressive likelihood

DiffScore 利用掩码大型扩散语言模型(MDLLM)的证据下界(ELBO)构建无自回归位置偏差的双向文本评估框架,并在多掩码时间步剖析和点互信息解耦上提供了超越自回归评测器的诊断能力。

DiscoverPhysics: Benchmarking LLMs for Out-of-the-Box Scientific Thinking

本文提出 DiscoverPhysics 交互式评测基准,构建了 22 个包含屏蔽引力、分数阶拉普拉斯、暗物质隐藏粒子及额外维度等非标准物理定律的模拟世界,通过多轮主动实验设计、参数拟合与外推预测,配合轨迹 MSE 与专家标准大模型概念解释双重指标,全面评估大语言模型自主发现未知科学定律的创新能力。

Don't Always Pick the Highest-Performing Model: An Information Theoretic View of LLM Ensemble Selection

针对大语言模型集成中同源模型误差高度相关导致直接挑选最高精度模型失效的问题,本文基于高斯Copula与信息论分解证明了集成饱和误差下界,并提出了贪心互信息(Greedy MI)模型子集选择算法,在相同查询预算下显著超越传统Top-k准确率基线。

Don't Claim Benchmark-Oriented Optimization Improves General Coding Capability — Diverse Evaluation Is Required

本文针对代码大模型后训练中以 SWE-bench 等单一代准为优化目标并宣称提升“通用代码能力”的现象提出严肃质疑,通过构建涵盖方法生成、方法补全和程序修复的 Django 基准套件进行跨任务迁移验证,揭示了基准优化导致任务特异化而非通用能力提升的“意义鸿沟”。

EcoGym: Evaluating LLMs for Long-Horizon Plan-and-Execute in Interactive Economies

提出了交互式经济长程决策评测基准 EcoGym,构建零售售货机、自由职业众包与数字内容运营三大无限步长仿真环境,揭示了前沿大语言模型在宏观长线战略与高频执行效率上的系统性脱节。

Efficient Benchmarking Is Just Feature Selection and Multiple Regression

本文将大模型高效基准评测(Efficient Benchmarking)重构为经典的统计学特征选择与多元回归两阶段问题,通过引入基于互信息的最小冗余最大相关算法(mRMR)筛选代表性题目子集,并采用二阶多项式核岭回归拟合子集与全量得分的非线性交互,在二元评测与连续指标上均显著降低预测误差并提升模型排序相关度。

Efficient Evaluation of LLM Performance with Statistical Guarantees

本文提出因子化主动查询(FAQ)与主动式推断(PAI)框架,通过历史性能贝叶斯因子分解与方差缩减-主动学习混合采样,在保证频率学派严谨置信区间覆盖率的前提下,仅用多达 5 倍更少的评测查询量即可达到全量评测的置信区间精度。

Evaluation Awareness in Language Models Has Limited Effect on Behaviour

本文通过对 8 款开源前沿大推理模型在安全、对齐、道德与政治基准上的因果干预与天然分布对比,证实思维链中口头表达的“评测感知”(VEA)对最终输出行为的影响极其微弱(效应量 \(\omega \le 0.12\)),打破了学界将评测感知直接等同于战术博弈或对齐伪装的预设。

Evaluation Cards: An Interpretive Layer for AI Evaluation Reporting

针对 AI 评测结果碎片化且缺乏上下文的问题,本文提出了 Evaluation Cards 解释层框架与自动化管道,通过五层展开层次结构与四种可解释性信号统一跨来源评测记录,并在 5,816 个模型的大规模实证分析中揭示了严重的复现与可比性缺口。

Exact Flow Linear Attention: Exact Solution from Continuous-Time Dynamics

本文将 Delta 规则线性注意力重新解释为零阶保持下连续时间常微分方程的一阶显式欧拉离散化,并利用动力学矩阵的秩 1 代数结构推导出无需数值近似的精确流闭式解(EFLA),在零新增参数与保持块级并行吞吐的前提下显著提升了模型的泛化性与鲁棒性。

Faithfulness Metrics Don't Measure Faithfulness: A Meta-Evaluation with Ground Truth

本文构建了首个具备步骤级与轨迹级真实标签的思维链忠实度元评测基准 BonaFide,系统评估 8 种主流忠实度指标后发现它们大多接近随机猜测、存在严重系统偏差且计算极其昂贵。

FaithSieve: Fine-Grained Evaluation of Math Proofs with Faithful Formal Evidence

针对大语言模型生成的自然语言数学证明在评估时缺乏局部可靠证据以及形式化定理证明器存在局部性与语义漂移失配的问题,本文提出了结合证明状态树细粒度分解、类型化证明义务提取、Lean 形式化验证与语义对齐门控的评测框架 FaithSieve,实现了高精度的数学证明首个逻辑错误定位。

Feedback Forensics: A Toolkit to Measure AI Personality

Feedback Forensics 提出了一套用于显式度量与取证大模型性格特征的开源工具包与 Web 平台,通过大模型裁判在成对响应上进行相对特征标注,并引入相关性加权的机会校正一致性指标(Strength),首次系统解构了主流人类反馈数据鼓励的风格偏向以及前沿模型在竞技场中的性格漂移。

FindStatBench: Evaluating Large Language Models on Combinatorial Code Synthesis

针对现有代码评测套件缺乏严格离散数学结构归纳测试的空白,本文基于 FindStat 构建了包含 2,329 个任务和 552 万隐藏实例的执行基准 FindStatBench,评测揭示出开源与闭源前沿系统在此任务上高度收敛,且示例过多反而会破坏模型对经典双射实现的知识调用。

Fine-Grained Benchmark Generation for Comprehensive Evaluation of Foundation Models

提出了基于多智能体与解题图驱动的自动化基准生成框架 Flame,以权威教科书为外部知识源自动化构建具备高覆盖度、丰富元数据且抗数据污染的高质量多选题评测基准。

FinReasoning: A Hierarchical Benchmark for Reliable Financial Research Reporting

本文提出针对金融研究报告可靠生成的层次化基准 FinReasoning,将金融分析工作流拆解为语义一致性、数据对齐与深度洞察三个能力阶段,并构建含 4,800 个真实校验样本的评测集,揭示了主流大模型在审计纠错与高阶推理能力上的显著分层。

Forecasting Downstream Performance of LLMs With Proxy Metrics

本文提出仅需候选模型对专家解题轨迹进行单次前向传播,通过聚合预测分布的细粒度统计量构建代理指标库,以极低算力高保真预测大模型下游任务性能、排序跨架构模型并指导预训练数据选择。

From Uncertain Judgments to Calibrated Rankings: Conformal Elo Estimation for LLM Evaluation

针对传统 LLM-as-a-judge 评估将细粒度裁判打分粗暴硬截断为离散胜负标签导致 Elo 尺度严重拉伸失真的缺陷,本文提出 Soft-Elo 框架,在微观对决层拟合温度校准的连续获胜概率,在宏观模型层结合残差分裂保形预测(Split Conformal Prediction),在零人类标注成本下获得高精度且具备理论覆盖保证的 Elo 区间估计。

FrontierOR: Benchmarking LLMs' Capacity for Efficient Algorithm Design in Large-Scale Optimization

针对现有评测多停留在教科书级小规模数学建模与直接调用求解器的局限,FrontierOR 构建了包含 180 个来自运筹学顶刊的大规模优化算法设计基准,建立以可行性、解质量与运行效率(QTE)为核心的严谨评测体系,全面评估前沿大语言模型与自演化智能体在大规模复杂决策场景下的高效算法设计能力。

Heterogeneous Judge-Aware Ranking with Sensitivity, Disagreement, and Confidence

本文提出了异质裁判感知排序框架(HJA),将多裁判两两比较评分矩阵可辨识地分解为跨裁判共识、裁判共识敏感度与正交低秩残差分歧分量,配合固定裁判面板渐近推导与锚定交替近端算法,实现了高精度排序恢复、置信区间量化与裁判偏好诊断。

Hidden Measurement Error in LLM Pipelines Distorts Annotation, Evaluation, and Benchmarking

针对现有 LLM 评测忽视裁判选择、提示词措辞及温度等管道方差而导致置信区间严重欠覆盖和排行榜可刷分的问题,本文提出总评测误差(TEE)框架,基于概化理论解耦多源方差并指导决策研究(D-study),在等价预算下将估计误差减半并将基准刷分空间削减 43%。

How Does Personalized Memory Shape LLM Behavior? Benchmarking Rational Preference Evolution

本文提出理性个性化基准 RPEval 与基于语用贝叶斯推理的 RP-Reasoner,揭示了大模型面对无关个性化记忆时的严重过度个性化与反向缩放现象,通过逆向建模用户提问生成过程,在多偏好场景下将意图准确率提升 258% 并解决商业助手 80% 的坏例。

How Hard is it to Rig a Benchmark? A Social Choice Analysis of Leaderboard Robustness

本文将多任务基准排行榜操纵形式化为社会选择中的移位贿赂问题,证明了平均胜率和Borda计数下的基准定向训练属于NP-hard,并提出了样本级鲁棒性指标,证明平均胜率相比算术平均与中位数对榜单操纵具有显著更强的抗性。

Instance-Optimal Estimation with Multiple LLM Judges on a Budget

针对多大语言模型评测中裁判质量未知、调用成本相异且样本异方差的预算受限难题,本文提出了基于乐观方差修正的双阶段自适应算法 Est-IVWE,并在理论上证明了其匹配局部极大极小下界的实例最优性。

JudgmentBench: Comparing Rubric and Preference Evaluation for Quality Assessment

本文构建了首个由资深执业律师对相同真实法律工作产物分别给出细粒度准则(Rubric)与成对偏好(Comparative Judgment)标注的高专业度基准 JudgmentBench,实验表明成对比较恢复预设质量阶梯的准确率显著优于细粒度准则且耗时缩减过半。

JuICE: A Benchmark for Evaluating LLM-Judge in Identifying Cultural Errors

提出了多语言多文化长文本评测基准 JuICE,包含涵盖 4 国 4 语、经本土母语者交叉验证的 7,470 个跨度级文化与语言错误标注,揭示了前沿大模型裁判在识别深层“浓厚文化错误”(如文化内涵、文化特异性与文化缺失)时存在系统性盲区(最高 F1 仅 0.52,母语者检出召回率不足 50%)。

L2-Bench: An Evaluation Benchmark for Measuring LLM Capabilities in Second Language Education

牛津大学出版社等机构提出首个二语教育学习体验设计评测基准 L2-Bench,通过包含 12 项能力与 31 项子能力的权威分类法、1,000 道结合 33 个情境因子的任务-响应对及三层二值量规,全面评测前沿 LLM 的二语教学设计水平与情境适应性。

Language Model Goal Selection Differs from Humans in a Self-Directed Learning Task

本文基于认知科学中的自主炼金学习任务评估了五种主流大模型的目标选择倾向,发现大模型普遍缺乏人类循序渐进的探索策略与个体多样性,反而表现出极端的单目标短视利用(奖赏黑客)或探索崩溃。

ListQA: A Benchmark for Evaluating List-Formatted Factual Knowledge Retrieval in Large Language Models

本文提出了包含 9,045 道人工精选校验题目的列表事实检索基准 ListQA,通过二分图最优匹配算法与大模型裁判解耦事实召回与格式遵循,揭示出即使前沿模型在标准推理下的 F1 亦未突破 37%、参数化记忆而非结构化组织是核心瓶颈。

LLM Judge Validation Under Sparse Overlap: From Inference to Design

本文把 LLM 裁判验证中的重叠标注数量和分配方式当作统计设计问题:用一致性估计的方差分析规划重叠样本,再以分层分配改善代表性;真实基准上低重叠会显著改变部署结论和裁判排名,但分层降低误拒的同时可能增加误批。

LLMs Show No Signs Of Individuated Metacognition

通过对 20 个前沿大语言模型在 6 个基准上的二元置信度进行四分因子分析与成对校准测试,研究发现 LLM 的置信度仅反映族群共享的题目难度估计,完全缺乏模型特异性的个体化元认知。

MLS-Bench: A Holistic and Rigorous Assessment of AI Systems on Building Better AI

构建涵盖 12 个机器学习领域的 140 项原子化算法发现基准 MLS-Bench,通过严格限制代码编辑范围、封顶模型容量及多环境跨尺度评估,系统揭示前沿大模型智能体在从零发明通用算法与科学实验规划上的显著瓶颈。

Not All Proofs Are Equal: Evaluating LLM Proof Quality Beyond Correctness

提出了首个超越证明正确性维度的 LLM 数学证明质量评测基准 ProofRank,通过简洁性、计算轻松度、认知简易度、多样性与技术适应性五大可扩展代理指标和 Bradley-Terry 成对排名机制,揭示了前沿模型在证明风格与数学洞察上的显著权衡。

OmniToM: Benchmarking Theory of Mind in LLMs via Explicit Belief Modeling

针对传统终端问答(Endpoint QA)无法观测中间心理状态表征的问题,本文提出显式信念结构建模基准 OmniToM,包含 895 个故事与 22,343 条七维标注信念命题,揭示出当前 LLM 在将叙事事实转化为角色特定信念时的关键信息追踪瓶颈。

OTROPE: Optimal Transport-based Robust Off-policy Evaluation for Large Language Models

OTROPE 在语义嵌入空间中用最优传输重加权旧模型的人类标注残差,再校正新模型的代理评测均值,无需响应概率即可降低跨模型偏好胜率估计误差,但有效性依赖表征覆盖与残差可迁移性,并非所有偏移设置都优于 PPI。

PCEval: A Benchmark for Evaluating Physical Computing Capabilities of Large Language Models

提出了首个面向物理计算的全自动评测基准 PCEval,解耦出逻辑电路生成、物理电路生成及双向代码生成 4 项任务,揭示了 LLM 在处理硬件面包板物理布局和引脚冲突上的严重短板。

PhysElite: How Far Are LLMs from Solving Olympiad-Level Physics Problems?

本文构建了包含 11,586 道竞赛级物理题的大规模双语多模态基准 PhysElite,每道题均配对真实图表、专家推导步骤与开放式答案,评测 18 个前沿模型发现顶尖系统答案准确率仅 33.7%,并揭示了多模态模型在物理感知与物理定律建模上的系统性瓶颈。

PotARCin: Multi-Dimensional Evaluation of Skill Acquisition in Abstract Reasoning Tasks

针对传统 ARC 仅评测单一测试网格输出导致模型“看似懂规则实则未习得技能”的局限,PotARCin 引入基于程序化生成器与验证器的五维评估协议(定义、分类、约束生成、编辑、逆向推理),揭示前沿模型全任务表现暴跌 25–52 个百分点,并直接暴露模型违背自身正确规则的“波将金理解”现象。

Provable Joint Decontamination for Benchmarking Multiple Large Language Models

针对多大语言模型横向评测中的测试集数据污染问题,本文提出了首个具有严格理论保证的联合保形选择方法 JECS,通过 Max-p 保形统计量聚合与右尾自适应包络重构,消除了联合零假设下的超级均匀保守性,在严格控制全局污染率(GCR)的同时显著提升了纯净测试样本的检出功效。

Real In, Real Out: What If We Only Use Real Data for Scene Text Editing?

针对场景文本编辑(STE)依赖合成配对数据导致严重域差异与伪影幻觉的痛点,本文提出首个纯基于真实数据自配对训练的扩散模型 TextRIRO,通过「打乱与裁剪(Shuffle&Crop)」破坏字符语义并保留底层风格,实现了逼真高精度的场景文本编辑,并构建出 300 万级长文本合成数据集 TextRIRO-3M 显著提升下游文本识别性能。

RxnOptBench: Benchmarking LLMs for Reaction-Condition Optimization in Organic Methodology

基于 2025 年顶刊发表的 552 张真实有机合成湿实验条件筛选表构建首个反应条件推荐基准 RxnOptBench,评测 12 款前沿与化学专属大模型,揭示出模型在单变量与全条件联合决策间存在显著组合脆弱性。

SayNext-Bench: Why Do LLMs Struggle with Next-Utterance Anticipation?

针对大语言模型在多模态人际对话中难以预判人类对方下一句发言的问题,本文提出了 SayNext-Bench 评测基准与多层级评测体系,并受认知心理学语义启动启发构建了融合显式启动令牌的双路径多模态模型 SayNext-Chat。

SCDBench: A Benchmark for LLM-Based Smart Contract Decompilers

提出了首个针对大语言模型智能合约反编译的标准化评测基准 SCDBench,构建了涵盖 600 个真实以太坊合约与 22.7 万个语义测试用例的数据集,通过格式完整性、可编译性、ABI 恢复与差分重放语义一致性四阶递进式评估,揭示了前沿大模型表面生成伪代码与深层执行语义正确之间的巨大鸿沟。

SciR: A Controllable Benchmark for Scientific Reasoning in LLMs

SciR 先生成可验证的演绎、归纳与因果发现问题,再将前提改写为多篇科学体裁文本,通过分别改变推理复杂度与前提混淆来诊断 LLM;即使使用符号求解器,文档形式化仍是显著瓶颈。

Solving Every Step Is Not Enough: Milestone Oracles Reveal a Composition Gap in LLM Math Reasoning

OracleLadder 固定教师编写的数学子目标,用“逐个子目标独立测试”和“原题逐级提供路线及答案”交叉诊断六个模型,发现经筛选的 354 道 NuminaMath 题中,33–48% 属于子目标均可解但原题仍未恢复的组合缺口;排除自动复核标记的评分问题后仍为 24–37%,但这不是纯粹的内部组合能力因果测量。

SpanUQ: Span-Level Uncertainty Quantification for Large Language Model Generation

SpanUQ 将离线多样本回答的声明一致性蒸馏到冻结 LLM 的隐状态探针,用集合预测定位语义跨度并输出连续不确定性,五个分别训练的骨干探针取得 0.908–0.944 AUROC,同时支持比整段拒答更细粒度的风险筛选。

Toward Skill-Native LLMs: Skill Entropy for Benchmarking and Training Long-Horizon Reasoning

提出了用于量化推理链中技能切换难度的有向标量指标“技能熵”(Skill Entropy),构建了涵盖 9 个领域 558 种技能的跨技能长程评测基准 Skill2-Bench,并提出将技能熵作为结构化奖励的 Skill-Entropy RL,显著提升了模型跨技能长程推理能力。

Towards Real-world Human Behavior Simulation: Benchmarking Large Language Models on Long-horizon, Cross-scenario, Heterogeneous Behavior Traces

基于快手平台 3 个月内 200 名代表性用户的 212 万条真实交互日志,构建了首个涵盖长时序、跨场景与异构动作的用户模拟评测基准 OmniBehavior,系统评估了 11 款主流大语言模型并揭示了其普遍存在的“过度活跃、人设同质化、乌托邦倾向”三大结构性偏置。

Towards Reliable LLM Evaluation: Correcting the Winner's Curse in Adaptive Benchmarking

针对自适应提示与程序搜索导致的“胜者诅咒”及评估乐观偏差,提出统计协议 SIREN,通过冻结候选池、划分评分与留出评估、并结合样本级高斯乘子 Bootstrap,实现对全调优部署流程在有限调优预算下的无偏估计与严密置信区间推断。

Training Optimal Large Diffusion Language Models (Quokka Scaling Law)

Triage: Evaluating Prospective Metacognitive Control in Large Language Models

提出评估大模型在有限 Token 预算下前瞻性元认知控制(选题、排序与预算分配)能力的评测框架 TRIAGE,并在 20 款主流模型上证实:模型扩展思考提升了解题准确率,却未提升甚至恶化了前瞻性元认知规划能力,且推理模型对不可解任务的识别敏感度显著下降。

TSNBench: Benchmarking LLM Proficiency in Time-Sensitive Networking

提出了首个面向时间敏感网络(TSN)的全面大模型评测基准 TSNBench,包含 939 道专家审校的选择题和 200 个基于网络演算与封闭公式的最坏情况延迟计算任务,揭示了大模型在表层领域知识与深层多步确定性数值推理之间存在的严重能力断层。

VEHBench: A Stage-Local Diagnostic Benchmark for LLM-Assisted Vibration Energy Harvester Design

针对无源物联网中悬臂梁压电振动能量采集器(VEH)紧耦合物理协同设计,VEHBench 构建了由 763 个真实文献锚点衍生、确定性解析预言机评分的阶段局部诊断基准,揭示了大模型在指标分流、引导搜索、状态恢复和策略排序中高度依赖设计阶段的异质能力。

When Empathy Misses the Goal: A Benchmark for Goal Displacement in LLM Advice

提出了针对大语言模型在建议场景中以人设维持(同理心/安抚)替代核心实质建议的“目标置换”(Goal Displacement)基准 GDB,通过删除测试准则与 2×2 分类体系揭示了模型能力与陷阱置换的强负相关,并证实偏好优化(DPO)是抑制该缺陷的关键训练阶段。

XL-SafetyBench: A Country-Grounded Cross-Cultural Benchmark for LLM Safety and Cultural Sensitivity

提出了覆盖 10 个国家-语言对、包含 5,500 个测试用例的双轨跨文化安全评测基准 XL-SafetyBench,通过越狱基准(对抗性攻击)与文化敏感度基准(良性任务中潜入敏感禁忌)全面揭示了前沿及本地大语言模型在区域安全与文化感知上的能力割裂。

ProactBench: Beyond What The User Asked For

ProactBench 提出了首个将对话主动性解耦为三个阶段化触发类型(渐显推断 Emergent、临界综合 Critical、任务收尾后恢复 Recovery)的多轮对话基准,通过 Planner-User-Assistant 三智能体非对称架构消除风格与评分偏见,评测 16 个前沿与开源模型揭示出 Recovery 能力与现有主流基准严重解耦且全行业存在普遍政策短板。