Aggregate vs. Personalized Judges in Business Idea Evaluation: Evidence from Expert Disagreement¶

会议: ACL 2026
arXiv: 2604.22517
代码: 无
领域: LLM 评测
关键词: LLM-as-a-Judge, 商业 idea 评估, 专家分歧, 个性化评判, 多维评分

一句话总结¶

针对商业 idea 评估中专家系统性分歧的现实，构建了 3000 个个体专家评分的 PBIG-DATA 数据集，并实证证明在该领域"个性化 judge（条件于目标评审员历史）"比"汇总 judge（条件于多评审员混合历史）"更贴合专家行为，挑战了"用 pooled labels 当唯一 ground truth"的常见假设。

研究背景与动机¶

领域现状：LLM-as-a-Judge 已成为大规模评估生成质量的主流方案，常见做法是把多位评审员的标签 pool 起来当作单一 ground truth，让 judge 模型去逼近这个 pooled signal。

现有痛点：在商业 idea 评估这种需要多维（可行性、新颖性、差异化、市场潜力等）判断的场景下，即便用同一份 rubric，不同背景（技术 vs 商业）的专家往往给出系统性不同的分数。把这种分歧当作"标注噪声"再 pool 平均，会抹掉真正的异质标准。

核心矛盾：标准 LLM-as-a-Judge 假设"一个 idea 有唯一正确分数"，但实证发现商业 idea 评估根本不存在这样的单一标准——评审员之间细粒度序数评分 Krippendorff's α 接近 0 甚至负数，却在"挑出强 idea"的粗粒度选择上一致性更高。

本文目标：用一个真实多评审员数据集量化分歧本质，并测试 judge 设计的两个对立选项——汇总型 vs 个性化型——谁更适合反映这种多元化的专家判断。

切入角度：把 idea 评估看成 pluralistic 评估问题，承认"评审员个体内部一致但彼此异质"，那么相比强行收敛到共识，给每个评审员"配一个 judge"可能才是正确建模。

核心 idea：用 PBIG-DATA 实证刻画专家分歧结构，比较 zero-shot、aggregate、personalized 三种 judge 配置，证明 personalized judge 在多模型尺寸下都更贴合对应评审员。

方法详解¶

整体框架¶

整个工作分两部分：(1) 数据构建——300 个基于专利的 LLM 生成产品 idea，覆盖 NLP/CS/MatChem 三个领域，每个 idea 由 4-12 名领域专家在 6 个维度上打分，采用阶梯式筛选协议（specificity 不达标就不评下游维度），最终得到约 3,109 条评分；(2) judge 评估——同一组数据上跑三种 judge 配置，用 Krippendorff's α 比对 judge 预测和对应专家标注的对齐度。

关键设计¶

PBIG-DATA 多维 + 阶梯式评分协议:
- 功能：捕获商业 idea 评估中"哪些维度该评、用什么尺度评、何时跳过"的真实工作流。
- 核心思路：6 个维度采用不同尺度匹配各自自然粒度——specificity / technical validity / competitive advantage 用 1-4，innovativeness 用 1-5（多一档区分"惊艳但不颠覆"），need validity / market size 用 0-3（0 表示"不是 B2B 产品"的类别排除）。阶梯筛选规则：先打 specificity，过阈值再评 technical validity，再过阈值才评 innovativeness 和 competitive advantage；need validity / market size 仅在 specificity 过阈值时评。把"缺失"当作评估流程本身的一部分而非噪声。
- 设计动机：商业评审中"这个 idea 太模糊以至于谈不上可行性"是常态，强迫评审员对劣质 idea 也打满 6 个维度只会引入噪声。
三类 judge 配置对比设计:
- 功能：在统一数据集和 leave-one-out 协议下隔离"target signal 假设"对 judge 性能的影响。
- 核心思路：(a) Zero-shot judge——只给 rubric 和指令，不看任何专家历史；(b) Aggregate judge——few-shot 例子来自"非目标评审员"的混合历史（同领域同维度、不同专利），代表 pooled-label 假设；(c) Personalized judge——few-shot 例子专门来自"目标评审员自己"的历史，代表多元化假设。两者唯一差别是 few-shot 例子的评审员归属，保证对比公平。Judge 同时输出 0-100 的自信度，沿用 Dong et al. 2024 的做法把 <80 的预测丢掉，三个随机种子多数投票。
- 设计动机：要严格回答"汇总 vs 个性化哪个对"，必须把例子数量、领域、采样逻辑都对齐，只动评审员条件这一个变量。
分歧量化的双层指标（Fine vs Coarse）:
- 功能：把"评审员到底有没有共识"分成两层来看——细粒度序数分数 vs 粗粒度强 idea 选择。
- 核心思路：Fine-grained agreement 用 Krippendorff's α 衡量序数评分一致性；Coarse agreement 用"评审员各自的中位数以上 idea 集合"之间的 Jaccard 相似度（仅在两两评审员有 ≥10 条共评 idea 时计算）。
- 设计动机：分别测两种粒度才能揭示"分歧是系统性结构而非纯噪声"——细粒度上分歧大但粗粒度上仍有共识，意味着每个评审员有自己稳定但相互不同的标准。

损失函数 / 训练策略¶

无训练。所有 judge 都是 Qwen3-Instruct 系列（4B / 30B-A3B / 30B-A3B-Thinking / 235B-A22B）以及 GPT-5 mini 直接用 few-shot prompting，主要变量是 few-shot 例子的数量（0 / 1 / 2 / 5 / 10）和归属（target evaluator vs 非 target）。

实验关键数据¶

主实验（专家分歧结构）¶

维度	Fine α (NLP)	Fine α (CS)	Fine α (Mat)	Coarse Jaccard (NLP)	Coarse Jaccard (Mat)
Specificity	0.06	-0.11	0.04	0.45	0.45
Technical validity	-0.03	-0.40	-0.28	0.50	0.42
Innovativeness	0.33	0.47	0.46	0.71	0.54
Competitive advantage	-0.08	0.24	-0.02	0.71	0.46
Need validity	-0.23	0.02	0.05	–	0.89
Market size	0.48	-0.31	0.08	–	0.57

细粒度 α 多数维度接近 0 甚至负数，粗粒度 Jaccard 显著更高（0.4-0.9），说明分歧是"标度不同但偏好结构相似"的结构性异质。

Judge 对齐度对比¶

数据集：PBIG-DATA 六维度 × 三领域；指标：judge 预测 vs 对应专家标注的 Krippendorff's α。

Judge 配置	与对应评审员对齐度	趋势随 few-shot 数量
Zero-shot judge	基线（低）	不变
Aggregate judge	中等	略提升后趋平
Personalized judge	最高	随 shot 数增加单调改善

模型越大，Personalized vs Aggregate 的差距越明显（在 4B → 30B → 235B 上 gap 拉大）。

关键发现¶

在所有维度和模型尺寸上，personalized judge 都比 aggregate judge 更贴合对应评审员，且差距随模型容量放大。
Aggregate judge 通常比 zero-shot 好，说明给 LLM 一些专家示例总归有用；但 pool 起来的示例提供的"目标信号"是模糊的，不及指向单一评审员的示例。
评审员之间的 agreement 仅在 personalized 条件下才与 judge-generated reasoning 的相似度正相关——这间接证明 personalized judge 学到的是"评审员特定的推理风格"，而非通用判据。

亮点与洞察¶

把"分歧 = 噪声"的默认假设直接拎出来质疑，并用数据集 + 实验给出有力反例——这种 problematizing 方法论本身就是贡献。
双层 agreement 指标（fine + coarse）是优雅的诊断工具：能区分"完全噪声"（两层都低）vs"结构性分歧"（细粒度低、粗粒度高），适合任何主观评估场景。
阶梯筛选协议巧妙避免了"为了完整性强行给劣质 idea 打满分"的噪声源，缺失作为信号而非缺陷。
Leave-one-out + 严格控制变量的实验设计很扎实——personalized 和 aggregate 在 shot 数、领域、维度、模型上都对齐，只换评审员归属，结论可信。

局限与展望¶

数据规模偏小（300 idea / 3109 评分），每位评审员的历史最多几十条，是否足以让 LLM 真正学会"评审员风格"存疑。
仅测了 Qwen3 系列 + GPT-5 mini，对 Claude/Gemini 等的迁移性未验证。
只关注 idea 评估这一具体任务，结论能否推广到其他主观任务（翻译、写作、伦理判断）仍待检验。
个性化 judge 在实际部署中需要为每位评审员维护历史，存储/隐私成本不可忽视。

评分¶

新颖性: ⭐⭐⭐⭐ 把"分歧是噪声"的默认假设问题化并实证反驳，方法论层面的贡献
实验充分度: ⭐⭐⭐⭐ 跨 6 维度 × 3 领域 × 4 模型尺寸，控制变量严谨
写作质量: ⭐⭐⭐⭐ 动机递进清晰，分歧诊断与 judge 设计的逻辑链条紧凑
价值: ⭐⭐⭐⭐ 对所有 multi-rater 评测系统都有方法论启示