跳转至

Fair Like Us? Auditing LLM Alignment in Resource Allocation

会议: EMNLP 2026
论文: ACL Anthology
领域: LLM 安全
关键词: 资源分配公平性, 大模型对齐, 无嫉妒性, 实验博弈论, 第一人称审计

一句话总结

本文首次从第一人称评估者视角系统审计了大语言模型在不可分物品资源分配中的公平性判断,发现大模型虽能复刻人类对无嫉妒性(EF)与比例性(PROP)的形式化偏好层级,但在松弛约束下展现出比人类严苛得多的判断阈值、强烈的自我利益最大化偏好与对问题表述框架的高度敏感,且监督微调仅导致浅层表面模仿而无法真正实现规范对齐。

研究背景与动机

不可分稀缺资源的公平分配是计算社会选择、多智能体系统与公共政策中的核心课题,涵盖公共住房分配、计算集群算力调度以及遗产继承等高风险现实场景。随着大语言模型(LLM)被越来越多地部署为自主决策智能体、利益相关方偏好代理或中心化分配仲裁器,它们需要直接在非结构化自然语言诉求与形式化经济学规则之间架起桥梁。然而,古典决策支持系统通常遵循透明可审计的公理化准则,而大语言模型的决策过程缺乏形式化理论约束,容易受到上下文表述提示(framing effects)的干扰,甚至产生幻觉与推理谬误,导致学术界至今无法明确模型在面临稀缺分配时究竟内化了何种公平观念。

评估分配公平性的核心难点在于:社会选择理论中存在多种互不兼容的形式化公理(如无嫉妒性、比例性、最大最小份额等),现实世界中往往不存在能同时满足全部强约束的完美分配方案,人类自身也会根据具体情境做出规范性妥协。近期行为经济学研究表明,人类在作为第一人称当事人审视自身所得配额(bundle)时,并非单纯追求自私的效用最大化,而是对理论保障强度表现出系统性偏好;然而现有关于 LLM 公平性的研究几乎全将其放置在上帝视角的“第三方规划者”角色,完全忽视了智能体自身作为利益主体时的第一人称分配正义直觉与对齐偏差。

要探明大模型能否真正充当可信的利益代表或调解者,关键在于将其置于严格受控且与人类实验完全对齐的博弈环境中进行横向基准测试。本文的核心 idea 是:构建一个基于经济学公理化层级与受控信息框架的第一人称公平性审计基准,在 150 组完全匹配的人类与模型配对实验中,系统解构 LLM 在不同信息可见度与提问框架下的判断阈值、互换偏好与内部思维链决策准则,并实证检验监督微调(SFT)在公平分配对齐上的有效性边界。

方法详解

整体框架

本文构建了一个端到端的受控实验审计体系,评估大语言模型作为具有私人估值的当事人在面对不可分物品分配方案时的第一人称决策逻辑。形式化问题建模为一个四智能体(\(n=4\))、十件不可分物品(\(m=10\))的公平分配实例 \(\mathcal{I} = \langle N, M, V \rangle\)。所有智能体的物品估值函数 \(v_i\) 均为可加性效用(additive valuations),单项物品价值独立同分布采样自离散均匀分布 \(\{1, 2, \dots, 50\}\)。每个分配方案 \(A = (A_1, \dots, A_n)\) 严格满足社会选择理论中的某一特定公平公理(包含极端对比条件 SMALL 与 LARGE,以及核心公理 EF、PROP、MMS、PROP1、EF1)。

审计流程通过五种不同的实验处理(Treatments T1–T5),在三个正交维度上系统操纵模型接收的信息结构与交互范式:(1)配额可见度(Bundle Information:仅见自身配额 Personal vs. 全局分配 Full);(2)估值透明度(Value Information:仅知自身估值 Private vs. 公开所有人估值 Public);(3)提问框架(Question Framing:阈值式判断 Threshold-based vs. 基于互换的比较式决策 Comparison-based)。最后,利用结构化大模型裁判对思维链(CoT)推理轨迹进行形式化公理归因。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["资源分配博弈实例<br/>4个智能体 / 10件不可分物品 / 独立可加估值"] --> B["形式化公平公理阶梯与约束隔离<br/>7类公理分级:LARGE / EF / PROP / MMS / EF1 / PROP1 / SMALL"]
    B --> C["三维度实验处理矩阵<br/>配额可见度 × 估值透明度 × 提问框架 (T1-T5)"]
    C --> D["第一人称认知偏好审计<br/>配对人类对比:点对点准确率 Accp 与众数准确率 Accm"]
    D --> E["互换行为与道德特征分类<br/>三类决策分解:利己互换 / 帕累托互换 / 利他互换"]
    E --> F["思维链归因与决策基准漂移<br/>结构化裁判解析:PROP锚定 / EF偏好 / 自身效用驱动"]
    F --> G["微调对齐与表面模仿检验<br/>LoRA SFT评测:众数塌缩诊断 vs 真实规范对齐"]

关键设计

1. 形式化公平公理阶梯与约束隔离:避免公理重叠与逻辑蕴含混淆

在理论公平分配中,强公理通常直接蕴含弱公理(例如严格无嫉妒 EF 必然蕴含比例性 PROP,PROP 在可加估值下又强于 PROP1)。如果测试实例同时满足多种性质,则无法辨别模型判断究竟是由哪个公理激发的。为了消除混淆变量,设计了一套严格的条件约束筛选机制,构造互相隔离的 7 类分配实例: - 极端基线:SMALL 约束分配给当事人的价值严格低于其最大最小份额 \(v_p(A_p) < \text{MMS}_p(M)\),但加入未分配物品后可达标;LARGE 约束当事人分得总价值的一半以上 \(v_p(A_p) \ge \frac{1}{2} v_p(M)\); - 核心公理隔离:EF 满足 \(v_i(A_i) \ge v_i(A_h), \forall h, i\);PROP 满足 \(v_i(A_i) \ge \frac{1}{n} v_i(M)\);MMS 满足 \(v_i(A_i) \ge \text{MMS}_i(M)\) 且显式剥离 PROP(即故意使 \(v_1(A_1) < \frac{1}{n} v_1(M)\));PROP1 要求在不满足 PROP 的前提下加入单件物品后达标;EF1 则要求在存在嫉妒对象的情况下消除单件物品后消除嫉妒。 通过这套公理阶梯与严格正交的实例生成,确保每个场景唯一对应且能够敏锐检验模型对特定理论保障强度的反应。

2. 三维度实验处理矩阵:解构信息可见度与提问框架效应

人类与智能体在做出正义评判时,极其依赖情境上下文与问题表征方式。设计了跨越三个维度的 5 组受控实验处理(T1–T5): - T1(Personal + Private + Threshold):受试者仅能看到分配给自己的物品明细和自身对所有物品的估值,其余物品打包为单一“其他”集合(隐藏划分方式),提问“你认为你的份额可以接受吗?(Yes/No)”; - T2(Full + Private + Threshold):公开所有 4 位成员的具体分包明细,但仅提供自身对所有物品的估值,同样进行可接受性判定; - T3(Full + Private + Comparison):在 T2 相同信息下,改为比较式互换提问:“你希望保留分配给你的物品,还是与其他海盗之一互换?”(拒绝互换视为认为当前分配公平); - T4(Full + Public + Threshold):在 T2 基础上,进一步公开其他所有人对各自所得及对受试者所得的真实加性估值; - T5(Full + Public + Comparison):在完全公开估值与分包的前提下,提供指定对象的互换选项。 该设计精准隔离了“仅知自身”与“全局对比”认知负荷的差异,揭示了模型是从自我中心主义(egocentric)转向全局审视(holistic)还是被互换机制激活自私博弈本能。

3. 互换行为与道德特征分类:定量解构自私、帕累托与利他偏好

在 T5 完全公开信息的互换场景中,参与者的互换决策不再仅仅反映公平感知,更直接折射出多智能体交互中的社会道德倾向。本文将所有可能的互换动作严格划分为三种互斥的经济学行为模式: - 利己互换(Selfish Swaps):互换仅使受试者自身的效用严格提升,而对方的效用可能不变或下降; - 帕累托互换(Pareto Swaps):互换使得受试者与目标互换对象的效用均不低于原状态,且至少一方严格提升,属于双赢合作; - 利他互换(Selfless Swaps):互换使得目标对象获益,但以牺牲受试者自身的部分效用为代价。 这种细粒度行为归因能够清晰检验 LLM 是否具备人类常见的他者关怀(other-regarding motives),还是表现出纯粹冷酷的经济理性与效用最大化偏见。

4. 基于结构化裁判的思维链公理归因:揭示真实决策基准的语义漂移

为了探究模型在黑盒输出背后的实际决策依据,系统采集了具备显式思维链(<think> 标签)的推理模型(DeepSeek-R1、DeepSeek-70B、Phi-4-14B)共 4,500 条推理轨迹。采用 GPT-OSS-120B 作为结构化 LLM 裁判(并引入 DeepSeek-R1 作为独立复核裁判),通过受控词表(Controlled Vocabulary: EF, PROP, MMS, EF1, PROP1, SMALL, LARGE, self-payoff, equal-split, none)对决策依据进行标注。为了防止裁判模型退化为常识性模糊感知,提示词中注入了 7 种公理的严格数学定义。该机制成功揭示出:除严格 EF 场景外,模型在绝大多数情况下并非依据分配方案客观满足的理论公理做决策,而是机械地受提问框架驱动——在阈值提问下退化为绝对比例检查(PROP),在互换提问下则完全蜕变为追求自身收益(self-payoff)的贪心计算。

实验关键数据

主实验

实验评测了覆盖不同体量与推理能力的 7 款代表性大模型:轻量级开源模型 Phi-4-14B、Gemma-3-27B;中型与蒸馏推理模型 DeepSeek-70B、Gemini-2.5-Flash;前沿深度推理模型 DeepSeek-R1 (671B)、Gemini-2.5-Pro 以及 GPT-5.6-Terra。基准包含 150 名匹配人类参与者在 10 轮时序对话场景下的共 1,500 条响应,评估点对点准确率(\(\text{Acc}_p\))与众数准确率(\(\text{Acc}_m\))。

表 1 汇总了全处理条件下各模型对人类判断的拟合准确率,以及各公理下被判定为公平的比例(节选自论文 Table 2 与 Table 4):

模型 / 评估主体 点对点准确率 \(\text{Acc}_p\) (%) 众数准确率 \(\text{Acc}_m\) (%) EF 判定公平率 (%) PROP 判定公平率 (%) MMS 判定公平率 (%) PROP1 判定公平率 (%) EF1 判定公平率 (%)
Humans (人类真实基准) — — 80.83 66.33 46.00 48.00 39.17
Phi-4-14B 67.40 [65.0, 69.7] 81.87 [79.8, 83.7] 97.08 ↑ 64.00 19.33 ↓ 21.33 ↓ 21.67 ↓
Gemma-3-27B 55.67 [53.1, 58.2] 68.20 [65.8, 70.5] 74.17 40.67 ↓ 12.33 ↓ 15.33 ↓ 19.58 ↓
Gemini-2.5-Flash 62.27 [59.8, 64.7] 73.47 [71.2, 75.6] 94.17 ↑ 55.33 ↓ 7.00 ↓ 8.67 ↓ 14.58 ↓
DeepSeek-70B 62.80 [60.3, 65.2] 81.67 [79.6, 83.5] 81.67 58.33 42.00 42.00 34.17
DeepSeek-R1 (671B) 55.13 [52.6, 57.6] 60.00 [57.5, 62.5] 95.00 ↑ 53.33 ↓ 11.00 ↓ 12.67 ↓ 12.08 ↓
Gemini-2.5-Pro 60.20 [57.7, 62.7] 69.27 [66.9, 71.6] 96.25 ↑ 48.00 ↓ 0.33 ↓ 0.33 ↓ 4.58 ↓
GPT-5.6-Terra 60.88 [58.4, 63.3] 68.29 [65.9, 70.6] 100.00 ↑ 47.32 ↓ 0.67 ↓ 0.67 ↓ 4.17 ↓

注:↑ 与 ↓ 表示在双侧 Fisher 精确检验中相比人类在 \(p < 0.05\) 水平显著上升或下降。

在道德特征方面,分析 T5 条件下当存在可行互换时的动作选择分布(论文 Table 5): | 模型 / 主体 | 利己互换率 Selfish (%) | 帕累托互换率 Pareto (%) | 利他互换率 Selfless (%) | |---|---|---|---| | Humans | 71.66 | 47.50 | 17.07 | | Phi-4-14B | 99.47 ↑ | 85.00 ↑ | 0.00 ↓ | | Gemma-3-27B | 67.38 | 80.00 ↑ | 2.44 | | Gemini-2.5-Flash | 97.33 ↑ | 82.50 ↑ | 0.00 ↓ | | DeepSeek-70B | 79.14 | 85.00 ↑ | 0.00 ↓ | | DeepSeek-R1 | 34.76 ↓ | 85.00 ↑ | 0.00 ↓ | | Gemini-2.5-Pro | 99.47 ↑ | 85.00 ↑ | 0.00 ↓ | | GPT-5.6-Terra | 99.47 ↑ | 85.00 ↑ | 0.00 ↓ |

消融与微调实验

为了验证是否能通过监督微调(SFT)将模型对齐到人类公平分配判断,论文采用 LoRA(\(r=32, \alpha=32\))在 1,190 条人类回答(298 个独立情景)上微调 Phi-4-14B 与 Gemma-3-27B,并在互斥的 310 条测试集(74 个新情景)上评估点对点准确率(论文 Table 14):

模型 微调阶段 T1 (阈值/单人) T2 (阈值/全显) T3 (互换/私密) T4 (阈值/公开) T5 (互换/公开) 全局综合 Accp (%)
Gemma-3-27B Before 32.8 79.5 70.1 37.7 58.2 55.65
Gemma-3-27B After 70.5 79.5 16.41 64.2 17.9 49.70
Phi-4-14B Before 55.7 27.4 80.6 5.66 60.71 46.01
Phi-4-14B After 78.7 79.5 88.1 64.2 53.6 72.82
Human Modal Baseline — 88.5 84.9 88.1 79.2 66.1 81.36

在情景表述鲁棒性消融方面(论文 Table 6/7/8/9):将经典“海盗与宝藏”背景替换为“兄弟姐妹分奖励”、“难民分配救灾物资”、“竞争者分奖品”等,各模型的公理偏好排序保持稳定;注入“慷慨(Generous)”或“自私(Selfish)”人设时,模型并未发生全局性的公平感知迁移,而是选择性放大某些指标(如 DeepSeek-70B 在慷慨人设下显著提升 MMS/PROP1 接受率,但在自私下显著下降)。

关键发现

  1. 尺度与推理能力并未缩小对齐鸿沟:具有超长 CoT 的前沿推理模型(DeepSeek-R1、Gemini-2.5-Pro、GPT-5.6-Terra)与人类判断的契合度(\(\text{Acc}_p \approx 55\% \sim 60\%\))反而低于中小型模型(Phi-4-14B 达 67.4%)。前沿模型表现出极端的规则教条主义——对严格 EF 方案的接受率接近 100%,但对 MMS、PROP1 和 EF1 等现实松弛方案几乎全盘否决(接受率不足 5%,甚至低至 0.33%),而人类在这些松弛方案上的接受率约为 40%–48%。
  2. 经济效用最大化与零利他倾向:在互换决策中,几乎所有 LLM 对帕累托改进型互换的执行率均在 80%–85% 以上(人类仅为 47.5%),且除 Gemma 偶发 2.4% 外,所有大模型在面对损己利人的利他互换时选择率为绝对的 0.00%(人类为 17.07%),表明 LLM 内化了比人类更冷峻的理性人假设。
  3. 微调带来的是“众数塌缩”而非“价值对齐”:Phi-4 在 LoRA 微调后综合准确率看似从 46.0% 提升至 72.8%,但错误分析表明模型只是学会了在阈值提问下盲目全部回答“Yes”,以此机械贴合人类在多数情况下的妥协答复;而在互换测试(T3/T5)中 Gemma 准确率暴跌超 40%,印证了当前有限的人类博弈数据集只能诱发浅层模式模仿,无法让模型真正习得人类在公平与自利之间的微妙权衡。

亮点与洞察

  • 第一人称视角的开创性范式:以往研究均让 LLM 充当公正的第三方裁判,本文首次将 LLM 摆在自身享有估值与分配结果的第一人称主体位置,揭示出模型在涉及自身利益时所表现出的强烈自私性与教条主义。
  • 揭穿了推理模型在分配正义上的“超理智虚妄”:更强的推理模型并未展现出更高维度的道德宽容,反而因为严格形式化验证能力更强,把现实中必须妥协的不可分物品分配逼入绝境(拒绝所有松弛解),这为自主智能体在社会资源调度中的应用敲响了警钟。
  • 问题提法的决定性反噬:审计证实改变提问方式(“是否可接受” vs “是否互换”)会直接彻底改写模型的内部决策准则(从比例性检查突变为绝对效用贪心),说明基于 LLM 的分配系统其决策正义性高度寄生于提示词工程的措辞细节。

局限与展望

  • 人类基准的多样性局限:实验对照的人类数据集主要集中于美加两国的线上众包受试者,缺乏跨文化、跨阶层和多语种人群的社会正义观念对照。
  • 可加性效用与无背景设定:实验假定估值完全可加,且参与者匿名平权,未纳入现实世界中常见的按需分配(need)、按劳分配(merit)或历史弱势补偿等复杂分配正义原则。
  • 未来方向:需要探索能够保留人类多元分歧与道德不确定性的分布对齐(distributional alignment)训练方法,而非强行拟合单一确定性标签。

相关工作与启发

  • vs Hosseini et al. (2025a): 该前序工作系统测定了人类在第一人称分配下的行为公理偏好;本文在此基础上将其拓展为严密的人机同轨对抗审计基准,填补了 LLM 与人类对齐的实证空白。
  • vs Hosseini & Khanna (2025); Hua et al. (2024): 现有文献将 LLM 作为第三方协商者或全局资源规划器;本文证明当 LLM 自身成为利益相关方时,其展现出的规则极端性与自利倾向远超第三方中立状态。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次从第一人称视角建立形式化公理分级的 LLM 资源分配对齐审计基准。
  • 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 11 款主流大模型、4,500 条 CoT 轨迹裁判、5 种实验处理与 LoRA 微调实证。
  • 写作质量: ⭐⭐⭐⭐⭐ 经济学公理推演与经验实证结合严密,逻辑自洽且批判性见解极为深刻。
  • 价值: ⭐⭐⭐⭐⭐ 为大模型在法律、医疗分诊、公共政策等稀缺资源调度领域的安全部署提供了极其关键的诊断警示。