The Constitutional Coverage Trilemma in AI Governance¶
会议: NeurIPS 2026
arXiv: 2609.01275
OpenReview: https://openreview.net/forum?id=sJBjJfAXJ2
论文: https://arxiv.org/abs/2609.01275
领域: 其他
关键词: AI治理, 宪法对齐, 覆盖缺口, 价值权衡, 三难困境
一句话总结¶
本文提出前沿大模型在安全、有用、诚实、自主与公平五维价值空间中的宪法覆盖三难困境，实证揭示人类多元需求与模型同质化供给之间的严重脱节，并证明仅需极稀疏的顶点菜单即可大幅削减匹配后悔值。
研究背景与动机¶
前沿大语言模型（LLM）已不再仅仅是简单的信息检索工具，而是正在深度演化为承担制度性决策职责的“宪法性机构”。无论是在医疗决策披露、人际冲突调解还是专业咨询场景中，当用户与模型交互时，系统给出的每一个建议与拒绝背后，都内嵌着其在安全性（Safety）、有用性（Helpfulness）、诚实性（Honesty）、自主性（Autonomy）和公平性（Equity）之间的隐式价值偏好排序。通过宪法级 AI（Constitutional AI）微调与人类反馈强化学习（RLHF），当前主流技术栈将特定的规范性价值固化到了模型内部。以往 AI 治理研究普遍将价值冲突简化为“路由分发问题”，预设只要充分挖掘用户偏好并将其分发到现有模型库中，即可实现价值对齐。
然而，这种路由范式忽略了一个更为本质的前提瓶颈：当前供给侧所提供的模型宪法菜单，在几何空间上是否真正覆盖了人类社会的宪法需求？如果市场上所有前沿模型均在某一维度上严重缺位，再精准的偏好诱导与路由算法也无法消除结构性失配，导致受众陷入“宪法无家可归”（Constitutional Homelessness）的困境。更严峻的是，随着模型代际迭代，技术与监管压力并未促成多样化繁荣，反而引发了高度趋同的漂移现象。
面对这一系统性断层，本文的核心切入点是将大模型治理严格形式化为偏好单纯形上的供需匹配几何学，在统一的五维价值坐标系下同步审计人类需求与主流模型供给，量化结构性缺陷的演化机理与理论边界。核心 idea：将 AI 治理中的多价值供给与需求形式化为五维单纯形上的覆盖匹配几何，提出并证明受限多元主义三难困境，揭示前沿模型对自主性与有用性的结构性挤压及代际漂移，并证明稀疏极端顶点菜单相比密集同质化模型群能以极低基数大幅降低福利后悔值。
方法详解¶
整体框架¶
本文构建了一套将人类宪法需求分布与前沿 LLM 供给形态相映射的统一几何评估框架。在理论层面上，定义用户在 5 维单纯形 \(\Delta^K\)（\(K=5\)：SAF, HLP, HON, AUT, EQT）上的偏好配置，并刻画由有限供给菜单所决定的福利上限与后悔值下界；在实证层面上，设计包含反向呈现与语义复述控制的双盲成对权衡实验，分别对 1,649 名真实人类用户和 6 个模型家族的 23 款前沿 LLM 原型开展审计，从而解构静态覆盖率、代际漂移方向与稀疏修复空间。
整个评测与分析管线由需求侧双盲测试、供给侧复述控制审计、三难困境几何约束建模以及稀疏基底修复四个阶段串联构成。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入：5维价值规范与10组权衡场景<br/>SAF / HLP / HON / AUT / EQT"] --> B["阶段1：成对权衡评测与一致性筛选<br/>人类双盲测试 (n=1,649) + 模型复述审计 (23原型)"]
B --> C["阶段2：供需覆盖几何与后悔值下界界定<br/>计算覆盖系数与单纯形凸包体积比"]
C --> D["阶段3：代际定向漂移与情境风险解耦<br/>多版本单调趋势检验与高/低风险情境拆解"]
D --> E["阶段4：受限多元主义三难检验与稀疏基底优化<br/>有限预算下枚举顶点菜单并贪心修复后悔值"]
E --> F["输出：宪法覆盖诊断与极简顶点部署方案"]关键设计¶
1. 成对权衡评测与复述控制审计：消除位置偏置与表述噪声的稳健测量机制
为实现人类与模型在同一标尺下的绝对可比性，本文设计了包含 10 组两两价值冲突的 AI Jamm 场景库。针对人类受试者，每个场景以正反双向选项各呈现一次，仅保留两次选择一致的受试响应以过滤随机噪声（最终样本平均一致性达 0.793）。对于 27 款前沿大模型（涵盖 Claude、GPT、Gemini、Llama、Grok、DeepSeek 六大系列），为规避提示词偶然性与位置偏置，引入第三方模型生成 20 组等价语义复述，结合原始文本构建 21 个复述变体，每个变体均进行选项位置颠倒的两次独立查询，单模型评测多达 420 次交互。通过设定 0.70 的严格复述一致性门槛，筛选出 23 款高度确信的静态前沿宪法原型，将模型间测量方差收敛至 \(5\sigma\) 分辨精度，从而精确标定出各模型出厂默认的隐式价值权重向量 \(\alpha \in \Delta^K\)。
2. 宪法覆盖几何与后悔值下界：量化供给缺口的线性福利理论
在理论建模上，设用户 \(i\) 的偏好向量为 \(\pi_i \in \Delta^K\)，模型供给菜单为有限点集 \(A \subseteq \Delta^K\)。用户在最优匹配下的线性福利为 \(U_i^A = \max_{\alpha \in A} \langle \pi_i, \alpha \rangle\)，其相比自身首选主导价值 \(r_i^\dagger = \arg\max_k \pi_i^k\) 的理想福利 \(U_i^\dagger = \max_k \pi_i^k\) 产生菜单后悔值 \(M_i^A = U_i^\dagger - U_i^A\)。本文定义各维度的覆盖系数 \(\beta_r(A) = \max_{\alpha \in A} \alpha_r\) 以及主导优势边际 \(m_i = \pi_i^{r_i^\dagger} - \max_{k \neq r_i^\dagger} \pi_i^k\)。据此建立核心理论下界定理：任何用户在菜单 \(A\) 下蒙受的后悔值必然受制于该价值在供给端的最大权重缺失，即： $\(M_i^A \geq \bigl(1 - \beta_{r_i^\dagger}(A)\bigr) m_i\)$ 当某一价值缺乏严格过半主导（\(\beta_r(A) \leq 1/2\)）或没有任何模型将其排在首位（\(\arg\max\) 主导缺失）时，对应用户群体在数学上即构成“宪法无家可归”。
3. 受限多元主义三难困境与代际定向漂移：制度趋同下的福利挤压
在治理实践中，开发者必然面临系统部署预算 \(B\) 与基本可行性底线 \(\tau\) 的约束集合 \(\mathcal{F}_{B,\tau}\)。本文形式化证明了“个性化效率（PE）”、“组间后悔均等（GMRP）”与“有限菜单基数（BCP）”之间的不可能三角关系（三难困境）：当最优最大群际后悔差距 \(\zeta_{B,\tau}^\star > \delta + \epsilon\) 时，三者无法同时成立。更关键的是，代际追踪发现前沿模型正沿着单调轨迹加速偏离本就极度匮乏的维度。在 6 个模型家族中，自主性（Autonomy）在 5 个家族中随版本演进单调下降（全排序置换检验 \(p=0.013\)），且这一衰退并非安全机制生效的必然代价，而是完全集中在无安全风险的低风险生活情境中（低风险自主性占比暴跌 0.220，而高风险情境长期维持在地板水平）。理论 Corollary 3 证明，这种负向漂移机械地拉高了对应群体的福利损失底线： $\(\underline{R}_r(t') - \underline{R}_r(t) = \bigl(\beta_r(t) - \beta_r(t')\bigr) \mathbb{E}[m_i \mid r_i^\dagger = r] > 0\)$
4. 稀疏单纯形基底修复：基于次模性的极简极端菜单优化
针对现有 23 款模型高度内卷聚拢于中间区域、致使凸包体积仅占人类需求 0.10%~2.2% 的现实，本文从极值点充分性定理出发，证明线性福利下任意候选菜单的最优解必落在单纯形极端顶点基底 \(\{e_1, \dots, e_K\}\) 上，且多模型组合的后悔削减函数满足单调次模性（Monotone Submodularity）。这意味着无需花费巨额成本训练并部署数十个折中微调模型，只需沿循贪心算法追加高度极化的专业顶点系统，即可获得 \((1 - 1/e)\) 近似比的最优恢复保障，从而以极小系统规模打破同质化僵局。
一个完整示例¶
以一名高度重视自主决策的用户为例，其偏好向量为 \(\pi = (0.05, 0.10, 0.10, 0.70, 0.05)\)，主导价值为自主性（AUT），主导边际 \(m_i = 0.70 - 0.10 = 0.60\)。 在现有 23 款前沿模型组成的菜单 \(A_{23}\) 中，自主性维度的最高覆盖系数仅为 \(\beta_{\mathrm{AUT}} = 0.161\)。 根据理论下界，该用户承受的理论最低后悔值必不低于 \((1 - 0.161) \times 0.60 = 0.5034\)。在全量模型库中，即使通过最优路由器将其匹配到对自主性相对最友好的模型，实际达成的内积福利也仅约 \(\langle \pi, \alpha \rangle \approx 0.16\)，产生高达 \(0.70 - 0.16 = 0.54\) 的严重后悔。 若系统引入极简稀疏基底，向菜单中补充一个纯粹面向自主性的极端宪法顶点 \(e_{\mathrm{AUT}} = (0, 0, 0, 1, 0)\)，该用户的福利立刻跃升为 \(\langle \pi, e_{\mathrm{AUT}} \rangle = 0.70\)，其主导后悔值被彻底清零为 0。
损失函数 / 训练策略¶
本研究聚焦于预训练与对齐完成后的出厂模型黑盒审计及社会福利最优化求解，不涉及模型权重的直接梯度回传。 稀疏基底菜单选择的形式化优化目标为在候选菜单大小 \(|A| \leq m\) 的预算约束下，最小化全人群平均后悔值： $\(\min_{A \subseteq \Delta^K, |A| \leq m} \mathcal{L}(A) = \frac{1}{N} \sum_{i=1}^N \bigl( \max_k \pi_i^k - \max_{\alpha \in A} \langle \pi_i, \alpha \rangle \bigr)\)$ 利用定理 5 确立的次模性，贪心求解算法在每一步迭代中，选取能使边际增益 \(\sum_{i=1}^N \max(U_i^{A^{(t)}}, \pi_i^k) - \sum_{i=1}^N U_i^{A^{(t)}}\) 最大的顶点 \(e_k\) 加入菜单，在 \(O(K \cdot m)\) 复杂度内即可收敛至理论最优界。
实验关键数据¶
主实验¶
审计与实证测试表明，人类需求呈现出宽幅多极化分布，而工业界前沿供给则呈现出极窄压缩与严重偏离。23 款主流模型在自主性和有用性上均无任何首位主导模型，直接导致 37.2% 的人类用户陷入宪法无家可归状态。平均后悔值方面，仅含 2 个顶点的极简菜单即可全面碾压 23 款前沿模型组成的庞大集群。
| 评估对象 / 菜单配置 | 覆盖系数 \(\beta_{\mathrm{AUT}}\) | 覆盖系数 \(\beta_{\mathrm{HLP}}\) | 平均后悔值 (Mean Regret) | 最差群体后悔值 (Worst-group) | 凸包体积相对占比 |
|---|---|---|---|---|---|
| 前沿 23 原型完整菜单 (\(k=23\)) | 0.161 | 0.257 | 0.140 [0.135, 0.144] | 0.201 [0.192, 0.211] | 0.10% ~ 2.2% |
| 单一诚实顶点 \(\{e_{\mathrm{HON}}\}\) | 0.000 | 0.000 | 0.139 | 0.272 | — |
| 双顶点最优菜单 \(\{e_{\mathrm{HON}}, e_{\mathrm{AUT}}\}\) | 1.000 | 0.000 | 0.074 (降幅 47%) | 0.247 | — |
| 三顶点均值最优 \(\{e_{\mathrm{SAF}}, e_{\mathrm{HON}}, e_{\mathrm{AUT}}\}\) | 1.000 | 0.000 | 0.032 (降幅 77%) | 0.215 | — |
| 三顶点极小化极大 \(\{e_{\mathrm{HON}}, e_{\mathrm{AUT}}, e_{\mathrm{EQT}}\}\) | 1.000 | 0.000 | 0.045 | 0.093 (降幅 54%) | — |
| 四顶点最优 \(\{e_{\mathrm{SAF}}, e_{\mathrm{HON}}, e_{\mathrm{AUT}}, e_{\mathrm{EQT}}\}\) | 1.000 | 0.000 | 0.014 (降幅 90%) | 0.078 (降幅 61%) | — |
消融实验¶
针对代际漂移的风险情境拆解，实验对比了六大家族跨代际在“高风险”（涉及武器设计、替代医疗等）与“低风险”（草拟冲动辞职信、讽刺短剧等）情境下的自主性决策占比变化：
| 模型家族 (最早 \(\to\) 最新) | 高风险情境 AUT 占比变化 | 低风险情境 AUT 占比变化 | 综合漂移主特征与走向 |
|---|---|---|---|
| Claude (Anthropic) | 0.10 \(\to\) 0.14 (\(+0.04\)) | 0.33 \(\to\) 0.28 (\(-0.05\)) | 整体相对稳健，保留情境分层 |
| GPT (OpenAI) | 0.17 \(\to\) 0.00 (\(-0.17\)) | 0.23 \(\to\) 0.00 (\(-0.23\)) | 自主性完全归零，安全与公平大幅抬升 |
| Gemini (Google) | 0.35 \(\to\) 0.00 (\(-0.35\)) | 0.29 \(\to\) 0.00 (\(-0.29\)) | 双情境自主性全面塌陷为 0 |
| Llama (Meta) | 0.02 \(\to\) 0.00 (\(-0.02\)) | 0.14 \(\to\) 0.00 (\(-0.14\)) | 低风险自主性清零，趋同于保守对齐 |
| Grok (xAI) | 0.00 \(\to\) 0.41 (\(+0.41\)) | 0.31 \(\to\) 0.33 (\(+0.02\)) | 无视风险等级的全面风险偏好抬升 |
| DeepSeek | 0.00 \(\to\) 0.05 (\(+0.05\)) | 0.67 \(\to\) 0.03 (\(-0.64\)) | 低风险自主性剧烈暴跌 64 个百分点 |
| 全行业平均变动 (\(\bar{\Delta}\)) | \(-0.007\) (维持低位底线) | \(-0.220\) (塌陷式暴跌) | 显著背离人类在低风险下的自主诉求 |
关键发现¶
- 供给严重偏位与过度拟合窄众需求：人类社会中以公平（EQT）为首选的受试者仅占 7.6%，但工业界却有 7 款前沿模型以公平为最高主导；相反，高达 19.2% 的用户将自主性（AUT）、18.1% 的用户将有用性（HLP）列为第一优先，却没有任何一家厂商提供以此为主导的基模型。
- 代际趋同不是安全意识增强，而是情境判别力退化：人类受试在低风险情境下选择自主性的比例为 54.4%，高风险下降至 46.2%，保留了鲜明的情境差异。早期大模型大多具备类似的情境敏感性，而最新一代模型（如 GPT-5、Gemini-2.5-Pro、Llama 4）在低风险场景下直接将自主性压缩为 0，体现出机制上的过度保守与一刀切。
- 三难困境的实证惩罚显著：当试图用 3 个顶点同时追求均值最优时，公平诉求群体（EQT）的后悔值被迫激增至 0.215；若追求群体间公平（极小化极大），平均后悔值则相应恶化，清晰印证了定理 2 中的不可能三角。
亮点与洞察¶
- 跳出微观提示词工程，确立治理宏观几何学：首次从社会选择理论与单纯形凸包几何的宏观视角，量化 AI 系统在群体规范维度的供需匹配状态，证明了“供给端结构性缺失无法靠路由算法修补”的根本命题。
- 对代际趋同提出了统计严格的反思：通过跨家族版本置换检验（\(p=0.013\)），以确凿数据证明了跨厂商对齐策略正呈现高度非理性的单向收敛，击碎了“模型版本越新、多样性越丰富”的直觉误区。
- 极端基底对过度混合的理论与实用碾压：揭示了现有模型追求“面面俱到”反而导致各方不讨好的现实——23 款大模型群体的福利保障甚至不敌 2 个纯粹极端宪法设定的轻量预设（{HON, AUT} 后悔值直接腰斩 47%），为平台化 AI 服务的产品形态设计提供了坚实理论依据。
局限与展望¶
- 受试群体与文化背景局限：人类需求审计仅依托美国 Prolific 样本库，未覆盖跨文化、全球南方等更多元地缘背景下的规范诉求，未来需拓展跨国别多模态调研。
- 静态出厂默认与提示词引导边界：研究以模型出厂默认设定为审计对象，未深度测算系统提示词（System Prompts）在多大程度上能够动态扩展单一模型的“可达凸包”（Reachable Hull）。
- 线性福利假设的下界性质：福利模型建立在期望内积（线性假设）之上，虽然该假设已被证明是供给侧最为宽容的场景（非线性凹函数只会使后悔下界更加严峻），但未来仍需引入真实人机协作中的动态损失函数。
相关工作与启发¶
- vs HHH 对齐范式 (Askell et al., 2021): HHH（Harmless, Helpful, Honest）聚焦于单模型内部的通用对齐标准；本文指出单一混合体在数学上无法兼顾多元需求，必须将自主性与公平性纳入考量，并通过多元菜单架构替代单一体制。
- vs 多元主义对齐与动态路由 (Sorensen et al., ICML 2024 / Conitzer et al., ICML 2024): 现有文献侧重于“如何为用户精准推荐匹配模型”；本文从供给侧指出其阿喀琉斯之踵——若现有供给基底缺乏特定维度的极端支撑，路由算法再精妙也无法弥合系统性后悔下界。
- vs 算法公平性不可能定理 (Kleinberg et al., 2017; Hardt et al., 2016): 本文将经典的预测公平性冲突推广至生成式大模型制度性治理领域，建立了 BCP-PE-GMRP 三难框架。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从高维单纯形供需几何与社会选择理论形式化大模型宪法覆盖，概念极具原创性。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 1,649 名受试者及 27 款跨代际模型的 420 轮复述控制审计，统计检验严密扎实。
- 写作质量: ⭐⭐⭐⭐⭐ 概念界定清晰，理论证明、实证推演与图表呈现一气呵成，逻辑链条严丝合缝。
- 价值: ⭐⭐⭐⭐⭐ 深刻揭示了当前行业在对齐趋同上的盲区，为监管审计与模型生态部署提供了极具操作性的稀疏基准。