Prompts to Proxies: Emulating Human Preferences via a Compact LLM Ensemble¶

会议: NeurIPS 2026
arXiv: 2509.11311
领域: LLM 对齐 / LLM Alignment
关键词: 偏好重构、群体偏好对齐、LLM 代理集成、L1 正则化回归、多元对齐

一句话总结¶

提出了偏好重构理论与两阶段框架 P2P（Prompts to Proxies），利用熵导向的主动禀赋生成与 L1 正则化受限回归，仅凭无需微调与人口学隐私数据的 API 推理，以极低成本构建紧凑代理集成忠实重现人类群体偏好分布。

研究背景与动机¶

在大语言模型（LLM）被日益广泛用作社会科学研究中的人类被试代理（synthetic proxies）时，外部有效性（external validity）构成了核心挑战：合成代理所表达的偏好必须忠实反映目标人群的异质性分布。然而，现有主流的对齐范式（如基于单一理想价值的 RLHF 或全量监督微调 SFT）往往导致模型向训练集中心趋势坍缩，严重抹杀了人类群体的多元化偏好；而传统的人口学特征条件化（demographic conditioning）方法则极度依赖敏感的人口统计隐私数据和繁重的画像匹配，且依然无法保证群体层面的分布逼近保真度。

更严峻的是资源壁垒的制约：学术机构与独立研究者往往缺乏对海量标注语料进行有监督微调的大规模算力，也受限于伦理审查而难以获取个体层面的敏感个人数据。现有的社会调查数据公开透明、具有明确的目标人群抽样权重，但普遍剥离了个体级敏感标识。因此，如何在零微调、无敏感人口学数据的前提下，仅利用公开调查的宏观聚合统计量，构建出能够精准复现群体偏好分布的多样化代理集成，是多元对齐（pluralistic alignment）领域悬而未决的难题。

本文的切入视角源于经济学中的显示偏好理论（revealed preference theory），指出无需强求个体间严格的一对一画像映射，而可以将群体偏好对齐转化为表示学习问题：通过构建一组能够张成潜在偏好空间的函数基底（代理池），再经由带约束的回归算法赋予聚合权重，即可从宏观响应中逆向重构目标人群的偏好分布。核心 idea：将群体偏好对齐解耦为「基于熵导向主动采样的多样性代理基底构建」与「基于 L1 正则化受限回归的紧凑集成权重重构」两阶段无微调框架 P2P。

方法详解¶

整体框架¶

P2P（Prompts to Proxies）将群体偏好对齐形式化为一个表示学习系统。假定人类潜在偏好空间为 $\mathcal{P}$，个体偏好 $p \in \mathcal{P}$ 经由决策机制 $h$ 展现为可观测响应 $r \in \mathcal{R}$；模型潜在偏好空间为 $\widehat{\mathcal{P}}$，其偏好 $\hat{p} \in \widehat{\mathcal{P}}$ 经推理机制 $f$ 映射到同一响应空间。群体宏观聚合偏好表现为个体响应的加权和 $r_{\mathrm{pop}} = \sum_i w_i h(p_i)$。P2P 的目标不是训练单一代表性模型，而是寻找一组代理智能体集合 $\{\hat{p}_j\}_{j=1}^{N_A}$ 及其凸组合权重 $\{\tilde{w}_j\}$，使得 $\sum_j \tilde{w}_j f(\hat{p}_j) \approx r_{\mathrm{pop}}$。

整个管线分为两个独立且可即插即用的阶段：阶段 1 为主动禀赋生成（Active Endowment Generation），结合结构化属性库、上下文属性学习器与基于响应熵的自适应赌博机采样，构造出高方差、充分张成潜在偏好空间的候选代理池；阶段 2 为基于回归的聚合筛选（Regression-Based Aggregation），将调查问题转化为多项分布选择，利用带凸性约束的 Lasso 或 Elastic Net 从候选池中自动筛选出极简的代理子集并拟合最优权重。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    Q["调查训练集与主题"] --> SL["属性学习与分层属性库构建<br/>核心模板 / 主题模板 / 理论模板 + 动态发现"]

    subgraph S1["阶段 1：主动禀赋生成 (Active Endowment Generation)"]
        direction TB
        SL --> AE["等额初始禀赋生成与问卷推理"]
        AE --> TR["熵引导自适应采样与追踪器<br/>计算问题熵与各 Mode 变异度得分"]
        TR -->|轮次更新与模式转移| AS["Softmax 多项抽样预算分配"]
        TR -->|低熵问题触发| QP["问题修补与混合模式策略<br/>定向推断属性并与优势模式交叉注入"]
        AS --> PL["综合候选代理池 (NA 个智能体)"]
        QP --> PL
    end

    subgraph S2["阶段 2：基于回归的聚合筛选 (Regression-Based Aggregation)"]
        direction TB
        PL --> BIN["问卷响应哑变量矩阵二值化编码"]
        BIN --> LASSO["带凸性约束的 L1 正则化回归<br/>交叉验证选择最优正则化强度 α"]
        LASSO --> COM["极简代表性代理集成 (如 58 个紧凑代理)"]
    end

    COM --> EVAL["留出测试集外部有效性评估<br/>跨主题与跨区域偏好分布拟合"]

关键设计¶

1. 属性作为控制手柄与分层属性库：以反向控制张成潜在偏好空间

LLM 作为自回归模型本身不具备人类稳定的内在偏好，其行为严重依赖输入提示词。P2P 巧妙地反转了传统社会科学中「从行为推断潜变量属性」的逻辑，转而将属性视为操纵 LLM 表达偏好的「控制手柄」。系统构建了一个分层属性库：顶层分为包含通用人口统计特征的核心模板（Core）、涵盖政治经济文化的领域主题模板（Thematic），以及基于马斯洛需求层次与大五人格的理论模板（Theoretical）。每个模板下划分为不同的模态（Modes，如经济学、认知偏差等）。此外，为了避免人工库的静态局限，P2P 引入了基于 LLM 的属性学习器（AttributeLearner），能够从当前调查主题和训练问题中动态提取特定的决策维度，实现理论驱动与数据驱动的协同发现。

2. 熵引导的主动禀赋采样与低熵问题修补：最大化代理响应的多样性基底

为了在固定的调用预算 $N_A$ 下最大化代理池的覆盖范围，P2P 提出了基于归一化问题熵的自适应探索机制。对于代理集合 $\mathcal{A}$ 和具有 $K_i$ 个离散选项的问题 $i$，定义归一化问题熵为： $$H_i(\mathcal{A}) = \frac{-\sum_{k=1}^{K_i} p_{ik} \log_2 p_{ik}}{\log_2 K_i}$$ 追踪器（Tracker）在每轮生成后计算各个属性模式的变异度得分 $V(\mathcal{A}_{\mathrm{mode}}) = \sum_{i \in \mathcal{Q}_{\mathrm{train}}} \frac{H_i(\mathcal{A}_{\mathrm{mode}})}{H_i(\mathcal{A}_{\mathrm{total}})}$，并通过 Softmax 概率分布动态分配后续生成配额，优先强化那些能为全局一致性问题注入多样性的模式。针对长期响应趋同的低熵问题，P2P 设计了问题修补（Question Patching）机制，将预算的 75% 倾斜给熵值最低的 $k$ 个问题；若某问题连续 $t$ 轮处于低熵状态，则触发混合模式（Mixed Mode），将其特有属性与当前表现最佳的高熵模式交叉混合，强行打破模型的中庸回答倾向。

3. 带凸性约束的 L1 正则化回归：从海量代理中稀疏恢复群体偏好

当生成了规模为 $N_A$ 的候选代理池后，候选变量维度往往逼近甚至超过有效观测题目数。P2P 将多项选择题拆分为二值化的选项级观测，采用带非负与凸性约束的 Lasso（或 Elastic Net）进行变量选择与权重求解： $$\min_{\mathbf{w}} \sum_{i \in \mathcal{Q}_{\mathrm{train}}} \sum_{k=1}^{K_i} \left(r_{ik} - \sum_{j=1}^{N_A} w_j d_{j,ik}\right)^2 + \alpha \Omega(\mathbf{w}) \quad \text{s.t.} \quad \sum_{k=1}^{K_i} \sum_{j=1}^{N_A} w_j d_{j,ik} = 1, \quad \forall i \in \mathcal{Q}_{\mathrm{train}}$$ 其中 $d_{j,ik} \in \{0, 1\}$ 表示代理 $j$ 对问题 $i$ 是否选择选项 $k$。L1 范数惩罚项 $\alpha \|\mathbf{w}\|_1$ 能够将绝大多数冗余代理的权重精确压缩至 0，仅保留数十个最具正交性与代表性的核心代理（例如在 W42 中从 300 个候选代理中自动筛选出 58 个）。这一方面确保了集成的极简性与后续部署的低推理成本，另一方面防止过拟合，并精确逼近了真实的宏观人群分布。

损失函数 / 训练策略¶

P2P 完全不需要对基础模型参数进行梯度更新或反向传播，其“训练”纯粹是参数化权重向量 $\mathbf{w}$ 的凸优化过程： 1. 交叉验证选参：在训练集与验证集（比例 7:1.5）上采用 K 折交叉验证，网格搜索最优惩罚系数 $\alpha$（如在 W42 上选定 $\alpha = 1.62 \times 10^{-3}$）。 2. 权重归一化与非负性：优化问题自然施加非负约束 $w_j \ge 0$ 与全概率和为 1 的归一化约束，严格保证加权后的响应输出位于概率单纯形内部。 3. 加权方式选择：默认使用选项级加权（Option-level），同时支持每个问题等权贡献的块加权（Block-level）。

实验关键数据¶

主实验¶

在美洲趋势调查（American Trends Panel, ATP）涵盖枪支、自动驾驶、性别、科学信任等 14 个独立波次的主题上，P2P（基于 Gemini-2.0-flash，候选预算 300）与直接提示词基线（Vanilla）及基于美国人口普查肖像的基线（PERSONA）进行了系统对比。

波次与主题	题目数	Vanilla (MSE / 熵)	PERSONA (MSE / 熵)	P2P (MSE / 熵)	相比最佳基线 MSE 提升	单次调查成本 (USD)
W26 (枪支政策)	78	0.015 / 0.50	0.021 / 0.37	0.010 / 0.55	33%	$0.6
W27 (自动驾驶)	96	0.030 / 0.40	0.042 / 0.40	0.022 / 0.54	27%	$0.7
W29 (性别议题)	77	0.030 / 0.45	0.030 / 0.44	0.016 / 0.51	47%	$0.6
W32 (社区归属)	98	0.020 / 0.55	0.026 / 0.56	0.016 / 0.62	20%	$0.7
W34 (生物医学)	67	0.022 / 0.43	0.020 / 0.39	0.011 / 0.54	45%	$0.5
W36 (领导力)	139	0.033 / 0.34	0.035 / 0.39	0.019 / 0.48	42%	$1.0
W41 (2050愿景)	90	0.022 / 0.45	0.023 / 0.48	0.013 / 0.55	41%	$0.8
W42 (科学信任)	129	0.034 / 0.32	0.038 / 0.29	0.011 / 0.43	68%	$1.0
W45 (虚假信息)	95	0.016 / 0.39	0.028 / 0.36	0.008 / 0.44	50%	$0.7
W49 (隐私保护)	98	0.045 / 0.41	0.047 / 0.41	0.021 / 0.53	53%	$0.7
W50 (家庭关系)	128	0.027 / 0.36	0.024 / 0.36	0.013 / 0.44	46%	$0.9
W54 (经济民生)	116	0.022 / 0.50	0.026 / 0.54	0.014 / 0.57	36%	$0.9
W82 (全球议题)	104	0.025 / 0.52	0.019 / 0.48	0.008 / 0.57	58%	$0.8
W92 (政治认同)	77	0.025 / 0.59	0.031 / 0.57	0.017 / 0.61	32%	$0.6
平均值 (Average)	100	0.026 / 0.45	0.029 / 0.43	0.014 / 0.53	43%	$0.8

在世界价值观调查（WVS Wave 7）的跨区域测试中，P2P 在美国（US）、英国（GB）和中国香港（HK）三个代表性地区同样展现出良好迁移性能：US 测试 MSE 为 $0.015 \pm 0.001$（熵 0.572）；GB 测试 MSE 为 $0.014 \pm 0.001$（熵 0.571）；HK 测试 MSE 为 $0.024 \pm 0.001$（熵 0.548）。

消融实验与分析¶

在 ATP W42 数据集上针对属性模块、生成机制、回归层及模型底座的消融结果如下表所示：

配置 / 消融项	平均熵 (Entropy) ↑	测试 MSE (Lasso) ↓	运行成本 (USD) ↓	说明与结论
P2P 完整系统	0.4451 ± 0.0256	0.0095 ± 0.0024	$0.97	默认配置：开启动态修补与 Lasso 聚合
去除调查级修补 (Survey Patch Off)	0.4378 ± 0.0134	0.0103 ± 0.0011	$0.98	缺少宏观主题导向属性，拟合微弱下降
去除问题级修补 (Question Patch Off)	0.3989 ± 0.0203	0.0114 ± 0.0016	$0.97	难分歧问题缺乏针对性探索，多样性骤降
彻底去除自由模板 (Freeform Off)	0.3953 ± 0.0097	0.0128 ± 0.0008	$0.97	仅依赖静态属性库，MSE 显著劣化约 35%
无回归聚合 (简单均匀平均)	0.4451	0.0254 ± 0.0004	$0.97	MSE 暴增 144%，证明加权回归是群体对齐核心
模型底座换为 GPT-4.1-mini	0.471 ± 0.017	0.0090 ± 0.0014	$3.83	表现最优，但成本是 Gemini-2.0-flash 的近 4 倍
模型底座换为 GPT-4.1-nano	0.3996 ± 0.0154	0.0226 ± 0.0042	$0.93	小模型可控能力弱，偏好空间学习受限
模型底座换为本地 Qwen	0.193 ± 0.040	0.0204 ± 0.0014	$0.00	零 API 成本，但开源模型多样性较低

在与 SFT 全监督微调模型的压力测试中（跨领域迁移场景：Q1+Q2 宗教伦理训练 $\to$ Q3 政治文化测试），P2P 仅用本地 172-185 条样本（不到 SFT 方法 8,400+ 条数据的 3%），1-JSD 达到 0.71-0.75（对比 SFT 模型的 0.78），且多数类预测准确率（MCPA）达到 0.47-0.64（显著高于 SFT 模型的 0.43）。

关键发现¶

回归加权不可替代：消融实验直接证明，单纯生成多样化代理并取简单平均（MSE 0.0254）无法重现群体偏好，L1 受限回归不仅用于压缩集成规模，更是准确拟合宏观分布的决定性步骤。
多样性与保真度的单调正相关：仿真实验表明，代理熵覆盖率（ECR）显著主导测试集预测能力。当代理熵不足时，回归只能逼近真实偏好的低维投影；而当代理池足够丰富时，受限 Lasso 甚至能用极少量观测精确选出代表性基底。
跨区域迁移中的文化分歧上限：将美国多样性代理直接迁移赋权给中国香港（HK-transfer）在整体 MSE 上优于本地原生代理，印证了“基底丰富度优先”原则；但在文化差异极大的题目上，本地原生代理表现更优，揭示了 Western-centric 基础模型在异质文化下的可学习性边界。

亮点与洞察¶

巧妙将经济学显示偏好理论与机器学习稀疏表示结合，把原本需要海量微调或敏感隐私的社会学仿真，转化为两阶段“主动生成基底 + 凸优化恢复权重”数学框架。
提出了基于归一化问题熵与赌博机机制的变异度追踪器，配合针对顽固低熵题目的“问题修补与混合模式”，有效打破了当前 LLM 默认选择中庸答案的系统性缺陷。
极高的经济性与即插即用性：无需任何 GPU 训练集群与梯度优化，每次全套社会调查对齐平均耗资仅约 0.8 美元，极大地降低了学术界开展大规模代表性社会模拟的门槛。

局限与展望¶

输入输出形式限制：当前体系仅适用于多项选择题等离散分类响应的概率分布拟合，尚无法直接迁移至自由文本（Freeform text）生成与议题起草等开放式生成任务的代表性聚合。
时间动态性与偏好漂移：静态问卷对齐所得的代理集成随着时间推移面临公众态度漂移风险，需要建立周期性轻量重锚定（Re-anchoring）机制。
非西方文化语境下的底座偏置：主流 LLM 在非英语及非西方人群的潜在表达空间上依然存在固有偏置，面对高度文化相异题目时，依然受限于基础模型的表达能力边界。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从表示学习与函数基底角度严谨形式化群体偏好对齐，创新设计了熵导向的主动代理生成机制。
实验充分性: ⭐⭐⭐⭐⭐ 覆盖 14 个真实 ATP 波次、WVS 跨国验证、仿真机理验证、详尽消融及跨主题 SFT 压力测试，数据扎实。
写作质量: ⭐⭐⭐⭐⭐ 逻辑推导严密，理论定义与算法实现层层递进，消融与误差分析深刻。
实用价值: ⭐⭐⭐⭐⭐ 摆脱算力与隐私枷锁，单次调研仿真成本不到 1 美元，对计算社会科学与多元对齐有显著赋能价值。