When Can Digital Personas Reliably Approximate Human Survey Findings?¶
会议: NeurIPS 2026
arXiv: 2605.10659
OpenReview: https://openreview.net/forum?id=CiNOusijuK
代码: https://github.com/muminjia/digital-persona-suppl
领域: LLM 评测
关键词: 数字画像, 问卷模拟, 大语言模型评测, 分布对齐, 多维可靠性
一句话总结¶
基于荷兰 LISS 概率追踪调查面板真实受访者前后纵向数据，系统构建并跨 4 种画像架构、3 种主流 LLM 与 6 个评估维度测评数字画像，揭示其在宏观总体分布对齐上表现显著但难以替代个体微观预测与多元相关结构的可靠性边界。
研究背景与动机¶
近年来，利用大语言模型（LLM）构建“数字画像”（Digital Personas）模拟人类问卷受访者成为计算社会科学与人机交互领域的研究热点。合成受访者有望以低成本、高通量和高度灵活的方式辅助问卷预测试、小样本边际人群推演及早期社会测量。然而，当前数字画像的有效性多停留在生成答案的“表面合理性”或单一人群均值匹配上。先前的合成受访者研究往往只能复制群体平均意见，却在个体级预测上频繁失准；或者模型在面临多选项时过度偏向多数派选项，从而严重压缩少数派偏好与极端回答模式，并在边缘分布看似吻合的情况下扭曲了问卷项目之间的多元相关性与潜在群体异质性结构。
造成这一评估盲区的核心矛盾在于：现有的评估范式大多基于横截面便利样本、群组级无偏重采样或缺乏真实基准的人造环境，无法真正衡量数字画像是否能在个体纵向演变中稳定再现同一真实人类受访者的未来真实回答。社会科学研究所关心的不仅仅是宏观平均比例，更依赖个体间变异、不同问题领域的稳定性以及受访者潜在分群结构的保真度。若缺乏严格基于真实长周期追踪面板的因果时序切分基准，研究者无法确切知晓数字画像何时能够作为可靠工具，何时又会因幻觉或同质化坍缩导致科学推论失效。
为了打破这种依赖表层生成质量的模糊认知，本文基于荷兰具有全国代表性的概率纵向调查面板（LISS），以 2023 年为严格时间分界点，利用受访者在此之前的背景属性与历史问卷构建数字画像，并在留出的后验真实问卷上展开跨领域留出预测。核心 idea：以具有概率代表性的真实纵向面板为真值基准，建立涵盖问题级、个体级、分布级、公平性与聚类结构的六维评测框架，并在时序留出任务中系统解构提示架构、模型底座与问题结构对数字画像可靠性的边界约束。
方法详解¶
整体框架¶
本文构建了端到端的数字画像评测体系。该体系以 LISS 纵向面板中的 6,276 名具备完整背景与答题历史的受访者为候选池，采用分层比例抽样选定 500 名代表性受访者。以 2023 年为分界线，受访者的 34 项人口社会学背景变量与历史答题记录被用于构建数字画像，并要求画像预测同一个人在分界点之后的核心问卷（Core studies）或单波问卷（Single-wave studies）中未经曝光的闭卷回答。整体流程由画像表征构建、分批动态检索输入、多模型受约束结构化推理以及多维可靠性量化四部分组成。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["LISS 概率纵向面板<br/>时序切分: 2023年前历史 vs 留出真实目标"] --> B["分层受访者代表性抽样<br/>年龄/性别/家庭状态分层 + 答题覆盖度排序"]
B --> C["四种数字画像提示架构构建<br/>背景变量 / 结构化画像 / 词法检索 / 语义检索"]
C --> D["大语言模型受约束批量预测<br/>GPT-5.4 / Gemini 3 Flash / Claude Haiku 4.5"]
D --> E["六维多层级可靠性评测体系<br/>个体匹配 / 宏观分布 / 亚群公平 / 多元聚类结构"]关键设计¶
1. 分层代表性受访者抽样与双向跨领域预测任务 真实纵向调查常面临受访者流失与答题覆盖率异质性问题。为确保样本既能忠实反映人口统计学结构，又具备足够的历史与目标答题密度以支持严谨评分，本文设计了基于标准化答题覆盖度的分层抽样算法。以性别、4个年龄段以及4类家庭生活阶段交叉构成主分层单元 \(h\)，并在每个分层内计算每个受访者 \(i\) 的综合排名得分： $\(s_{i} = z(n^{\mathrm{prior}}_{i}) + z(n^{\mathrm{target}}_{i})\)$ 其中 \(z(\cdot)\) 为分层内的标准正态得分，\(n^{\mathrm{prior}}_{i}\) 和 \(n^{\mathrm{target}}_{i}\) 分别代表受访者的先验和目标题目数量。通过最大余数比例分配法精确抽取 500 名受访者，平均绝对偏差（MAD）仅为 0.2602 人。在此基础上，本文设计了两种泛化预测任务：（1）单波预测：利用稳定的核心调查历史预测多变且具时效性的单波调查；（2）核心预测：利用丰富的单波调查历史预测结构化核心领域调查。
2. 四级阶梯式数字画像表征与混合检索增强架构
为了系统隔离不同信息源对模拟能力的影响，本文提出了由浅入深的四种画像构建策略：（1）背景变量画像（Background）：仅提供 34 项人口学背景特征，不包含任何历史问卷答案，测试纯人口学推断上限；（2）结构化画像（Profile）：利用 GPT-5.4 从历史回答中提取涉及信念与世界观、性格特征、推理风格、知识领域、不确定性容忍度、认知偏误和沟通优先级的 7 个固定维度的自然语言画像，不超过 1,500 词；（3）词法检索增强画像（Profile + Lexical）：在结构化画像基础上，利用文本重叠度（题干权重 \(\times 3\)、选项权重 \(\times 1\)、相同表征类型奖励 \(+2\)、相同题目类型奖励 \(+1\)）在预测子批次中动态检索最相关的 Top-\(K\) 条历史问答拼入上下文；（4）语义检索增强画像（Profile + Semantic）：采用 text-embedding-3-small 离线计算题干向量，在推理时根据余弦相似度均值检索 Top-\(K\) 条历史问答。每次调用的检索容量 \(K\) 与当前子批次的题目数动态绑定，确保上下文证据量与预测负荷严格匹配。
3. 多粒度六维可靠性评测矩阵与可解释归因层 针对传统评测单一准确率容易掩盖分布漂移与结构失真的缺陷，本文建立了跨越六大维度的综合可靠性评估体系： - 题目级与受访者级精确匹配：分别使用加权 F1 分数和受访者答题 Exact Match 率评估微观逼真度； - 宏观题目分布对齐度：使用 Jensen-Shannon 散度（JSD）衡量预测答案经验分布 \(\hat{P}_q\) 与真实人类经验分布 \(P_q\) 之间的差异： $\(\overline{\mathrm{JSD}} = \frac{1}{Q} \sum_{q=1}^{Q} \sqrt{\frac{1}{2}\mathrm{KL}(P_q \| M_q) + \frac{1}{2}\mathrm{KL}(\hat{P}_q \| M_q)}\)$ 其中 \(M_q = \frac{1}{2}(P_q + \hat{P}_q)\)，JSD 越低代表宏观总体模拟越精准； - 微观受访者轮廓对齐度：利用核最大均值差异（MMD）量化多元回答配置的分布漂移； - 亚群公平性（Equity Bias）：统计各人口层级相对于全体准确率的人口均等指数（DPI）平均绝对偏差： $\(\mathrm{EB} = \frac{1}{|\mathcal{G}|} \sum_{g \in \mathcal{G}} \left| \frac{\mathrm{ACC}_g}{\mathrm{ACC}_{\mathrm{all}}} - 1 \right|\)$ - 多元聚类一致性：对真实回答矩阵与合成回答矩阵分别进行 \(k\)-means 聚类并计算调整兰德指数（ARI），直接检验数字画像能否还原人群在潜变量空间中的群体分割与拓扑结构。 此外，通过构建包含行为层（答案熵与罕见度）、情境层（所属调查领域与问题形式）和结构层（选项数量与人口统计变量）的三层特征，使用 XGBoost 与 SHAP 归因模型系统解释促成或破坏画像保真度的决定性因素。
实验关键数据¶
主实验¶
在核心调查预测任务（Core Study Prediction）中，本文在 132,887 个样本观测点上系统对比了基线（无受访者上下文）与四种画像架构在三种现代主流 LLM（GPT-5.4、Claude Haiku 4.5、Gemini 3 Flash）下的表现。
| 评估指标 | 模型底座 | 无上下文基线 | 背景变量 (Background) | 结构化画像 (Profile) | 画像+词法检索 | 画像+语义检索 |
|---|---|---|---|---|---|---|
| 聚类一致性 ARI (↑) | GPT-5.4 | 0.011 (±0.011) | 0.000 (±0.002) | 0.000 (±0.004) | 0.000 (±0.037) | 0.000 (±0.020) |
| Claude Haiku 4.5 | — | 0.009 (±0.005) | 0.011 (±0.041) | 0.133 (±0.068) | 0.000 (±0.060) | |
| Gemini 3 Flash | — | 0.000 (±0.005) | 0.000 (±0.006) | 0.000 (±0.007) | 0.000 (±0.002) | |
| 受访者匹配率 Match (↑) | GPT-5.4 | 0.478 (±0.002) | 0.507 (±0.002) | 0.521 (±0.002) | 0.529 (±0.002) | 0.531 (±0.002) |
| Claude Haiku 4.5 | — | 0.486 (±0.002) | 0.497 (±0.002) | 0.510 (±0.002) | 0.510 (±0.002) | |
| Gemini 3 Flash | — | 0.515 (±0.002) | 0.528 (±0.002) | 0.536 (±0.002) | 0.534 (±0.002) | |
| 题目级加权 F1 (↑) | GPT-5.4 | 0.306 (±0.003) | 0.392 (±0.004) | 0.419 (±0.003) | 0.434 (±0.003) | 0.436 (±0.004) |
| Claude Haiku 4.5 | — | 0.367 (±0.003) | 0.399 (±0.003) | 0.412 (±0.004) | 0.415 (±0.003) | |
| Gemini 3 Flash | — | 0.402 (±0.004) | 0.423 (±0.004) | 0.444 (±0.004) | 0.444 (±0.004) | |
| 题目分布 JSD (↓) | GPT-5.4 | 0.530 (±0.004) | 0.375 (±0.005) | 0.338 (±0.005) | 0.315 (±0.005) | 0.306 (±0.005) |
| Claude Haiku 4.5 | — | 0.409 (±0.004) | 0.370 (±0.004) | 0.345 (±0.004) | 0.338 (±0.004) | |
| Gemini 3 Flash | — | 0.365 (±0.005) | 0.339 (±0.005) | 0.305 (±0.005) | 0.301 (±0.005) | |
| 受访者分布 MMD (↓) | GPT-5.4 | 0.343 (±0.002) | 0.215 (±0.002) | 0.181 (±0.002) | 0.161 (±0.002) | 0.155 (±0.002) |
| Claude Haiku 4.5 | — | 0.241 (±0.002) | 0.202 (±0.002) | 0.176 (±0.002) | 0.179 (±0.002) | |
| Gemini 3 Flash | — | 0.204 (±0.002) | 0.184 (±0.002) | 0.165 (±0.002) | 0.157 (±0.002) | |
| 公平性偏差 EB (↓) | GPT-5.4 | 0.017 (±0.003) | 0.015 (±0.002) | 0.013 (±0.002) | 0.012 (±0.002) | 0.011 (±0.002) |
| Claude Haiku 4.5 | — | 0.022 (±0.002) | 0.016 (±0.002) | 0.014 (±0.002) | 0.011 (±0.002) | |
| Gemini 3 Flash | — | 0.007 (±0.002) | 0.009 (±0.003) | 0.009 (±0.002) | 0.009 (±0.002) |
消融实验与可解释性建模¶
为探究驱动数字画像准确率的核心因素，论文构建了针对单次预测是否命中的解释模型，比较不同特征层在核心预测（\(n=132,887\)）中的表现。
| 特征层定义 | 纳入特征描述 | Logistic 回归 (ACC / AUC) | 随机森林 (ACC / AUC) | XGBoost (ACC / AUC) |
|---|---|---|---|---|
| 行为层 (Behavioral) | 包含题目人类回答熵（变异度）与受访者答案罕见度 | 0.706 / 0.775 | 0.727 / 0.819 | 0.757 / 0.817 |
| 情境层 (Contextual) | 剔除实证回答统计量，保留所属领域（如家庭、政治）与题目类型 | 0.658 / 0.722 | 0.695 / 0.758 | 0.705 / 0.769 |
| 结构层 (Structural) | 进一步剔除领域标识，仅保留可直接观测的人口学属性与选项数量 | 0.632 / 0.700 | 0.681 / 0.744 | 0.685 / 0.743 |
关键发现¶
- 宏观分布对齐显著，但个体预测与多元聚类全面受挫：引入画像后，题目级 JSD 从基线的 0.530 骤降至 0.301，受访者级 MMD 降低过半（0.343 \(\to\) 0.155），表明数字画像能较好复刻宏观百分比分布。然而受访者精确匹配率仅由 0.478 勉强提升至 0.536，聚类 ARI 更是普遍跌近 0.000，说明画像生成未能保留问卷选项之间的潜变量相关拓扑，无法替代微观个体分析或受访者分群。
- 架构贡献远大于模型底座选型：从仅有背景变量升级到检索增强画像（Profile + Retrieval），各模型平均带来超过 10 个百分点的 JSD 优化和 13-14 个百分点的 F1 提升；而相同架构下，GPT-5.4、Gemini 3 Flash 与 Claude Haiku 4.5 之间的表现差距微乎其微。
- 题目答案空间特征主导可靠性边界：SHAP 分析表明，影响预测命中率最关键的决定性特征是题目人类回答变异度（熵）与选项数量（二元题目显著好于多选项题目）。在低变异且人类答案集中的题目上，F1 超过 0.75；而在高变异或罕见作答模式的题目上，模型性能大幅衰减。
- 领域异质性反映知识类型差异：与客观属性或稳定意识形态绑定的领域（如家庭与户籍、宗教与族裔、政治与价值观）对齐最好；而依赖主观即时体验、自我感知与生活细节的领域（如社会融入、休闲活动与个性特质）分布偏差显著偏大。
亮点与洞察¶
- 设立了同受访者时序留出的真实评测黄金标准：打破了过去使用交叉受访者或横截面自循环合成的缺陷，以真实概率追踪面板（LISS）的历史与未来切分为准绳，首次全面验证了数字画像的“时间延续性”预测能力。
- 揭示了“宏观拟合良好但潜变量结构崩塌”的统计陷阱：证实数字画像本质上是向多数派平滑收敛的概率采样器，虽然能够生成逼近统计总体的单题频率直方图，但在捕捉题项联合分布与人群细分类型（聚类 ARI 几近为零）时完全失效。
- 指明了数字画像落地的务实边界：确立了数字画像适宜作为问卷预测试（检测题目是否易产生低变异一致响应）与粗粒度总体快速探测工具，但不可用于替代真实边际受访者参与、政策效应微观评估或受访者画像聚类。
局限与展望¶
- 单一样本来源与文化背景局限：实验数据完全来源于荷兰 LISS 面板，虽然具有严格的全国概率代表性，但在其他国家、语言文化或发展中社会的泛化适用性仍有待进一步跨面板验证。
- 仅覆盖有限选项的闭卷题目：研究仅探讨了二元、有序与名义分类题目，未包含开放性问答或复杂自由文本填空，尚未验证画像在非结构化叙事生成中的真实对应性。
- 画像画像生成模型的单一性：所有受访者的结构化 Profile 均采用统一的 GPT-5.4 生成并缓存，未来研究需深入探讨如果采用更小模型或不同模型家族提炼画像，是否会对下游检索与预测带来显著系统性偏置。
相关工作与启发¶
- vs. Argyle et al. (2023) / Bisbee et al. (2024)：以往开创性工作探索了 LLM 条件化在人口统计学特征上的回答能力，但多数缺乏长周期纵向跟踪的同受访者未来真值验证，易将通用先验误判为拟合精度。本文通过 LISS 面板的 2023 时序划分，严格离析了先验记忆与真实留出表现。
- vs. PersonaTwin (Chen et al., 2025) / Kaiser et al. (2025)：此前研究多聚焦于单维度准确率或群体级直方图重叠度，缺乏多元结构层面的审视。本文首次引入了聚类 ARI 与受访者整体轮廓 MMD，揭露了微观个体相关性与多元结构坍塌的关键弊病。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次在真实纵向概率面板上实现同受访者严格时序切分的数字画像系统评测。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6,000+ 受访者池、13 万+ 预测样本点、跨 4 种架构、3 种主流 LLM 与 6 个维度。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨连贯，实验分析层层递进，消融与统计归因详尽。
- 价值: ⭐⭐⭐⭐⭐ 为计算社会科学、市场调研与大模型合成数据落地提供了极其清晰、客观的实用操作准则。