Within-Model vs Between-Prompt Variability in Large Language Models for Creative Tasks¶
会议: NeurIPS 2026
arXiv: 2601.21339
OpenReview: https://openreview.net/forum?id=d535njwZHX
领域: LLM 评测
关键词: 大语言模型, 提示词工程, 采样随机性, 发散思维, 方差分解
一句话总结¶
通过对 12 款主流 LLM 在 10 种发散性创造力提示词下进行万次级（N=12,000）重复采样与线性混合效应方差分解，揭示输出质量（独创性）主要由模型选择与提示词共同驱动，而输出数量（流畅度）则完全被模型固有属性与模型内采样随机性主导，从实证上证伪了单次采样评测的有效性。
研究背景与动机¶
提示词工程（Prompt Engineering）长期建立在一种确定性隐式假设之上：自然语言指令是操纵大语言模型（LLM）行为的核心参数，高质量的提示词能够稳定、可预测地引导模型生成最优回答。受这种“提示词即设计（Prompt-as-Design）”范式的驱动，现有的 LLM 评测基准与鲁棒性分析大多采用贪婪解码或设定温度为 0 的单次采样（\(N=1\)）测试，将单一输出直接等同于模型在该提示词下的能力表现。然而，这一研究范式忽视了自回归生成模型本质上是定义在输出空间上的条件概率分布 \(p_\theta(y \mid x)\)；即使在固定解码超参或温度置零时，现代 GPU 并行浮点计算与批处理机制仍会引入不可消除的非确定性。
这种将采样随机性当作无关噪声直接抹去的做法，在统计学上构成了典型的“固定效应谬误（Fixed-Effect Fallacy）”。由于未能独立度量从条件分布采样引起的内部随机波动，学术界此前无法厘清观测到的性能差异究竟来源于提示词的引导作用、模型固有能力的优劣，还是未被度量的采样随机游走。特别是在解空间庞大、分布高度多模的发散性思维与创意任务中，这种方差混淆尤为致命，极大影响了提示词策略与模型真实能力的科学评估。
针对这一方法论盲区，本文的切入角度是：不再将采样随机性视作需消除的噪音，而是将其作为随机因子纳入可量化的统计模型，全面解构 LLM 生成输出中的各方差分量。核心 idea：基于经典发散性思维托伦斯非常规用途测试（AUT），对 12 款代表性 LLM 在 10 种提示词下展开大规模重复采样（总计 12,000 次生成、56.6 万个创意），利用线性混合效应模型对方差进行正交分解，严格定量揭示模型选择、提示策略与模型内部采样随机性在生成质量与数量上的相对支配权。
方法详解¶
整体框架¶
本文构建了一套面向开放式发散创造力任务的端到端多维度方差量化与评估体系。评测流程以托伦斯非常规用途任务（AUT，选用经典物体“塑料瓶”）为基准刺激物，设计涵盖基线、策略型干预与表面扰动的 10 种提示策略；随后系统覆盖包括顶尖专有模型与开源权重模型在内的 12 款主流 LLM，在保持提供商默认超参的前提下，对每个“模型 × 提示词”组合进行 100 次独立采样生成（总计 12,000 次），最后结合自动化创造力评估引擎、线性混合效应模型（LMM）及文本语义分析展开深入剖析。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["评测刺激源输入<br/>AUT任务: 塑料瓶非常规用途"] --> B["三类提示词矩阵构建<br/>P1基线 + P2-P6策略型 + P7-P10表面微扰"]
B --> C["大规模重复采样实验<br/>12款LLM × 10种Prompt × 100次采样 (N=12,000)"]
C --> D["线性混合效应模型方差分解<br/>ICC定量拆解: 模型/提示词/交互/模型内部随机性"]
D --> E["双重机制与文本表征诊断<br/>区分性激发/格式崩溃约束/冗长度偏差校正"]
E --> F["评测结论与抽样复杂度指南"]关键设计¶
1. 三类提示词矩阵构建：覆盖策略干预与表面鲁棒性微扰 针对以往提示词研究缺乏系统性对照的问题，本文构建了包含 10 种 Prompt（P1–P10）的评测矩阵，所有 Prompt 均在末尾附带严格相同的 JSON 数组格式化约束以保证解析一致性。Prompt 体系分为三大类别：一是作为对照基线的直接指令（P1）；二是具有明确认知导向的策略型提示（P2 单样本示例、P3 跨领域发散启发式、P4 预先规避平庸想法、P5 零样本思维链 CoT、P6 赋予顶级创意专家角色的 Creative Persona）；三是保持语义主体不变的表面扰动变体（P7 近义改写、P8 去除标题与冒号的格式强约束、P9 提示信息顺序调换、P10 注入拼写与语法噪声）。这种正交化设计能够精准剥离认知引导与句法扰动对模型生成空间的差异化影响。
2. 线性混合效应模型方差分解：正交隔离模型内采样随机性 为了解决传统单样本评估将采样方差错误吸收至其他主效应的统计弊端，本文将创造力评分建模为线性混合效应模型（LMM），形式化定义如下： $\(Y_{mpr} = \mu + \alpha_m + \beta_p + (\alpha\beta)_{mp} + \epsilon_{mpr}\)$ 其中 \(\mu\) 为总体均值，\(\alpha_m \sim \mathcal{N}(0, \sigma^2_{\text{model}})\) 为 LLM 的随机截距，\(\beta_p \sim \mathcal{N}(0, \sigma^2_{\text{prompt}})\) 为提示词的随机截距，\((\alpha\beta)_{mp}\) 代表模型与提示词之间的交互项，而残差项 \(\epsilon_{mpr} \sim \mathcal{N}(0, \sigma^2_{\text{within}})\) 则严谨捕捉同一模型在同一提示词下由采样过程产生的固有随机性。通过受限极大似然法（REML）估计方差分量，并计算组内相关系数（ICC）以衡量各因素对总方差的解释比例，同时辅以 1,000 次分层 Bootstrap 检验输出置信区间。此外，交互项偏离值定义为 \(I_{mp} = \bar{Y}_{mp} - (\bar{Y}_{m\cdot} + \bar{Y}_{\cdot p} - \bar{Y}_{\cdot\cdot})\)，用以捕捉特定模型与特定提示词之间的超额亲和力。
3. 双重机制与文本表征诊断：区分性激发、格式崩溃与长度校准 方差分解显现宏观规律后，如何解释各因子的微观作用机制成为核心。本文设计了三重精细化文本与行为诊断： - 区分性能力激发（Discriminative Elicitation）：利用角色扮演提示词（P6）充当压力测试探针，度量模型在强身份锚定下的响应弹性（Cohen's \(d\)），发现其显著拉大强弱模型间的方差，有效识别模型能否将角色信息转化为生成模式切换的能力。 - 格式坍塌约束（Structural Collapse）：针对严格格式限制（P8），统计冒号遵循率（99.99%）与语义重复率，发现语法与格式维度的强行收紧会连带收缩语义搜索空间，导致想法独特性下降 5.9 个百分点，造成模式坍塌。 - 冗长度偏差（Verbosity Bias）校正：针对自动化创意打分倾向于给长文本高分的现象，测定想法字符长度与独创性评分的线性相关系数（\(r = 0.35\)），进而通过回归残差计算长度校准得分，验证模型真实语义能力而非表面字数堆叠。
实验关键数据¶
主实验¶
方差分解实验对独创性（Originality，评分区间 1–5）与流畅度（Fluency，有效想法产出数量）进行组内相关系数（ICC）分解，结果显示二者呈现完全不同的方差分配结构。
| 输出维度 | 模型选择 (Model) | 提示词策略 (Prompt) | 模型内部采样随机性 (Within-LLM) | 模型×提示交互 (Model×Prompt) |
|---|---|---|---|---|
| 独创性 (Originality) | 40.94% (CI: 40.25–41.60%) | 36.43% (CI: 35.82–37.14%) | 10.56% (CI: 9.96–10.94%) | 12.07% (CI: 11.69–12.65%) |
| 流畅度 (Fluency) | 51.25% (CI: 47.05–54.73%) | 4.22% (CI: 3.96–4.52%) | 33.70% (CI: 29.29–38.53%) | 10.83% |
在主流模型的具体评测表现中，不同架构与后训练对齐策略表现出显著分化：
| 模型名称 (Model) | 平均独创性 (Originality) | 独创性排名方差 (Rank Var) | 平均流畅度 (Fluency) | 典型行为模式 |
|---|---|---|---|---|
| Gemini 3 Pro | 4.06 (±0.17) | 0.18 | 13.70 (±3.57) | 深度推理型：高稳定、高独创、低冗余 |
| GPT 5.1 | 3.81 (±0.26) | 1.85 | 152.99 (±122.48) | 高吞吐型：海量生成、均分适中、探索广 |
| Grok 4.1 | 3.72 (±0.33) | 8.32 | 22.84 (±7.16) | 尖峰专家型：极度依赖角色提示词，波动大 |
| Claude Sonnet 4.5 | 3.70 (±0.27) | 1.42 | 43.70 (±20.73) | 均衡型：各提示词表现平稳，P6弹性高 |
| Qwen 3 235B Thinking | 3.64 (±0.21) | 0.95 | 30.05 (±54.77) | 推理修剪型：独创性较基座+3.4%，数量降38% |
| Qwen 3 235B (Base) | 3.52 (±0.18) | 2.10 | 48.30 (±62.75) | 通用基座：想法数量充沛，平均质量居中 |
| Llama 3.3 70B | 3.45 (±0.13) | 0.88 | 20.66 (±4.30) | 中型开源：受提示词调动空间较小 |
| Gemma 3 27B | 3.42 (±0.20) | 3.45 | 31.43 (±8.66) | 角色唤醒型：P6下产生跨越式提升(\(d=2.11\)) |
消融实验¶
研究分析了 10 类提示策略在跨模型平均下的独创性引导效果与方差变化：
| 提示策略配置 (Prompt) | 平均独创性 (Mean Score) | 模型间方差 (Between-Model Var) | 说明与核心表现 |
|---|---|---|---|
| P1 基线直接指令 (Baseline) | 3.49 (±0.20) | 0.037 | 区分度极低，无法拉开前沿模型差距 |
| P2 单样本示例 (One-Shot Example) | 3.48 (±0.20) | 0.038 | 锚定效应导致输出趋于示例，未能提升质量 |
| P3 跨领域启发式 (Heuristic/Domain) | 3.88 (±0.22) | 0.065 | 显著激发非典型用途，平均质量第二 |
| P4 预先规避平庸 (Anticipatory) | 3.81 (±0.22) | 0.052 | 有效剔除常规用法（如装水、收纳） |
| P5 零样本思维链 (Zero-Shot CoT) | 3.46 (±0.20) | 0.036 | 简单提示思考未能在发散生成中带来收益 |
| P6 创意专家角色 (Creative Persona) | 3.89 (±0.34) | 0.112 | 方差拉大3倍，强力拉升具备角色适应力的高阶模型 |
| P7 近义改写微扰 (Phrasing Change) | 3.63 (±0.21) | 0.041 | 表面微小改动带来适度波动 |
| P8 格式强约束 (Formatting Tweak) | 3.51 (±0.16) | 0.028 | 严禁冒号导致语义坍塌，独特性下降5.9% |
| P9 语序调换 (Information Order) | 3.59 (±0.17) | 0.032 | 表现基本与基线处于同一水平 |
| P10 拼写语法噪声 (Random Errors) | 3.48 (±0.20) | 0.039 | 模型对表面噪声表现出极强鲁棒性 |
关键发现¶
- 质量与数量的控制机制完全解耦：提示词在输出独创性上拥有 36.43% 的强大解释力，几乎与模型选择（40.94%）平分秋色；但在生成数量（流畅度）上，提示词仅能解释 4.22% 的方差，超过 84% 的方差被模型自身特性（51.25%）和单模型内的采样随机性（33.70%）占据。
- 角色扮演提示词是能力的“高压探针”：Creative Persona（P6）使模型间方差从基线的 0.037 激增至 0.112。高容量模型（Grok 4.1、Claude Sonnet 4.5、Gemini 3 Pro、Gemma 3 27B）展现出 \(d > 2.0\) 的巨大效应量跃迁，而普通开源模型（Llama 3.3 70B）提升微弱（\(d = 0.48\)），表明角色提示词本质上是在检验模型基于情境进行深度自我模式切换的潜在能力。
- 通用稳定型与尖峰专家型的分化：Gemini 3 Pro 在各提示词下的排名方差仅为 0.18，稳定位于第 1–2 位；而 Grok 4.1 排名方差高达 8.32，其虽然均分位列第 3，但在前 1% 极限顶尖创意中产出了高达 66 个（超预期 5.5 倍），单次评估极易导致评测失真。
- 采样随机性对 \(N=1\) 评测的致命颠覆：模型内部采样方差在独创性中占 10.56%，在流畅度中占 33.70%。这意味着用户对回答不满意时，单纯重新点击生成所带来的分布偏移，往往不亚于精心修改提示词的作用；基于单次采样的评测极大概率是将采样噪声误判为模型或提示词优劣。
亮点与洞察¶
- 将采样非确定性从“工程瑕疵”升级为“统计研究对象”：论文跳出了将温度调零等同于确定性评测的传统盲区，系统量化了模型内部采样方差的实际占比，为提示词科学和评测基准设计树立了严格的统计学标杆。
- 揭示句法强约束对语义发散空间的意外绞杀：格式约束（P8）要求不输出冒号与标题，模型虽达成近乎 100% 的格式依从，却间接诱发了模式坍塌（产生上百个完全重复的想法），印证了句法解空间的压缩会不可逆地破坏发散性语义联想。
- 为大模型评测采样复杂度给出明确指南：区分了对稳定通用模型（少量采样即可定性）和高方差尖峰模型（捕捉其极限能力需要 \(N \geq 50\) 的充分采样）的差异化测试策略。
局限与展望¶
- 任务领域的单一性：实验深度聚焦于经典托伦斯非常规用途测试中的“塑料瓶”单一实体以实现 12,000 次高频采样；未来需要进一步检验数学、代码生成等低熵任务中方差分配的转移规律。
- 模型因子的多重混淆：由于采用提供商官方 API，模型选择因子同时混合了模型架构、训练语料、对齐偏置、默认解码参数（如采样温度与 top-p）及服务端负载等多种变量，未来有待在受控开源环境下严格对齐参数以彻底隔离纯架构效应。
- 流畅度统计建模的拓展空间：当前方差分解采用针对连续变量的高斯线性混合模型，未来可引入针对计数数据的泊松或负二项广义线性混合模型（GLMM）进行更贴近离散数据分布的建模分析。
相关工作与启发¶
- vs. INSTINCT / GEPA 等自动提示词优化：现有优化算法大多假设黑盒函数具有高信噪比映射，单次生成即更新评估；本文证实内部采样噪声占总方差的 10–34%，表明自动化提示词迭代若不进行多样本均值校准，极易陷入采样噪声导致的过拟合。
- vs. DIPPER 等推理期集成框架：DIPPER 假定仅通过多提示词才能产生有意义的行为多样性，而将单模型采样多样性视作低质扰动；本文反向证明了模型内随机采样的分布宽度极高，恰当利用采样多样性即可覆盖相当程度的创意空间。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次对大语言模型在创造力任务中的方差进行大规模、严谨的正交线性混合效应分解，颠覆单次采样评测常识。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 12 款主流前沿与开源模型、10 种代表性提示词，采集 12,000 次生成与 56.6 万个创意，统计检验极具说服力。
- 写作质量: ⭐⭐⭐⭐⭐ 统计逻辑极其严密，由心理学实验范式自然过渡到大模型概率本质，图表与论证清晰流畅。
- 价值: ⭐⭐⭐⭐⭐ 为提示词工程的有效边界与 LLM 评测基准设计提供了坚实的统计学理论根基，指导意义重大。