Seeking the Unfamiliar but Memorable: Conceptual Creativity as Meta-Learning¶

会议: NeurIPS 2026
arXiv: 2605.16477
OpenReview: https://openreview.net/forum?id=y1x5OpDg2D
领域: 其他
关键词: 概念创造力 / 元学习 / 扩散模型 / 评价者自适应 / 学习进度奖励

一句话总结¶

将概念创造力形式化为“创造者-评价者”（Creator-Appraiser）双层元学习博弈，通过评价者在内循环中的快速自适应步幅作为外循环奖励，引导冻结的扩散模型生成初见陌生但可被快速学会的新概念图像。

研究背景与动机¶

生成模型的规模化使得机器能够逼真地重采样训练分布中的已知概念，但对同一提示词反复采样所得到的往往只是微小变体与常规刻板表象。然而，究竟何为“创造一个新概念”而非“检索一个熟悉概念”？在认知科学与人工智能领域，创造力通常既不等于完全的熟悉，也不等于漫无边际的混乱。纯粹的高斯白噪声在像素上张张不同且绝对不可预测，却不包含任何可理解的结构；相反，一条直线或一个正方形虽然能被瞬间完美理解，却因缺乏认知张力而毫无新意。有价值的创造性刺激物必然坐落在理解的边界上——它既要有足够的初始困惑度以激发观察者的认知，又要能够与过往表征产生共鸣，从而在极少数次接触后被迅速吸收和记忆。

在这一观察背后，经典计算创造力理论与现代生成模型之间存在着明显的机制鸿沟。以往试图赋予生成模型创造力的方法，大多依赖显式增加与已知类别的排斥能量（repulsive guidance）或低频特征扰动，这类方法单纯追求“偏离已知分布”，往往生成混乱、失真且缺乏内在逻辑的产物；而将创造力视为压缩进度的信息论视角，此前又仅停留在对已有数据的静态评估或强化学习任务中，未能在现代连续视觉生成模型中打通端到端的自适应反传机制。

面对这一矛盾，本文提出了一种以观察者为中心的元学习计算范式：将创造力定义为一个双层优化过程。观察者面对新刺激时并不是固化的，其认知系统会在极少数内循环步数内调整参数以拟合新模式，而这种认知预测误差的快速骤降（即学习进度的多寡）恰恰量化了该刺激物的新颖与可记忆程度。核心 idea：将概念创造力建模为创造者与评价者的双层博弈（Creator-Appraiser Meta-Learning），评价者在内循环自适应拟合生成候选物，创造者在外循环利用可微元梯度最大化评价者的内循环学习进度，从而在冻结扩散模型中自主寻获初看陌生却高度可记忆的视觉概念。

方法详解¶

整体框架¶

整体框架由生成新概念候选的创造者（Creator, \(C\)）与负责认知吸收的评价者（Appraiser, \(A\)）构成。创造者基于参数或潜变量生成候选样本 \(\tilde{c}\)；评价者接收 \(\tilde{c}\) 后，将其快速自适应参数重置为初始状态，并在内循环中执行 \(T\) 步梯度更新以最小化自身的预测误差 \(\mathcal{L}_A\)。评价者在接触前后的误差降幅（即学习进度）构成奖励信号，创造者在外循环通过反向传播穿透整个内循环自适应轨迹与扩散去噪步骤，更新生成参数，使输出向“初见陌生、短时速记”的区域演进。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["创造者参数 / 潜变量"] --> Gen["候选概念生成<br/>扩散去噪推断一步或多步"]
    Gen --> FastReset["评价者快权重重置<br/>恢复初始印象态"]
    FastReset --> InnerAdapt["内循环自适应学习<br/>评价者针对候选样本执行梯度更新"]
    InnerAdapt --> ProgressEval["学习进度奖励评估<br/>计算自适应前后的认知误差降幅"]
    ProgressEval --> MetaUpdate["外循环元梯度更新<br/>穿透自适应轨迹反传优化创造者"]
    MetaUpdate --> Out["可记忆的新颖概念图像"]

关键设计¶

1. 创造者-评价者双层元学习博弈：将认知进度转化为连续生成奖励

现有生成模型缺乏动态观察者反馈，仅能沿着静态数据流形采样。为提供结构性新颖度的量化标尺，本文将系统解耦为创造者 \(C\) 与评价者 \(A\)。评价者由两组参数构成：固定不变的慢权重 \(\theta\) 保存历史认知先验，可塑的快权重 \(\phi\) 负责即时概念拟合。每当创造者给出候选概念 \(\tilde{c}\) 时，评价者首先将快权重重置为固定基准 \(\phi_0\)（确保每次相遇皆为第一印象），随后在内循环中以学习率 \(\alpha\) 执行 \(T\) 步单样本自适应，最小化预测损失 \(\mathcal{L}_A(\phi, \theta; \tilde{c})\)：

\[\phi_k \leftarrow \phi_{k-1} - \alpha \nabla_\phi \mathcal{L}_A(\phi_{k-1}, \theta; \tilde{c})\]

创造者的优化目标并非欺骗评价者，而是最大化评价者在经历 \(T\) 步更新后的预测性能提升值 \(\ell_0 - \ell_T = \mathcal{L}_A(\phi_0, \theta; \tilde{c}) - \mathcal{L}_A(\phi_T, \theta; \tilde{c})\)。在外循环中，元梯度 \(\nabla_\xi R\) 直接穿透未展开的内循环计算图，优化创造者的控制变量 \(\xi\)。

2. 自编码器评价者与双门控奖励整形：约束结构化陌生区域

在纯视觉符号实验（如 MNIST）中，评价者采用自编码器结构，由冻结的预训练特征编码器与轻量级转置卷积解码器组成，内循环仅微调解码器参数以降低图像重建均方误差。然而，原始误差降幅 \(\mathcal{L}_{A,0} - \mathcal{L}_{A,T}\) 存在退化漏洞：高方差的无规则随机噪声初始重建误差极高，即便拟合后仍是一团模糊，其绝对降幅也可能很大。为防止创造者退化为生成无意义的噪声碎斑，本文引入复杂度门控与成功门控对原始奖励进行非线性整形：

\[R = (\mathcal{L}_{A,0} - \mathcal{L}_{A,T}) \cdot \exp\left(-\frac{(\mathcal{L}_{A,0} - \mu)^2}{2\sigma^2}\right) \cdot \exp\left(-\frac{\mathcal{L}_{A,T}}{\tau}\right)\]

其中高斯型的复杂度门控 \(g_0(\mathcal{L}_{A,0})\) 将初始陌生度严格约束在目标超参数 \(\mu\) 附近，排除过于熟悉的数字（\(\mathcal{L}_{A,0}\) 过低）和杂乱噪声（\(\mathcal{L}_{A,0}\) 过高）；指数型的成功门控 \(g_T(\mathcal{L}_{A,T})\) 则严厉惩罚内循环自适应后依然无法拟合的候选，迫使创造者寻找能在高层语义瓶颈下迅速被解码器掌握的规则笔画结构。

3. 联合视觉-语言 CLIP-LoRA 评价者：语义空间内的低秩概念适应

针对自然图像生成，直接在像素层面训练高保真解码器不仅计算代价巨大，且重建损失极易被低层纹理细节所主导，无法捕捉高阶概念层面的新颖性。本文将评价者构建在冻结的 CLIP 双塔模型之上，在文本侧投影层注入秩为 \(r\) 的低阶自适应矩阵（LoRA）：\(W_{\text{text}}' = W_{\text{text}} + AB\)（其中 \(A\) 初始化为 0）。在内循环中，固定图像与文本编码器主干，仅对低阶矩阵 \(A, B\) 进行 \(K\) 步更新，以最大化生成图像嵌入与微调后文本嵌入的余弦相似度 \(\cos(e_{\text{img}}, \tilde{e}_{\text{text}})\)。

低秩维度 \(r\) 在此扮演了天然的“认知容量门控”：极低的秩（如 \(r=4\) 或 \(8\)）限制了文本特征偏转自由度，使内循环无法在短时间内平庸地拟合脱离语义流形的混乱图像，唯有当图像在概念语义上具有高度组织性且与概念母体存在结构性关联时，相似度增益 \(\Delta \text{sim} = \text{sim}_T - \text{sim}_0\) 才能显著放大。因此，CLIP-LoRA 结构无需额外的手工门控函数即可实现鲁棒的创造力引导。同时，创造者的优化变量设为文本提示词的连续嵌入向量，使元梯度在语义隐空间中引导去噪过程。

损失函数 / 训练策略¶

在外循环实现中，扩散模型参数全程保持完全冻结，避免重训大模型的昂贵开销。采样过程中，在每个去噪步长 \(t\)（共 50 步），创造者先由当前加噪潜变量预测出无噪图像估计 \(\hat{x}_0^{(t)}\)，将其作为候选输入送入评价者。内循环执行 \(K=10\) 步微调（学习率设为 \(10^{-3}\)），计算出标量奖励 \(R\) 后，通过 PyTorch 自动微分计算对创造者可学习变量（MNIST 为潜变量 \(z\)，自然图像为提示词连续文本嵌入）的高阶元梯度，以步长 \(\eta\) 执行梯度上升更新。对于自然图像，整个框架仅更新文本嵌入本身，相当于在连续概念拓扑中进行导向性探索。

实验关键数据¶

主实验¶

自然图像实验基于 Stable Diffusion v1.5 与 CLIP ViT-L/14 Appraiser 展开。评测覆盖 13 个 ImageNet 类别提示词（如 "a photo of a lion"）与 7 个开放性风格提示词（如 "neon samurai in rain"）。实验记录冻结 CLIP 初始相似度 \(\text{sim}_0\)、内循环相似度奖励 \(\Delta \text{sim}\)、跨模态 VLM（Qwen2.5-VL-7B）概念相关性通过率（得分 \(\ge 5/10\)），并通过冻结 DINOv2 ViT-L/14 计算与 1000 张 Vanilla SD 基线采样集 \(V\) 的最近邻余弦距离 \(d_V^C\)（基线内部最近邻均值 \(\bar{d}_V^V \approx 0.113\)）。

提示词类别 / 典型提示词	基线内部距离 \(\bar{d}_V^V\)	本文最近邻距离 \(\bar{d}_V^C\) (\(r=4\))	本文最近邻距离 \(\bar{d}_V^C\) (\(r=8\))	本文最近邻距离 \(\bar{d}_V^C\) (\(r=32\))	距离扩展倍率 (\(r=8\))
ImageNet: lion	0.030	0.165	0.405	0.522	13.5×
ImageNet: daisy	0.160	0.469	0.659	0.665	4.1×
ImageNet: peacock	0.014	0.111	0.279	0.605	19.9×
ImageNet: golden retriever	0.104	0.420	0.537	0.821	5.2×
Open-ended: alien botanical garden	0.220	0.631	0.769	0.796	3.5×
Open-ended: neon samurai in rain	0.281	0.488	0.607	0.729	2.2×
全局均值 (Mean)	0.126	0.395	0.539	0.686	4.3×
全局中位数 (Median)	0.113	0.421	0.582	0.700	5.1×

消融实验¶

为验证内循环自适应容量 \(r\)（LoRA Rank）在文本-图像概念博弈中的影响，论文系统评估了不同秩对概念保真度与学习奖励的权衡，并在 MNIST 设置下消融了奖励整形函数的各组成部分。

实验配置 / 维度	初始保真度 \(\text{sim}_0\)	内循环奖励 \(\Delta \text{sim}\)	VLM概念合格率	特征距离 \(\bar{d}_V^C\)	说明
Vanilla SD (r=0)	0.27	0.00	100%	0.113	标准采样，缺乏概念偏离与创造性风格
CA (LoRA r=4)	0.19	0.25	~65%	0.421	强容量约束，高度保持原概念同时注入新颖风格
CA (LoRA r=8)	0.18	0.42	~48%	0.582	最佳平衡点，距离基线 5.1× 且概念结构鲜明
CA (LoRA r=16)	0.16	0.60	~25%	0.670	适应能力较强，开始出现超现实抽象混合
CA (LoRA r=32)	0.15	0.70	~12%	0.700	容量过大导致泛化漂移，部分偏离原始主体
MNIST: 仅复杂度门控 \(g_0\)	-	-	-	-	无法区分真实字符（韩文/希腊文）与同等误差的杂乱噪声
MNIST: 门控+相对提升率	-	-	-	-	逆转偏好，过度奖励已熟悉的简单数字（低 \(L_0\)）
MNIST: 完整双门控绝对提升	-	-	-	-	成功将新颖笔画与噪声区分，生成具有连贯笔画的字形

关键发现¶

超越重采样的表达空间发现：在 1000 次常规 Vanilla SD 采样构成的密集流形下，本文方法生成样本与常规样本集的最近邻距离达到了常规样本内部距离的 2 至 20 倍（中位数 5.1 倍），且生成样本集内部方差是基线内部方差的 3.7 倍，证明元梯度并非单纯平移模式中心，而是自主探索出了常规采样从未触达的全新概念拓扑。
低秩维度的认知容量瓶颈效应：在 CLIP 评价者中，LoRA 秩控制着评价者的认知灵活性。较小的秩（\(r=4, 8\)）构成了有效的概念保护壳，使得模型倾向于在保持物体本体可辨识的前提下，创造诸如“秋叶肌理的狮子”、“蛋黄中心且带矩形花瓣的雏菊”等极富艺术张力的概念变形；一旦秩过大（\(r=32\)），内循环能轻易拟合任意离群模式，导致生成物脱离原概念语义约束。
高阶语义层驱动自适应：在对自编码器解码器分层微调消融中，仅更新解码器最初的高级语义层即可恢复 90% 以上的全模型自适应奖励，而仅更新最后一层纹理像素层则几乎毫无收益，证实了“可记忆性”由高层语义结构的规整性主导，而非低阶纹理拟合。

亮点与洞察¶

将创造力操作化为观察者自适应的学习进度：摆脱了将创造力等同于“对抗排斥”或“统计离群”的局限，用评价者在内循环的动态认知跨度（\(\Delta \text{sim}\) 或 \(\mathcal{L}_0 - \mathcal{L}_T\)）为新颖但有结构的模式赋予正向梯度，概念深刻且具有普遍计算意义。
无需微调生成大模型权重的零样本概念激发：完全冻结 Diffusion 主干，仅利用外循环元梯度迭代优化连续文本嵌入向量，即能在冻结的先验空间内“挖出”高度原创的视觉概念组合，推理负担极轻。
视觉-语言低秩适配充当自然语义正则器：发现微调极低秩的 LoRA 能够自动阻断模型对白噪声或无意义图像的捷径过拟合，巧妙地用参数瓶颈替代了繁琐的人工启发式过滤规则。

局限与展望¶

评价者跨轮次无记忆性（Memoryless）：当前评价者在每次生成前都会被强制重置回初始状态 \(\phi_0\)，无法模拟人类艺术史或个体成长中基于长期记忆和连续语境形成的“渐进式鉴赏力”（curriculum of taste）。
感知价值与功能效用的脱节：当前的探索纯粹基于视觉与多模态感官的表征压缩与拟合，尚未结合具身智能或实际物理世界的功能性约束（例如创造一个既新颖又能稳定承重的新工具）。
两层计算图求导的时间开销：在每个扩散去噪步都需要反传展开内循环微调步骤，导致单张图像的采样时间显著高于常规推理，未来可探索一阶隐式梯度估计或前向敏感度近似。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将概念创造力建模为创造者-评价者双层元学习问题，数学表述优雅且极具启发性。
实验充分度: ⭐⭐⭐⭐☆ 涵盖字符与复杂自然图像生成，结合了定量距离评估、VLM 判定及细致的理论消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑推导层次分明，认知科学背景与计算机制结合自然，文笔凝练。
价值: ⭐⭐⭐⭐☆ 为突破现有大模型模式坍缩与刻板采样提供了全新的范式，极具跨领域迁移潜力。