What Is Worth Representing? Representational Empowerment for Continual Model Construction¶

会议: NeurIPS 2026
arXiv: 2609.02322
OpenReview: https://openreview.net/forum?id=m9oKQZGDlw
领域: 自监督/表示学习
关键词: 表示学习, 持续模型构建, 表示赋能度, 世界模型, 符号规划

一句话总结¶

提出了将内部模型编辑作为信息信道的“表示赋能度（RepEmp）”理论与馆长-执行者（Curator-Actor）分层架构，使智能体能够在有限资源下自主决定构建、保留和跨环境复用何种紧凑且可迁移的内部表示元素。

研究背景与动机¶

构建世界模型是具身智能与自主决策系统的核心基石，然而在传统世界模型学习、因果发现和强化学习范式中，建模过程通常预设了一个固定且现成的状态空间或变量表征。现实物理世界的生成过程极其复杂且不可直接穷尽访问，资源受限的智能体既无法也不必要重建整个世界的全貌。正如人类科学史从亚里士多德范畴走向牛顿力学、再演进至相对论，概念的演化并非追求完全拟合客观世界，而是为了在特定预测、干预与规划目标下，筛选出足够支撑控制的紧凑抽象。儿童在成长过程中学习烹饪同样无需构建食品化学分子方程，只需掌握“块头大的食物需要煮更久”这类足以达成目标的粗粒度抽象即可。

当前机器学习在各个细分切面探索了这一问题，但尚未将“表征本身的构建与筛选”确立为显式优化的第一对象。连续学习专注于参数空间防遗忘，因果学习与世界模型侧重在给定变量内估计转移图或动力学参数，基于大语言模型的智能体则倾向于无节制地累积符号代码或技能。这些方法普遍面临一个前置瓶颈：在面对未知环境序列时，智能体究竟应该依据何种标准来决定哪些表示元素（如观测粒度、因果边、谓词与动作算子）值得被构建、何者应当在任务结束后保留进全局库，何者应当作为局部噪声予以舍弃？传统的信息增益倾向于消除环境一切不确定性，哪怕这些细节对后续规划毫无用处；而经典的环境赋能度（Environmental Empowerment）虽刻画了对外部物理状态的控制多样性，却假定智能体的内部表示固定不变。

针对这一根本矛盾，本文提出了审视世界模型学习的全新视阈：智能体不应把优化目标绑定在拟合客观物理世界上，而应关注模型对其内部行动与规划能力的赋能程度。核心 idea：将持续模型构建解耦为“环境生成过程-任务局部模型-持久复用库”三层管线，以内向的“表示赋能度（RepEmp）”作为信道容量准则，通过评估内部模型编辑对未来可达成目标集合的扩展能力，指导智能体在有限资源下自主筛选、压缩与复用最小充分表征。

方法详解¶

整体框架¶

本文构建了持续模型构建的 $W \to M \to \mathcal{L}$ 三层管线体系：不可直接访问的环境生成过程 $W_e$ 驱动具体环境 $e$ 的演变；智能体在单个任务环境中通过有限交互构建轻量级的任务模型 $M_e$；并在跨环境尺度上维护一个持久复用的符号与结构库 $\mathcal{L}$。为了在不同时间尺度上协调表征构建与行动决策，系统采用了分层的馆长-执行者（Curator-Actor）架构：高层“馆长（Curator）”运行在较慢的时间尺度，负责从符号库 $\mathcal{L}$ 和候选集合 $\Sigma$ 中提议模型编辑操作，设计探测目标集合 $\mathcal{G}_t$，并依据执行反馈对候选元素打分、剪枝与归档；底层“执行者（Actor）”运行在较快的单任务交互时间尺度，仅依赖当前任务模型 $M_t$ 将抽象规划动作接地（grounding）为环境基元操作并执行，向馆长返回轨迹与真实目标达成结果。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["环境观察与前序经验库 L"] --> B["高层馆长：提议模型编辑与生成探测目标"]
    B --> C["底层执行者：抽象规划接地与物理基元执行"]
    C --> D["目标达成反馈收集：构建真实特征签名"]
    D --> E["馆长评估：计算基于目标投影的表示赋能度得分"]
    E -->|增益大于成本阈值| F["模型纳新与任务模型局部更新"]
    E -->|无增益或冗余| G["隔离丢弃与候选淘汰"]
    F --> H["跨任务慢速归档：贪心边缘覆盖压缩固化至符号库 L"]

关键设计¶

1. 表示赋能度与目标投影接地：将内部编辑视作信息信道 传统的环境赋能度衡量的是从动作序列到外部环境物理状态的信息传输能力，其前提是表征固定。本文将这一信息论视角内化为表示赋能度（RepEmp），直接以智能体内部表征状态 $Z_t = (M_t, \mathcal{L}_t)$ 及其编辑序列 $U \in \Omega^T$（包含添加、删除、细化、修剪等算子）构建信息信道。其理论信道容量定义为编辑序列与未来表征状态的互信息上确界： $$ \mathcal{R}T(z) = \sup(U; Z_T \mid Z_0 = z) $$ 由于纯符号形式的表征可能产生大量语法相异但功能恒等的冗余状态，直接计算语法互信息会奖励无意义的符号变体。为此，论文引入了基于目标达成签名的环境投影算子 } I_{\rho K_T$\Gamma_e(M) = (\mathbb{I}[\text{目标 } g \text{ 可通过在 } M \text{ 中规划并在 } e \text{ 中执行达成}])_{g \in \mathcal{G}_e}$。投影后的接地表示赋能度 $\mathcal{R}_T^\Gamma(z; e)$ 构成了理论信道容量的严格下界，它滤除了纯语法层面的伪多样性，仅当模型编辑能够实质性改变未来可达成目标的多样性与可靠性时才赋予高分。

2. 有限样本覆盖代用准则：开词表下的低成本有效估计 在开放词表（如使用 LLM 动态生成 PDDL 谓词与算子）场景下，候选空间 $\Sigma$ 和目标空间无法穷举枚举，无法直接计算精确信道容量。馆长采用了基于有效性与见证集（witness set）的有限样本代理得分函数： $$ \widehat{V}t(\sigma) = q_t(\sigma) \sum} \left[\widehat{p}_t(g \mid M_t \cup {\sigma}) - \widehat{pt(g \mid M_t)\right] - \lambda c\sigma $$ 其中 $q_t(\sigma)$ 估计新元素代码在真实环境观测中成功执行的接地有效性；$W_t(\sigma)$ 是被当前模型阻碍但有望被新元素 $\sigma$ 解锁的受阻目标见证集；$\widehat{p}_t$ 是执行者返回的经验成功率；$\lambda c_\sigma$ 则对表征的复杂度与长度施加正则化惩罚。当且仅当得分 $\widehat{V}_t(\sigma) > 0$ 且探测成功稳定时，新元素才被接纳进当前任务模型 $M_t$。这一设计确保了只有带来真实能力增量且能覆盖成本的表征才能被系统吸收。

3. 双时间尺度协同与后向剪枝归档：保持符号库最小充分性 模型构建与跨任务迁移存在时间尺度上的分离。在单任务交互循环中，当执行者的探测成功率在测试目标集合上趋于平稳时，馆长启动后向剪枝（backward-pruning），剔除所有移除后不降低目标达成签名 $\Gamma_e(M_t)$ 的局部冗余元素，确保单任务模型的最小性。在跨任务的慢速尺度上，当智能体离开环境 $e$ 准备切换至下一环境时，馆长重新在跨环境探测缓冲区中评估所有保留元素的边际贡献，执行带预算约束的贪心边缘覆盖压缩算法（GreedyCurate），淘汰仅适用于特定任务狭隘环境的特异性规则，仅保留具备跨任务通用性与组合能力的抽象模式，并将其存入持久库 $\mathcal{L}$，作为下一环境初始化任务模型的先验种子。

损失函数 / 训练策略¶

在闭词表因果发现设定下，智能体利用精确贝叶斯后验跟踪变量间的因果边，并依据 RepEmp 计算闭式信息增量；在开词表规划设定下，馆长利用大语言模型（LLM）基于前序经验和失败轨迹生成候选 PDDL 类型、谓词与动作算子，并自动生成由正向探测（验证新解锁能力）和回归探测（验证未破坏既有能力）组成的目标探测集合 $\mathcal{G}_t$。整个优化过程不更新基础 LLM 权重，而是对符号知识库实施离散结构优化与基于接地执行反馈的淘汰与固化。

实验关键数据¶

主实验¶

论文在两类代表性场景中进行了全面评测：一是变量与粒度受限的闭词表因果结构发现（包含 70 名人类被试实验与 30 组独立随机 DAG 模拟仿真）；二是开放词表的符号模型归纳与规划迁移（在 BabyAI 和 Zelda 复杂网格世界中与强化学习及代码世界模型基准对比）。

在闭词表模拟因果发现任务中，对比了不同粒度选择准则（RepEmp、EnvEmp、信息增益 InfoGain、随机选择 Random）与干预选择准则组合下的因果图恢复 F1 得分。训练集与留出测试集均包含共享子结构跨任务迁移：

条件组合 (粒度准则 + 干预准则)	训练集因果图 F1	留出测试集因果图 F1	相对 Random 提升
Factored (RepEmp 粒度 + EnvEmp 干预)	0.720 (0.021)	0.703 (0.021)	+0.338
RepEmp (纯 RepEmp 粒度与干预)	0.607 (0.022)	0.592 (0.020)	+0.227
InfoGain (纯信息增益)	0.304 (0.013)	0.383 (0.016)	+0.018
Random (随机选择基线)	0.307 (0.014)	0.365 (0.013)	0.000
EnvEmp (纯环境赋能度)	0.195 (0.015)	0.120 (0.014)	-0.245

在开放词表符号构建任务中，评估了不同方法在前向迁移（Fwd）、后向迁移（Bwd）以及全新复合配置留出环境（H.O.）上的任务成功率（3 种子均值 $\pm$ 标准差）：

方法	BabyAI 前向	BabyAI 后向	BabyAI 留出	Zelda 前向	Zelda 后向	Zelda 留出
PPO (基元动作策略)	0.29 $\pm$ 0.13	0.33 $\pm$ 0.15	0.01 $\pm$ 0.00	0.03 $\pm$ 0.01	0.08 $\pm$ 0.05	0.03 $\pm$ 0.02
Motif (LLM 内在奖励)	0.04 $\pm$ 0.03	0.23 $\pm$ 0.10	0.12 $\pm$ 0.05	0.19 $\pm$ 0.03	0.40 $\pm$ 0.05	0.18 $\pm$ 0.02
WorldCoder (无筛选代码累加)	0.32 $\pm$ 0.11	0.40 $\pm$ 0.10	0.35 $\pm$ 0.10	0.35 $\pm$ 0.02	0.36 $\pm$ 0.02	0.38 $\pm$ 0.02
Hoarder (去赋能筛选消融)	0.20 $\pm$ 0.11	0.24 $\pm$ 0.10	0.03 $\pm$ 0.01	0.07 $\pm$ 0.04	0.12 $\pm$ 0.02	0.06 $\pm$ 0.00
Curator (本文馆长模型)	0.51 $\pm$ 0.19	0.61 $\pm$ 0.07	0.47 $\pm$ 0.13	0.24 $\pm$ 0.07	0.51 $\pm$ 0.06	0.48 $\pm$ 0.01

消融实验¶

为定量剖析表示粒度选择与物理干预选择各自的贡献，论文在 Exp. 2 中进行了单因素替换消融分析（基准保持 Factored 的 0.703 留出 F1）：

被替换维度	替换后使用的准则	留出测试集 F1	性能降幅 $\Delta$	结论与说明
观测粒度准则	RepEmp (保持不变)	0.703 (0.021)	—	完整因子分解模型最优
观测粒度准则	InfoGain	0.425 (0.014)	-0.278	替换粒度准则导致性能崩塌至接近随机
观测粒度准则	Random	0.376 (0.015)	-0.327	证明表示粒度的自适应筛选是核心驱动力
物理干预准则	EnvEmp (保持不变)	0.703 (0.021)	—	干预动作维持状态控制多样性
物理干预准则	InfoGain	0.596 (0.020)	-0.107	替换干预准则仅带来适度掉点
物理干预准则	Random	0.507 (0.021)	-0.196	粒度选择对最终性能的影响约为干预选择的 3 倍

此外，在开放词表的知识库体积与训练开销对比中，Curator 在 BabyAI 上的符号库体积仅为 8.0 KB（消耗 5.14M tokens），远低于 WorldCoder 的 18.3 KB（消耗 6.50M tokens）；在 Zelda 上 Curator 库体积仅为 4.4 KB（2.94M tokens），同样显著优于 WorldCoder 的 7.1 KB（4.13M tokens），且符号库大小在后续课程中保持平稳收敛。

关键发现¶

表示选择是因果结构恢复的首要决定因素：在闭词表模拟实验中，替换表示粒度选择准则所引起的 F1 降幅（高达 0.327）约为替换物理干预选择准则（0.196）的近两倍到三倍，证明“如何看世界（表征粒度）”比“在世界中试探何处（干预动作）”更深刻地影响了知识的有效归纳与泛化。
人类被试自然展现了目标充分性压缩特征：人类被试在因果炼金任务中自发偏好中等粒度（占决策总数的 43%），且在任务进程中逐步从初期的高分辨率观测收敛到兼具辨识度与抗噪性的中等粒度；这一行为与单纯最小化计算成本或纯信息增益假设不符，被基于目标的 RepEmp 预测得最为精准（拟合对数似然增益最高）。
去赋能筛选的“囤积者（Hoarder）”遭遇组合爆炸：消融模型 Hoarder 虽具备相同的候选算子提议质量和单点有效性检验，但因缺乏 RepEmp 的容量增益把关而无限制吸纳符号，导致符号库迅速膨胀，在复杂多步骤测试中的后向与留出迁移率全面溃退（BabyAI 留出成功率由 0.47 暴跌至 0.03）。

亮点与洞察¶

将赋能度概念从物理动作向内部表示范式反转：传统赋能度局限于衡量智能体对外部物理环境的控制自由度，而本文将其优雅地转向内部智能体架构本身，把模型编辑作为输入、把未来目标规划能力作为输出，确立了关于“什么值得被表示”的规范性数学度量。
双层解耦设计兼顾探索效率与符号纯洁度：高层馆长负责跨任务尺度的缓慢符号筛选与归档，底层执行者负责单任务内快速接地，有效解决了大语言模型直接操作复杂环境时易产生的“幻觉算子累积”与“灾难性记忆泛滥”。
可复用的通用启发：在具身智能、神经符号规划以及长程复杂推理任务中，自主设计探测目标（Probing Goals）并将候选能力的接纳阈值与受阻目标的边际解锁能力（Witness Set Coverage）直接挂钩，能够以极低代价构筑高复用、零冗余的技能或谓词核心库。

局限与展望¶

探测目标生成的覆盖度瓶颈：当测试环境出现未曾见过的多元复合关系（如 BabyAI 留出测试中要求两两物体相邻匹配的复杂复合谓词）时，若 LLM 提议者未能提出涉及双物体交互的探测目标，见证集为空便会导致 RepEmp 无法正确为有效的新谓词打分，使得整体成功率受制于提议分布。
单元素边际增益近似的局限：在开词表实现中，系统主要依赖单元素见证集得分求和，虽对独立算子准确，但面对具有高度互补协同效应（多个谓词联合引入方能解锁新能力）的高阶表征时可能产生低估。
未来方向：探索文化进化式或基于内在好奇心驱动的多样化目标自主生成机制，并将该原则进一步拓展到非离散符号的连续神经特征自适应聚类与隐空间模型构建中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次形式化提出了表示赋能度概念，将信道容量理论成功引入内部表征的选择与持续模型构建中。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖认知科学人类被试实验、严格控制噪声的贝叶斯智能体仿真以及开放词表网格世界符号规划，三位一体。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严谨自洽，概念动机深入浅出，实验设计逻辑链条极为清晰。
价值: ⭐⭐⭐⭐⭐ 为自主智能体在开放世界中如何避免记忆膨胀、构建可迁移轻量世界模型提供了极具启发性的理论指引。

方法	BabyAI 前向	BabyAI 后向	BabyAI 留出	Zelda 前向	Zelda 后向	Zelda 留出
PPO (基元动作策略)	0.29 \(\pm\) 0.13	0.33 \(\pm\) 0.15	0.01 \(\pm\) 0.00	0.03 \(\pm\) 0.01	0.08 \(\pm\) 0.05	0.03 \(\pm\) 0.02
Motif (LLM 内在奖励)	0.04 \(\pm\) 0.03	0.23 \(\pm\) 0.10	0.12 \(\pm\) 0.05	0.19 \(\pm\) 0.03	0.40 \(\pm\) 0.05	0.18 \(\pm\) 0.02
WorldCoder (无筛选代码累加)	0.32 \(\pm\) 0.11	0.40 \(\pm\) 0.10	0.35 \(\pm\) 0.10	0.35 \(\pm\) 0.02	0.36 \(\pm\) 0.02	0.38 \(\pm\) 0.02
Hoarder (去赋能筛选消融)	0.20 \(\pm\) 0.11	0.24 \(\pm\) 0.10	0.03 \(\pm\) 0.01	0.07 \(\pm\) 0.04	0.12 \(\pm\) 0.02	0.06 \(\pm\) 0.00
Curator (本文馆长模型)	0.51 \(\pm\) 0.19	0.61 \(\pm\) 0.07	0.47 \(\pm\) 0.13	0.24 \(\pm\) 0.07	0.51 \(\pm\) 0.06	0.48 \(\pm\) 0.01