Stealthy World Model Manipulation via Data Poisoning¶
会议: NeurIPS 2026
arXiv: 2606.18697
OpenReview: https://openreview.net/forum?id=RSZvGiSW4c
领域: 其他
关键词: 世界模型, 数据投毒, 模型基强化学习, 梯度匹配, 双层优化
一句话总结¶
针对基于世界模型的序列决策与规划系统，提出两阶段隐蔽数据投毒框架 SWAAP，先通过带转移梯度的双层优化搜索低回报且低偏差的目标世界模型，再借助带隐蔽约束的梯度匹配篡改微调转移动力学数据，在大幅降低规划性能的同时绕过多阶段检测防御。
研究背景与动机¶
世界模型（World Models）通过在潜空间中建模环境的转移结构与转移动力学，能够赋予具身智能体与连续控制系统前瞻“预想”未来、执行长视距模型预测控制（MPC）以及零样本适应新环境的核心能力，已广泛应用于自动驾驶、机器人控制和通用决策智能体中。然而，在实际部署场景中，智能体通常依赖持续微调（continual fine-tuning）机制，即从边缘客户端、真实机器人或本地缓存中定期收集轨迹数据并更新世界模型动力学。这一过程为恶意攻击者开启了极易被利用的训练期攻击面——攻击者无需物理篡改部署模型权重或干预实时推理观测，只需篡改本地微调缓冲区中的少量转移样本，即可间接操纵智能体的学成动力学。
传统监督学习的数据投毒方法假设训练管线完全可微且预测目标为离散标签，无法处理世界模型中高维连续潜状态、随机/确定性转移以及长视距多步复合误差的复杂结构；而现有针对强化学习的数据投毒攻击主要集中在表格型或低维无模型（model-free）环境下的奖励篡改与策略教学，无法直接对深度规划器实施精准动力学干预。若攻击者直接在输入空间大幅扰乱转移数据，极易触发基于预测残差的预训练异常过滤（如 CUSUM 序贯检验）或微调期鲁棒训练（如 TRIM）；若仅依赖启发式噪声投毒，诱导出的动力学往往无法有效瓦解下游规划性能。
面对这种兼顾“攻击杀伤力”与“数据/模型多重隐蔽性”的矛盾，本文的切入角度是将世界模型投毒解耦为逆向规划与数据实现两个紧密耦合的子阶段。核心 idea：通过基于转移梯度定理的一阶双层优化先逆向求解出一个既能诱发极低规划回报又紧邻真实动力学的对抗目标世界模型，进而通过带有预测残差正则化的梯度匹配算法，仅修改微调缓冲区中极少比例的关键后继状态，使微调更新隐蔽且精准地逼近该对抗目标动力学。
方法详解¶
整个 SWAAP（Stealthy World Model MAnipulation via DAta Poisoning）攻击框架将直接求解端到端极难的双层投毒规划问题解耦为两个核心阶段。首先，在阶段一（Stage 1），攻击者在模型参数空间内求解对抗目标世界模型，使其在真实环境中诱导下游规划器产生极低的回报，同时将模型动力学与真实环境之间的预测偏差压制在隐蔽界限内；其次，在阶段二（Stage 2），攻击者通过梯度匹配（gradient matching）算法构建带毒微调数据集，诱使普通微调更新方向沿着朝向阶段一目标模型的梯度演化，并引入潜状态残差正则化确保所注入的带毒转移对检测防御完全隐蔽。
整体框架¶
在输入输出定义上，受害者智能体在潜状态空间 \(z = \text{enc}(s)\) 中基于微调数据集 \(\mathcal{D} = \{(s_i, a_i, s'_i)\}\) 训练潜转移动力学模型 \(P_\psi\)。攻击者拥有白盒或灰盒微调损失与预训练初始模型权重 \(\psi_0\)，投毒预算为最多替换比例为 \(r_p\) 的后继状态 \(s'_i \to \tilde{s}'_i\)（在潜空间即 \(z'_i \to \tilde{z}'_i\)），且保持当前状态 \(s_i\) 与动作 \(a_i\) 不变。整个流水线自上而下包含：阶段一的目标世界模型辨识、阶段二的关键转移筛选、隐蔽约束梯度匹配优化，以及适配时序微调流的轨迹一致性投毒。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["微调轨迹流 / 潜状态转移数据 (s, a, s')"] --> B["阶段1：对抗目标世界模型辨识<br/>转移梯度定理 + 一阶动态障碍双层优化"]
B --> C["阶段2：最大残差子集筛选<br/>筛选与目标动力学最不一致的 top-r_p 样本"]
C --> D["阶段2：隐蔽约束梯度匹配<br/>余弦方向对齐 + 预测误差尺度正则化"]
D --> E["轨迹一致性协同注入<br/>前一转移 next_state 与后一转移 current_state 双向绑定"]
E --> F["带毒微调数据集 D_tilde 诱导受害者模型更新并瓦解下游 MPC 规划"]关键设计¶
1. 转移梯度定理与一阶动态障碍双层优化：在模型空间逆向搜索兼顾破坏力与隐蔽性的对抗动力学
为了让被操纵的世界模型能够诱骗下游规划器做出灾难性决策，直接双层优化需要对内层强化学习策略或 MPC 响应 \(\theta^\star(\psi)\) 求二阶 Hessian 矩阵，这在深度神经网络中计算不可行。SWAAP 借鉴一阶动态障碍方法（BOME），将双层优化重构为带值函数约束的优化形式：外层最小化受害者在真实环境中的策略回报 \(J(P, \theta(\psi)) + \lambda L(P_\psi, P)\)，内层引入约束量 \(q(\psi, \theta) = \max_{\pi_{\theta'}} J(P_\psi, \theta') - J(P_\psi, \theta) \le 0\) 衡量策略在想象环境下的次优性。
为支持对潜动力学参数 \(\psi\) 的梯度反传，本文推导并建立了通用的转移梯度定理（Transition Gradient Theorem）。对于确定性潜转移预测 \(s_{t+1} = f_\psi(s_t, a_t)\)，有限视距下的转移回报梯度解析形式为： $$ \nabla_\psi J_T(P_\psi, \pi) = \mathbb{E}{a \sim \pi(\cdot|s)} \left[ \sum)) \Big|}^{T-1} \gamma^t \nabla_{s'} (R(s_i, a_i) + \gamma V_{t+i+1}(s_{i+1{s \nabla_\psi f_\psi(s_i, a_i) \right] $$ 这一理论突破使得攻击者无需二阶展开，仅凭一阶前向与梯度采样即可交替迭代更新 }=f_\psi(s_i, a_i)\((\psi, \theta)\)，快速解出既能在真实规划中诱发低回报、又与干净动力学保持极低预测误差 \(\delta_m\) 的目标模型 \(\hat{\psi}\)。
2. 隐蔽约束梯度匹配与最大残差样本筛选：将全局目标动力学高效编译为局部带毒转移
有了目标模型 \(\hat{\psi}\) 之后，直接篡改模型参数属于破坏力过强且易被拦截的模型覆写威胁模型，攻击者必须通过有限微调数据将其实现。SWAAP 首先通过目标模型残差 \(e_\psi(s,a,s') = \|s' - P_{\hat{\psi}}(s,a)\|_2\) 对微调集进行排序，挑选出与目标动力学最不一致的 top-\(r_p\) 比例转移构成待篡改子集 \(\mathcal{D}_p\)。这种筛选策略精准锁定了对动力学校正贡献最大的脆弱样本，大幅降低了搜索空间。
针对被选中的转移，SWAAP 采用余弦相似度优化使得带毒数据诱导的微调梯度 \(G_{\text{real}}\) 与目标世界模型诱导的下降梯度 \(G_{\text{target}}\) 保持方向对齐。更关键的是，为规避基于参考残差的预训练数据过滤，SWAAP 在损失中增加了二次预测误差正则项，强制带毒目标潜状态与原始后继状态的偏移量等于干净模型固有的单步预测误差： $$ \mathcal{L}P = (1 - \alpha) \big(1 - \cos(G'_i - s'_i|}}, G_{\text{target}})\big) + \alpha \sum_{(s_i, a_i, s'_i) \in \tilde{\mathcal{D}}_p} \left( |\tilde{s2 - |P(s_i, a_i) - s'_i|_2 \right)^2 $$ 通过超参数 \(\alpha \in [0, 1)\)，攻击者可以在攻击强度与数据级隐蔽性（\(\delta_d\)）之间连续平衡。潜空间 PCA 可视化证明，优化出的带毒转移潜向量完全融入了自然预测误差分布之中，消除了异常离群特征。
3. 时序自洽的轨迹一致性投毒：消除连续时序序列中的状态错配特征
在现实场景中，智能体的经验回放池或微调缓冲区往往以连续时序轨迹的形式存储，中间状态 \(s_{t+1}\) 会同时充当第 \(t\) 步的后继目标和第 \(t+1\) 步的当前输入。若仅修改 \(t\) 步的后继状态 \(\tilde{s}'_t\) 而保持第 \(t+1\) 步的输入 \(s_{t+1}\) 不变，会产生显著的时序不连续破绽，极易被序贯检测器察觉。
SWAAP 提出了轨迹一致性投毒变体：每当选定时间步 \(t\) 进行篡改时，强制将对应中间潜状态在两相邻元组中同步替换，即 \((s_t, a_t, s_{t+1}) \mapsto (s_t, a_t, \tilde{s}_{t+1})\) 且 \((s_{t+1}, a_{t+1}, s_{t+2}) \mapsto (\tilde{s}_{t+1}, a_{t+1}, s_{t+2})\)。同时，在计算实测梯度 \(G_{\text{real}}\) 时引入一阶时序一致性损失： $$ G_{\text{real}} = \mathbb{E} \left[ \nabla_{\psi_0} \left( |\tilde{s}'t - P(s_t, a_t)|2^2 + |s''} - P_{\psi_0}(\tilde{st, a)|_2^2 \right) \right] $$ 该项促使被篡改的潜状态不仅能从当前步被预测，还能有效前向预测后续的真实演变，保证了投毒轨迹在动力学流形上的平滑自洽。
损失函数 / 训练策略¶
在阶段一的动态障碍更新中，对参数 \((\psi, \theta)\) 施加联合更新 \((\psi_{k+1}, \theta_{k+1}) \leftarrow (\psi_k, \theta_k) - \xi [\nabla f(\psi_k, \theta_k) + \lambda_k \nabla q(\psi_k, \theta_k)]\)，其中动态系数 \(\lambda_k = \max \left( \frac{\phi_k - \langle \nabla f, \nabla q \rangle}{\|\nabla q\|^2}, 0 \right)\)，并采用 \(\phi_k = \eta \|\nabla q\|^2\)（实验取 \(\eta = 0.5\)）。在阶段二的梯度匹配中，固定步长更新 5,000 步，干净参考集规模 \(|D_{\text{all}}| = 50,000\)，微调数据规模 \(|D| = 5,000\)。针对微调训练参数，严格校准 epoch 与学习率，确保干净模型在同等干净微调集上无性能退化，以此排除过拟合对性能下降的干扰。
实验关键数据¶
主实验¶
主实验在连续控制基准 DMControl、MetaWorld、MyoSuite 和 ManiSkill2 上对 TD-MPC2 展开评估。投毒比例默认固定为 \(r_p = 0.1\)，隐蔽系数 \(\alpha = 0.9\)（部分任务偏向更高隐蔽性设为 \(0.99\)），评估 10 个独立随机种子，考察规划累计回报（Return）、模型级偏差 \(\delta_m\)（测试期真实环境交互单步相对偏差）以及数据级偏差 \(\delta_d\)（微调集相对偏差）。
| 数据集 / 任务 | 评估指标 | Clean（未投毒基准） | SWAAP (Random) | SWAAP (本文) | 投毒攻击降幅 |
|---|---|---|---|---|---|
| DMControl / humanoid-walk | Return \(\uparrow\) | \(868 \pm 15\) | \(826 \pm 26\) | \(775 \pm 50\) | -93 (-10.7%) |
| DMControl / humanoid-walk | \(\delta_m \downarrow\) | \(0.092 \pm 0.003\) | \(0.103 \pm 0.004\) | \(0.110 \pm 0.007\) | 仅微增 +0.018 |
| DMControl / humanoid-walk | \(\delta_d \downarrow\) | \(0.090 \pm 0.005\) | \(0.090 \pm 0.005\) | \(0.090 \pm 0.005\) | 0.000 (完全隐蔽) |
| DMControl / dog-run | Return \(\uparrow\) | \(637 \pm 9\) | \(607 \pm 22\) | \(478 \pm 26\) | -159 (-25.0%) |
| DMControl / dog-run | \(\delta_d \downarrow\) | \(0.051 \pm 0.004\) | \(0.051 \pm 0.004\) | \(0.052 \pm 0.004\) | +0.001 |
| MyoSuite / pen-twirl-hard | Return \(\uparrow\) | \(3574 \pm 640\) | \(3024 \pm 646\) | \(2771 \pm 801\) | -803 (-22.5%) |
| MyoSuite / reach-hard | Return \(\uparrow\) | \(743 \pm 22\) | \(664 \pm 36\) | \(606 \pm 198\) | -137 (-18.4%) |
| MetaWorld / push | Return \(\uparrow\) | \(1784 \pm 13\) | \(1476 \pm 142\) | \(1641 \pm 80\) | -143 (-8.0%) |
| MetaWorld / soccer | Return \(\uparrow\) | \(1724 \pm 9\) | \(1711 \pm 26\) | \(1479 \pm 96\) | -245 (-14.2%) |
| ManiSkill2 / pick-cube | Return \(\uparrow\) | \(161 \pm 7\) | \(158 \pm 10\) | \(147 \pm 14\) | -14 (-8.7%) |
| ManiSkill2 / stack-cube | Return \(\uparrow\) | \(170 \pm 16\) | \(137 \pm 13\) | \(141 \pm 18\) | -29 (-17.1%) |
消融实验¶
消融实验重点验证阶段一目标识别与阶段二梯度匹配的必要性、预训练序贯 CUSUM 检测防御对抗表现，以及在微调期 TRIM 鲁棒训练下的稳健性。
| 模块配置 / 评估设定 | 评估场景 / 指标 | 数值表现 | 对比基准与分析说明 |
|---|---|---|---|
| 阶段二设计：直接写入目标预测 (DMP-data) | Humanoid-Walk (无防御) / Return | \(727 \pm 205\) | SWAAP 达到 \(521 \pm 332\)，梯度匹配显著增强破坏力 |
| 阶段二设计：直接写入目标预测 (DMP-data) | Humanoid-Walk (TRIM 防御) / Return | \(599 \pm 297\) | SWAAP 骤降至 \(183 \pm 356\)，无梯度匹配极易被清洗 |
| 样本筛选：Top-\(r_p\) 最大残差筛选 | Humanoid-Walk / Return | \(775 \pm 50\) | 替换为随机筛选时回弹至 \(822 \pm 13\)（攻击显著被削弱） |
| 基线对比：离线 PGD 转移扰动 (\(\epsilon=0.015\)) | MW-Push / Return / \(\delta_d\) | \(1732 \pm 56\) / \(0.0832\) | SWAAP 为 \(1641 \pm 80\) / \(0.0805\)，更具杀伤力且更隐蔽 |
| 预训练防御：CUSUM 序贯检验 (\(\alpha=0.1\)) | MW-Push / AUC / TPR (FPR=0.06) | \(0.864\) / \(0.40\) | 激进攻击设置下异常残差被有效捕获 |
| 预训练防御：CUSUM 序贯检验 (\(\alpha=0.9\)) | MW-Push / AUC / TPR (FPR=0.06) | \(0.509\) / \(0.08\) | 隐蔽约束下检测力降至随机猜测水平 |
| 鲁棒训练防御：TRIM 迭代过滤 (\(\beta=0.2\)) | Humanoid-Walk / Return | \(183 \pm 356\) | SWAAP 诱导 TRIM 错误剔除干净数据，攻击效果反而放大 |
| 序列自洽拓展：轨迹一致性投毒 (\(r_p=0.05\)) | Humanoid-Walk / Return / \(\delta_d\) | \(784 \pm 19\) / \(0.102\) | 满足跨步一致性硬约束下仍实现明显性能降级 |
关键发现¶
- 两阶段解耦的不可替代性：若不经过阶段二的梯度匹配而仅直接拷贝阶段一目标模型的预测（DMP-data），不仅在无防御状态下攻击效果偏弱，而且在面对 TRIM 鲁棒过滤时攻击几乎完全失效。SWAAP 的梯度匹配巧妙诱导了细微但全局一致的模型更新方向，使得带毒样本不仅能存活于 TRIM 过滤后，还能误导防御机制剔除真实的干净样本。
- 隐蔽性与攻击强度的连续权衡：参数 \(\alpha\) 控制着梯度对齐项与自然预测误差匹配项的权重。当 \(\alpha = 0.1\) 时，攻击破坏力极强，但 CUSUM 检测器能够以 \(0.864\) 的高 AUC 检出异常；而调整为 \(\alpha = 0.9\) 后，CUSUM 曲线贴近对角线（AUC 仅 \(0.509\)），且微调数据级偏差 \(\delta_d\) 与干净数据基准完全一致（如 Humanoid-Walk 均为 \(0.090\)）。
- 向大缓冲区与跨架构的泛化能力：当微调缓冲区从 5,000 扩展至 25,000 时，固定 500 个带毒样本虽被稀释，但仍使 Humanoid-Walk 回报从 868 降至 679；在基于视觉特征的 DINO-WM（Push-T 任务）上，SWAAP 同样成功将规划成功率从 92% 削减至 77%。
亮点与洞察¶
- 从直接策略投毒跨越至隐式动力学投毒：首次指出了世界模型智能体特有的双层逆向规划攻击面，攻破了传统 RL 攻击必须直接干预奖励或策略动作的思维定式，揭示了篡改转移模型参数如何间接摧毁测试期 MPC 前瞻搜索能力。
- 转移梯度定理的通用数学工具价值：针对高维连续潜空间中的确定性与随机动力学，推导出了闭式的转移梯度估计器，为模型基强化学习领域的对抗鲁棒性、敏感性分析以及双层超参数优化提供了统一的可微分析工具。
- “反客为主”的防御逆向利用：揭示了现有基于残差排序的数据清洗防御（TRIM）的脆弱性——精心设计的微调梯度能让带毒样本保持低残差，反过来诱骗清洗算法将真正的高信息量干净样本当作离群点剔除，产生了防御反而加剧攻击危害的反常现象。
局限与展望¶
- 目标解耦带来的实现瓶颈（Realization Gap）：阶段一在模型空间优化的最优对抗模型，在阶段二受限于投毒预算 \(r_p\) 和隐蔽正则 \(\alpha\)，无法被 100% 完美复现（在复杂任务如 Pen-Twirl 上差距较为明显）。未来工作亟需将阶段二的数据可实现性前置融入阶段一的优化循环中。
- 攻击目标目前局限于非定向降级（Untargeted Degradation）：当前框架主要聚焦于使智能体无法完成任务（降低期望回报），尚未探索更隐蔽、危害更大的后门触发式定向操纵（如遇到特定路标时让自动驾驶汽车发生转向偏移）。
- 缺乏自适应防御的对抗检验：文章评估的残差阈值过滤、CUSUM 和 TRIM 均属于非自适应基线。针对已知 SWAAP 机制的防御者（例如监控微调梯度的方向异常或联合检查多步转移一致性流形），防御端仍存在提升空间。
相关工作与启发¶
- vs Rakhsha et al. / Zhang et al. (环境投毒强化学习)：传统强化学习数据投毒集中在 MDP 奖励函数篡改或简单环境的策略强制教学，依赖于可直接定义的目标策略；SWAAP 针对具有复杂高维潜空间和连续控制能力的现代世界模型（TD-MPC2、DINO-WM），通过间接改变被想象的环境转移物理规律，颠覆下游规划决策。
- vs Geiping et al. (Witches' Brew 梯度匹配投毒)：传统图像分类领域的梯度匹配以单样本分类交叉熵为锚点，扰动像素改变离散类别；SWAAP 创新地将梯度匹配扩展至连续时序动力学预测，并提出潜残差尺度匹配与跨步轨迹一致性机制，解决了多步动态系统的时序暴露问题。
- vs 运行时对抗状态扰动 (Adversarial State Perturbation)：测试期状态对抗攻击要求攻击者实时接入传感器管线；而 SWAAP 属于纯离线微调数据投毒，在部署期无需任何对抗性介入，隐蔽性与实际落地威胁极高。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ (首次针对深度世界模型提出系统的两阶段数据投毒攻击框架，提出转移梯度定理，填补了世界模型鲁棒性领域的重大空白)
- 实验充分度: ⭐⭐⭐⭐⭐ (跨 DMControl、MetaWorld、MyoSuite、ManiSkill2 多类物理控制基准，深入评测了预训练、微调期、测试期防御，并涵盖 DINO-WM 视觉模型与灰盒跨架构迁移)
- 写作质量: ⭐⭐⭐⭐⭐ (逻辑清晰，数学推导严谨自洽，对实验现象与实现瓶颈的剖析极其深刻诚实)
- 价值: ⭐⭐⭐⭐⭐ (对具身智能、自动驾驶与具身基础世界模型的持续学习和微调流水线提出了极具警示意义的安全性洞察)