NEvo: Neural-Guided Evolutionary Video Synthesis for Dynamic Visual Selectivity¶
会议: NeurIPS 2026
arXiv: 2607.02317
领域: 视频生成
关键词: 神经引导视频合成 / 演化算法 / 动态脑编码模型 / 视觉皮层选择性 / 侧向视觉通路
一句话总结¶
针对传统模型驱动的大脑刺激合成局限于静态图像的瓶颈，NEvo 首次提出结合多层动态脑编码模型与两阶段结构化 Prompt 演化搜索的神经引导视频生成框架，在整个人类视觉皮层高效合成了超越真实视频与手工局部化视频的超激活动态刺激，并揭示了侧向视觉通路的社会动态功能梯度。
研究背景与动机¶
人类视觉系统本质上是高度动态的，大脑通过层级化组织、功能分工的视觉皮层实时整合时空输入，以支持障碍规避、物体追踪、动作执行和意图推断等复杂感知认知过程。传统神经科学研究主要依赖手工精心设计的动态局部化刺激（Functional Localizers）来刻画腹侧流（如 FFA、PPA 负责物体与场景）、背侧流（如 MT、V3A 负责运动表征）以及侧向流（如 EBA、pSTS、aSTS 负责生物运动与社会交互）的功能特化。然而，手工设计的刺激库规模狭小且极度依赖人类直觉假设，无法在连续广袤的高维时空构型空间中系统性探测神经元集群的最优调谐特性。
近年来，基于深度神经网络的大脑编码模型（Brain-Encoding Models）使计算机能够在硅基层面（in silico）精准预测体素级神经激活，催生了基于梯度的生成式刺激合成方法（如基于 GAN 或扩散模型的神经刺激控制）。然而，这些前沿进展几乎全部受限于静态图像领域：在静态图像上，优化变量仅局限于空间像素或单帧潜变量；一旦跃迁至视频维度，时空状态空间的自由度发生组合爆炸，导致传统基于梯度的引导合成方法（如 BrainDiVE）在时空连续扩散模型与动态编码器的复杂能量面中严重退化，产生强烈的伪影并彻底丧失语义与神经调控效能。
面对高维时空搜索空间维数灾难与动态编码引导脆弱性的核心矛盾，本文提出摒弃脆弱的连续时空像素级梯度反传，转而构建离散、结构化且语义高度可解释的 Prompt 基因空间，并利用两阶段演化搜索进行黑盒神经优化。核心 idea：将动态刺激探针合成形式化为结构化 Prompt 空间上的神经演化搜索，依托多层 V-JEPA 2 动态脑编码评分指导遗传迭代，并解耦静态视觉锚点与动态时序运动属性，实现对人类全视觉皮层的高效、超激活动态视频探针合成与功能梯度发现。
方法详解¶
整体框架¶
NEvo 旨在为目标大脑感兴趣区域（ROI）\(r\) 合成能诱发最大化平均体素预测激活值的动态视频刺激。整个框架由三大核心模块紧密协同构成：基于结构化 Prompt 空间的参数化表示、静态-动态两阶段演化优化搜索流程，以及分层特征对齐的动态脑编码预测模型。针对目标 ROI，系统首先在静态 Prompt 空间中驱动单步图像扩散模型（SDXL-Turbo）进行外观锚点演化，随后固定最优静态锚点，在动态动作/交互 Prompt 空间中驱动视频扩散模型（LTX-Video 2.3）合成两秒 24 fps 视频，最终由标准化重载的 V-JEPA 2 动态编码器完成体素激活打分，经选择、交叉和变异驱动种群朝超激活构型迭代演进。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["目标脑区 ROI 或 Searchlight 贴片<br/>体素集合 Vr"] --> B["第一阶段：静态 Prompt 空间演化<br/>SDXL-Turbo 搜索外观/主体锚点"]
B --> C["筛选最优静态锚点图像 x_img"]
C --> D["第二阶段：动态 Prompt 空间演化<br/>LTX-Video 2.3 搜索运动/时序节奏/交互属性"]
D --> E["视频标准化导出与张量重载<br/>256x256, 24fps, CRF 18"]
E --> F["多层 V-JEPA 2 动态脑编码评分<br/>多 Block 特征与体素岭回归预测"]
F -->|种群精英选择 / 交叉 / 变异| D
F --> G["输出超激活视频刺激与功能特征分析"]关键设计¶
1. 结构化基因 Prompt 空间：将时空连续探索离散化为可解释语义属性 为了在高维时空配置中保证生成视频的语义自然性与物理连贯性，避免无约束连续优化引发的非自然对抗伪影，NEvo 将视频提示词建模为笛卡尔积属性空间 \(\mathcal{P} = \mathcal{A}_1 \times \cdots \times \mathcal{A}_M\)。每个属性类别 \(\mathcal{A}_m\) 对应视频的一个语义或运动维度，由离散选项构成的“基因序列” \(p = (a_1, \ldots, a_M)\) 唯一确定。Prompt 空间显式解耦为静态空间 \(\mathcal{P}_{\text{img}}\)（30 个类别、614 个离散候选，涵盖底层空间频率、边缘密度、中层纹理、高层物体形状、面部视线、身体姿态、空间拓扑及光照与风格等）与动态空间 \(\mathcal{P}_{\text{vid}}\)（11 个类别、163 个候选，涵盖运动源类型、运动强度、主体主要动作、交互模式、社会后效性及事件因果结构等）。这一结构化离散化设计使得黑盒演化搜索能够在保持视频高保真度的同时，跨越不同抽象层级直接检索神经敏感属性。
2. 动静解耦的两阶段演化搜索：以低计算代价跨越时空维数灾难 视频生成的直接全空间联合搜索面临极高的显存与时间成本，且在静态构型极其贫乏时盲目尝试动态渲染会造成海量算力浪费。NEvo 提出解耦静态外观与时序动态的两阶段搜索策略。在第一阶段，算法仅在 \(\mathcal{P}_{\text{img}}\) 上运行 \(T_{\text{img}} = 400\) 次评估，调用快速图像生成器 \(G_{\text{img}}\)（SDXL-Turbo 单步推理）合成静态图像，转化为静态视频后送入编码模型评估 ROI 激活 \(S_r\)，锁定得分最高的外观作为静态锚点 \(x_{\text{img}}\)；在第二阶段，固定锚点 \(x_{\text{img}}\) 作为首帧条件，仅在 \(\mathcal{P}_{\text{vid}}\) 上运行 \(T_{\text{vid}} = 200\) 次评估，调用图生视频模型 \(G_{\text{vid}}\)（LTX-Video 2.3）探索时序交互与动作模式。种群规模设为 \(N = 20\)，采用精英保留率 \(P_e = 0.3\)、单点交叉率 \(P_c = 0.5\) 以及单属性独立突变率 \(P_m = 0.2\)。两阶段分解使得计算预算集中在有效的内容分支上，在数千秒内完成收敛。
3. 多层动态脑编码对齐与标准化打分：精准映射全脑皮层层级深度 精准的适应度函数是神经引导合成的基石。不同于以往依赖 CLIP 最后一层静态全局嵌入的做法，NEvo 采用自监督视频表征模型 V-JEPA 2 作为时空特征骨干，并从 Transformer 的多个中间 Block（blocks 13, 15, 17, 19, 21, 23）抽取时空注意力特征。在对空间与时序维度均值池化后，针对每个体素分别利用岭回归模型拟合 fMRI 响应 \(\beta\)（涵盖 BOLDMoments 与社会交互视频数据集）。每个体素通过交叉验证独立选定验证集预测能力最强的层深，从而建立起低级初级视皮层到高级颞叶皮层在模型深度上的层级对齐。针对目标 ROI \(r\)，整体神经优化目标定义为该区域内所有体素预测激活的均值： $\(S_{r}(x) = \frac{1}{|V_{r}|} \sum_{v \in V_{r}} S_{v}(x)\)$ 为了排除生成分辨率、编码器压缩格式等非语义因子的伪相关干扰，所有生成的候选视频统一经过标准 FFmpeg 渲染管线（256×256、24 fps、2 秒、CRF 18、yuv420p），重新载入为张量后再送入编码器进行确定性打分。
损失函数 / 训练策略¶
在脑编码模型训练阶段，V-JEPA 2 特征到体素响应的映射采用 L2 正则化岭回归（Ridge Regression），正则化惩罚项 \(\lambda\) 在对数均匀分布区间 \([10^{-8}, 10^8]\) 的 17 个候选值中通过网格交叉验证进行选择。数据集按 90% 训练集与 10% 验证集划分，以内部一致性归一化的 Pearson 相关系数（Ceiled Predictivity）衡量拟合精度。在进化合成优化阶段，目标函数为最大化 \(\arg\max_{p \in \mathcal{P}} S_r(G(p))\)，无需计算反向传播梯度，依靠种群基因适应度分布驱动随机定向变异与父代重组。
实验关键数据¶
主实验¶
评估在人类视觉皮层代表性 ROI（涵盖腹侧流 FFA、PPA；背侧流 MT、V3A；侧向流 EBA、pSTS）上全面展开。对比基线包括：经典动态功能局部化视频（Dynamic Localizers）以及来自 Moments in Time（MiT，71.5 万条自然视频）的大规模真实视频检索上限。
| 脑区 (ROI) | 刺激来源 / 方法 | 预测激活值 (a.u.) | 相对 MiT 分位数 | 相对 Localizer 百分比 |
|---|---|---|---|---|
| FFA (腹侧面孔区) | Moments in Time (检索上限) | 0.82 | 100% | 94.3% |
| FFA (腹侧面孔区) | 动态功能局部化视频 | 0.87 | Top 0.5% | 100% |
| FFA (腹侧面孔区) | NEvo (本文合成) | 0.91 | Top 99.8% | 104.6% |
| MT (运动敏感区) | Moments in Time (检索上限) | 1.15 | 100% | 96.6% |
| MT (运动敏感区) | 动态功能局部化视频 | 1.19 | Top 0.8% | 100% |
| MT (运动敏感区) | NEvo (本文合成) | 1.26 | Top 99.9% | 105.9% |
| pSTS (后上颞沟) | Moments in Time (检索上限) | 0.74 | 100% | 93.7% |
| pSTS (后上颞沟) | 动态功能局部化视频 | 0.79 | Top 0.6% | 100% |
| pSTS (后上颞沟) | NEvo (本文合成) | 0.84 | Top 99.8% | 106.3% |
| 全脑 ROIs 平均 | Moments in Time (检索上限) | 0.88 | 100% | 96.0% |
| 全脑 ROIs 平均 | 动态功能局部化视频 | 0.92 | Top 0.6% | 100% |
| 全脑 ROIs 平均 | NEvo (本文合成) | 0.97 | Top 99.8% | 105.4% |
消融实验¶
消融实验系统验证了两阶段分解、动态时序增益、编码器层深选择及优化策略的有效性。
| 实验模块 / 配置维度 | 对比配置 | 激活表现 / 性能变化 | 统计显著性 / 说明 |
|---|---|---|---|
| 时序动态增益 (vs 首帧静态控制) | 完整两阶段优化视频 | 基准激活提升 | 全脑平均提升 \(+0.27 \pm 0.03\) a.u. (95% CI) |
| 时序动态增益 | 首帧静态视频 (MT) | 相对完整视频显著降低 | MT 激活差异达 \(-0.61 \pm 0.05\) a.u.，强运动依赖 |
| 时序动态增益 | 首帧静态视频 (FFA) | 相对完整视频轻微降低 | FFA 差异为 \(-0.14 \pm 0.02\) a.u.，静态主导但时序有增益 |
| 搜索策略两阶段分解 | 两阶段图像到视频 (NEvo) | 最优激活表现 | FFA 相对直接视频搜索提升 \(+0.13 \pm 0.04\) a.u. |
| 搜索策略两阶段分解 | 单阶段直接文本到视频搜索 | 激活显著劣化 | 探索效率低，早熟陷入次优内容构型 |
| 搜索策略两阶段分解 | 单阶段仅图像静态搜索 | 缺少时序优化 | 无法调谐运动敏感与社交交互区域 |
| 生成引导算法机制 | NEvo (演化式 Prompt 搜索) | 高激活且具物理语义 | 所有测试数据点均全面大幅超越 BrainDiVE |
| 生成引导算法机制 | BrainDiVE (扩散模型梯度引导) | 严重退化 (均值仅达 MiT 24%) | 动态视频潜在高维面中产生大量伪影与对抗样本 |
| 编码模型选择 (OOD泛化) | V-JEPA 2 (多层特征对齐) | 最优测试集相关系数 | 跨数据集泛化测试显著领先 CLIP 架构 |
| 编码模型选择 (OOD泛化) | V-JEPA 2 (仅最后一层) | 明显下降 | 丧失对早期中级皮层的对齐精度 |
| 编码模型选择 (OOD泛化) | CLIP (多层逐帧连接) | 次优 | 缺乏时序建模，无法精准预测动态刺激 |
| 种群演化算法选择 | 遗传算法 (Genetic Search) | 最高均值激活 (Cohen's \(d=0.46\)) | 显著优于随机搜索 (\(p < 0.001\)) 与爬山法 |
关键发现¶
- 动态时序信息的全脑普遍增益：对比完整合成视频与首帧静态视频，所有被测脑区均呈现出动态提升效应（平均激活增加 \(0.27 \pm 0.03\) a.u.）。在运动中枢 MT 区，时序动态贡献了高达 \(0.61\) a.u. 的激活增量；即便在传统被视作静态分类特化的腹侧 FFA，动态刺激亦带来了 \(0.14\) a.u. 的稳健提升，证明时空结构普遍参与塑造视皮层神经表征。
- 两阶段搜索的解耦收益差异：FFA 高度依赖第一阶段建立精准的静态外观锚点（面孔结构），两阶段相较于直接搜索视频提升了 \(0.13\) a.u.；而 MT 对静态外观容忍度高、对全局运动敏感，两阶段收益为 \(0.09 \pm 0.14\) a.u.。这证明将“外观内容”与“动态规律”因子分解符合大脑皮层的信息分流机制。
- 侧向流的“低级运动-身体姿态-复杂社交”连续功能梯度：沿 V1 到 aSTS 的测地线 Searchlight 合成结果显示，早视皮层偏好高对比度密集纹理（红/密集/条纹），中级区域（MT/EBA）偏好生物运动与躯体动作，后上颞沟（pSTS）偏好协同舞蹈、打斗等物理同步交互（联合动作属性相关性 \(r=0.732\)），而前上颞沟（aSTS）则转向低运动、面对面情感与交流场景（面孔存在 \(r=0.755\)，运动幅度负相关 \(r=-0.800\)）。
- 非自然抽象图元的受控动态解离：以完全抽象的橡皮泥圆盘作为固定静态锚点，仅优化时序动作即可驱动脑区特异性演变：pSTS 驱动下抽象图元自发展开类面孔构型与协同交互，而 MT 驱动下则演变为强烈的几何平移、震荡与形变，证实了 NEvo 发现可解释认知假设的控制探针生成能力。
亮点与洞察¶
- 黑盒演化规避了时空连续扩散的“对抗陷阱”：在静态图像上有效的逐步梯度引导在视频生成中全面崩溃（BrainDiVE 仅达 MiT 的 24%），而 NEvo 巧妙地在离散语义基因空间进行宏观搜索，既借助生成模型的隐式自然先验约束了时序真实性，又保持了高效的定向优化。
- 多层特征与体素对齐揭示了深度层级规律：打破“CLIP 顶层万能论”，证明视皮层不同层级对应视频自监督表征模型的不同深度，多层选择使体素级预测准确度获得质的跃升。
- 计算神经科学从“被动检索”走向“主动假设生成”：不再受限于自然视频库长尾稀疏的局限，NEvo 可以生成现实中极罕见的极端组合刺激（如戏剧光照下的双人阴影交互），为闭环侵入/非侵入式神经调控提供了强大设计工具。
局限与展望¶
- 纯硅基模型的偏差传递：当前刺激完全基于 V-JEPA 2 拟合的脑编码器打分，生成结果必然耦合了骨干网络的归纳偏置与预测误差，亟需真实的在体（in vivo）人类 fMRI 闭环实验验证实际诱发激活。
- 纯视觉模态对社交前颞叶建模的局限：aSTS 等区域在真实人际交往中高度依赖语音、声调等多模态视听线索，当前无声两秒视频限制了对高级言语交流皮层的精细解析。
- Prompt 属性空间的人工预设边界：尽管设计了 30+11 个维度，离散基因词典仍可能遗漏某些前所未见的时空特征构型。未来可引入连续文本嵌入微调或多模态大语言模型自主扩展搜索空间。
相关工作与启发¶
- vs BrainDiVE (Luo et al., 2023)：BrainDiVE 依赖向扩散模型隐空间反向传播编码器梯度进行单帧引导，在扩展至视频时面临高维计算梯度退化与严重噪点伪影；NEvo 采用离散 Prompt 空间的演化搜索，无需可微路径，生成刺激兼具高语义可解释性与超高激活。
- vs BrainACTIV / Inception Loops (Bashivan et al., 2019; Cerdas et al., 2024)：以往工作深耕静态图像分类脑区的特征诱导，忽略了时序与因果运动；NEvo 首次填补动态视频维度空白，并揭示了背侧与侧向流的动态时序敏感性。
- vs Moments in Time 真实视频检索：大规模视频检索受限于现有语料库的分布覆盖；NEvo 可以在超高激活区间探索极端特征组合（如非自然抽象几何主体的拟人社交互动），拓展了假设驱动实验的空间。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次建立面向大脑动态视觉选择性的神经引导演化视频合成框架，填补了动态刺激生成空白。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 ventral、dorsal、lateral 六大核心脑区、测地线 Searchlight 全局探测及抽象图元受控实验，消融严谨。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑链条严密，方法描述兼顾神经科学洞察与计算机视觉生成模型工程细节。
- 价值: ⭐⭐⭐⭐⭐ 为计算神经科学、脑机接口与神经视觉表征对齐研究提供了强有力的方法论范式。