Aligning Human Sense: Calibrated Distributional Reward Learning for Video Generation¶

会议: ECCV2026
论文: https://eccv.ecva.net/virtual/2026/poster/3296
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/819.pdf
代码: https://github.com/alignhs26/ahs
领域: 视频生成
关键词: 偏好校准、多维奖励、Wasserstein 距离、GRPO、人类反馈对齐

一句话总结¶

本文把视频偏好对齐串成“高一致性标注校准、多维奖励学习、Wasserstein 约束的 GRPO”三个环节，将动作维度无平局成对准确率从 80.30% 提升到 83.33%，并改善三个视频生成基座的报告综合分数，但收益并非覆盖所有子指标。

研究背景与动机¶

视频生成模型已经能够生成外观可信的短片，但“好看”并不等于“符合观看者的判断”。人会同时关注动作是否遵循提示、运动是否自然、主体是否稳定等因素；不同维度可能冲突，同一视频的评分也会随标注者而变。若直接对原始评分求平均或构建胜负对，含糊甚至相互矛盾的监督就会进入奖励模型，后续强化学习再把这些偏差放大。

作者认为，仅在生成策略末端更换优化器还不够：前端数据是否可靠、奖励表示是否保留多个质量维度、策略约束作用在哪个空间，三者需要一起处理。论文进一步质疑视频 GRPO 常用的逐去噪步 KL 约束：局部策略密度接近参考模型，不必然意味着最终视频在语义、运动和时间一致性上更符合人类偏好。这里是对具体对齐实现的批评，而不是证明 KL 在所有问题中都只能表达局部信息。

因此，本文先利用标注一致性建立可信评分代理，再用代理修正低一致性数据，最后让校准结果同时影响奖励学习和生成策略。核心 idea：先提高偏好监督的可靠性，再在多维奖励空间与策略输出空间加入 Wasserstein 分布约束，让“学什么偏好”与“如何优化视频”形成连续流程。

方法详解¶

整体框架¶

训练输入是视频、文本提示以及多位标注者给出的分维度评分。精英引导偏好校准先区分高一致性与低一致性样本；偏好感知奖励建模用校准后的监督学习多维质量表示；偏好引导策略优化再对同一提示生成一组候选视频，依据奖励的组内相对优势更新生成器。

需要区分两个 Wasserstein 项：奖励阶段比较预测奖励分布和校准标签构成的目标，策略阶段比较当前策略与参考策略的输出分布。二者都使用最优传输距离，但对象不同，不能把它们写成同一个损失，也不能把参考策略直接等同于原始人类评分分布。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    inputs["视频、提示<br/>多人分维度评分"] --> calibration["精英引导偏好校准<br/>筛选、训练评分器、校准"]
    calibration --> reward["偏好感知奖励建模<br/>MSE + Wasserstein"]
    prompts["提示与候选视频组"] --> policy["偏好引导策略优化<br/>组内优势 + WGRPO"]
    reward --> policy
    reference["参考策略"] --> policy
    policy --> output["对齐后的视频生成器"]

关键设计¶

1. 精英引导偏好校准：先学习稳定判断，再处理分歧样本

这里的“精英”指评分一致性高，不是视频分数高，也不是另请一组专家标注。原文的筛选规则是：所有标注者评分相同，或者最多只有一个评分偏离众数，且偏差不超过一个等级。其他样本进入低一致性集合。这样选出的监督更接近可重复的共识，降低了评分器一开始就拟合冲突标签的风险。

作者在高一致性集合上训练 Elite Scorer，让它根据视频与提示回归聚合后的人工评分；再用它给低一致性样本重新评分，并将校准样本与原高一致性集合合并。实验采用 Qwen2-VL-2B，原始多标注者分数先以平均值作为初始标签。实验设置还提到按模型置信度重加权、硬过滤低分离群样本，但没有明确给出置信度定义和过滤阈值，因此不能据此补写一套精确可运行的筛选算法。

这个设计不是简单地删除所有争议数据：先用较干净的子集学会评分，再尽量恢复其余样本的训练价值，从而兼顾监督质量和有效规模。不过，它也把“有分歧”解释为需要校正的信号；分歧若来自真实审美差异，代理模型可能把少数偏好改写成多数共识。后面的分布建模并不会自动消除这种数据选择偏差。

2. 偏好感知奖励建模：保留维度，并在回归之外约束分布

奖励模型仍以视频与提示为输入，但不再只考虑一个笼统的质量数值。方法将校准后的标签写成多维向量，预测条件奖励分布，并把 MSE 回归和 Wasserstein 对齐共同用于训练。数据源有九个评价维度，核心实验实际重点报告 Action 与 Motion Effects 两维，不能将“两维结果”扩写成已全面验证九维联合建模。

保留原文式（3）至（5）的核心关系即可理解这一阶段：

\[ \mathcal{L}_{\mathrm{total}} =\mathcal{L}_{\mathrm{MSE}} +\lambda W_p\!\left(p_\theta(\mathbf{z}\mid v,p),\delta_{\mathbf{y}}\right). \]

其中 MSE 监督预测奖励向量接近校准标签，第二项衡量预测奖励分布到标签位置的传输距离，权重由正数 \(\lambda\) 控制。Wasserstein 距离利用分数空间中的距离，而不仅仅判断分布密度是否相同；作者据此希望加强语义、运动等质量属性的联合约束。它是对回归目标的补充，而不是取消逐样本监督。

一个重要边界是：原文把每个样本的经验目标写成 \(\delta_{\mathbf{y}}\)，也就是集中在一个校准标签向量上的点质量，并不是保留每位标注者评分的多峰分布。因此，“分布奖励”在这里不能直接理解为完整恢复人群偏好的不确定性或相关结构。缓存正文也没有充分说明预测分布的参数化方式及最优传输估计细节；笔记不另行假设高斯分布、协方差预测或特定 Sinkhorn 实现。

3. 偏好引导策略优化：组内比较决定方向，分布约束控制偏移

对同一个文本提示，旧策略采样一组候选生成轨迹。奖励模型为每条轨迹提供分数，再减去组内平均值、除以组内标准差得到相对优势。分数高于组内平均的候选推动策略增加相应生成行为的概率，较差候选则相反；这样的相对比较减少了不同提示之间奖励尺度变化的影响。

更新仍保留 GRPO/PPO 的基本机制：计算新旧策略在轨迹各步上的概率比，用裁剪限制单次更新幅度，再对轨迹时间步和组内样本求平均。WGRPO 改的是参考约束，将常见的 KL 正则替换为当前策略与参考策略输出分布之间的 Wasserstein 距离；原文的最小化目标为：

\[ \mathcal{L}_{\mathrm{WGRPO}}(\theta) =-\mathcal{L}_{\mathrm{CLIP}}(\theta) +\beta W\!\left(\pi_\theta,\pi_{\mathrm{ref}}\right). \]

第一项争取更高的组内相对奖励，第二项限制相对参考策略的输出分布偏移，\(\beta\) 控制约束强度。作者希望这种约束比逐步密度匹配更贴近最终视频的整体行为，但效果仍取决于输出空间的底层距离如何定义；“换成 Wasserstein”本身不能保证距离就具有语义或感知意义。正文未完整交代实际底层距离、传输估计以及多维奖励变成轨迹标量分数的方式，这些都是复现时需要核对的实现细节。

损失函数 / 训练策略¶

流程先训练评分代理，再训练奖励模型，最后更新视频生成器；并不是三者端到端联合训练。Video-Bench 含 8,799 个独立视频，每个视频由四人从九个维度评分，来源覆盖四个开源与三个商业生成模型。策略训练另从 VidProM 选取 50,000 条提示。

奖励模型使用 Qwen2-VL-2B，LoRA rank 为 8，batch size 为 32，学习率为 \(2\times10^{-6}\)。策略优化设置为 20 个采样时间步、每组 16 个候选，LoRA 的 rank 为 32、alpha 为 64；所有实验使用 8 张 H100。其余超参数引用 VideoAlign 的设置，不能将未列出的 \(\lambda\)、\(\beta\) 或过滤阈值当作已知常数。

奖励评估使用留出的 100 对高保真视频，分别报告保留平局和排除平局的成对准确率。视频生成评估还用 GPT-4o 将每个原始测试提示改写为三个变体，以减轻提示泄漏；这增加表述变化，但不等于严格保证语义内容与训练集独立。

实验关键数据¶

主实验¶

下表来自原文表 2，单位为百分比，数值越高越好。“含平局”和“不含平局”是不同评估口径，不应横向当成同一难度。Equal 指等规模对照，Full 指全量原始数据对照。

奖励训练数据	Action 含平局	Action 不含平局	Motion Effects 含平局	Motion Effects 不含平局
Raw (Equal)	54.65	74.24	67.68	80.30
Curated (Equal)	59.60	78.79	68.69	84.85
Raw (Full)	58.59	80.30	65.66	86.36
Calibrated	60.61	83.33	71.72	87.88

等规模筛选已经有效，说明收益不能仅用训练样本数解释。相对 Raw (Full)，校准后的 Action 不含平局准确率提高 3.03 个百分点，Motion Effects 含平局准确率提高 6.06 个百分点；这是数据与奖励方案的整体比较，不是单独 Wasserstein 项的收益。

生成侧表 1 报告的 Avg. 为：Wan2.1-T2V-1.3B 从 68.16 到 69.58，CogVideoX-2B 从 66.39 到 68.32，ModelScope 从 63.86 到 65.92。与此同时，后两者的 Subject Consistency 分别从 87.35 降到 86.45、从 82.12 降到 80.25。这里按原表引用 Avg.，不擅自将其解释为所列七项的简单算术平均。

消融实验¶

下表来自原文表 3，只比较奖励学习阶段是否加入 Wasserstein 损失，单位为百分比。

奖励学习配置	Action 含平局	Action 不含平局	Motion Effects 含平局	Motion Effects 不含平局
不加 Wasserstein 损失	58.98	81.25	68.33	86.11
加入 Wasserstein 损失	60.61	83.33	71.72	87.88

Motion Effects 含平局提升 3.39 个百分点，Action 含平局提升 1.63 个百分点。这一消融支持“回归之外增加分布约束有帮助”，但不能据此认定所有提升均来自校准，或证明学到了完整的人类偏好分布。

下面选取原文表 4 的五列，比较策略优化阶段的三种约束；均为原表分数，越高越好。

策略约束	Motion Smoothness	Dynamic Degree	Spatial Relation	Background Consistency	报告 Avg.
无正则	89.10	36.29	59.78	91.33	67.97
KL	88.89	36.50	59.40	91.45	68.02
Wasserstein	89.32	36.48	63.23	92.55	69.58

Wasserstein 相对 KL 的报告 Avg. 高 1.56 分，空间关系高 3.83 分，但动态程度低 0.02 分。结论应是多项指标整体改善，而不是在每一项运动指标上都胜出。

关键发现¶

数据质量与损失设计分别有证据：等规模数据对照检验筛选，表 3 检验奖励损失，表 4 检验策略约束，三类比较不能混用。
收益可跨优化器迁移：表 5 在 Wan2.1-T2V-1.3B 上将原始奖励模型换成校准奖励模型后，DanceGRPO 的 Avg. 从 68.99 到 69.97，FlowGRPO 从 69.86 到 70.87。
原文图 4b 支持在其噪声设置下逐点训练比成对训练更稳定，但没有足够清晰的逐点数值可供可靠摘录，因此不补造曲线数据。

亮点与洞察¶

先区分“评分可靠”与“视频优秀”，再训练偏好模型。这让低分但一致的样本也能提供有效监督，而不是只用高分视频训练一个缺乏负面判断能力的评分器。
两处 Wasserstein 约束各有独立消融。数据校准、奖励表示和策略约束因而不是只有整体增益的组合包装，读者能辨认不同阶段的贡献。
等规模对照与跨优化器实验是可复用的实验设计。前者排除部分数据量因素，后者检验改进是否依赖某一个策略优化器。

局限与展望¶

偏好多样性风险：一致性筛选与代理重评分可能压制少数合理偏好。这是笔记基于方法提出的风险，可进一步保留原始评分分布或按偏好群体分别校准。
分布表示与实现细节不足：单点目标不能直接代表多峰分歧，正文也未充分规定奖励分布参数化、底层距离、传输求解及奖励聚合方式。后续需要明确这些对象，并与简单多维回归做更细的匹配对照。
评价规模有限：奖励模型仅在 100 对视频上评估，核心数值集中于两个维度，表格未提供重复试验误差。对于大范围泛化或小幅增益，应补充更大的独立人评与置信区间。
质量指标存在取舍：原文承认部分生成模型的主体一致性下降。改进方向不是继续只追求综合分数，而是报告运动与主体稳定性的联合表现，并评估分维度约束。
资源与独立性仍需验证：实验使用 8 张 H100，但没有充分量化最优传输额外开销；测试提示改写也不能代替数据去重。后续应报告计算成本和语义去重后的评测结果。

评分¶

新颖性: 4/5。把一致性校准、多维奖励与策略分布约束组织成完整流程，但各组成思想都有已有基础。
实验充分度: 3/5。有等规模对照、两阶段消融、三种生成基座与跨优化器测试，但奖励测试集小且缺少误差分析。
写作质量: 3/5。问题与流程清晰，分布建模和最优传输实现的定义仍不足以单靠正文复现。
价值: 4/5。突出偏好数据质量这一常被优化算法掩盖的因素，也提供了可检验的训练与评估设计。