⚖️ 对齐 / RLHF

🎞️ ECCV2026 · 6 篇论文解读

📌 同领域跨会议浏览： 📷 CVPR2026 (12) · 🔬 ICLR2026 (102) · 💬 ACL2026 (38) · 🧪 ICML2026 (37) · 🤖 AAAI2026 (17) · 🧠 NeurIPS2025 (36)

🔥 高频主题： 对齐/RLHF ×2

Don't Let the Video Speak: Audio-Contrastive Preference Optimization for Audio-visual Language Models

针对音视频语言模型（AVLM）"看着画面编声音"的跨模态幻觉，本文提出 ACPO：沿输出与输入两条正交轴构造偏好对——用音轨被替换的输入惩罚"用视觉字幕回答听觉问题"，并要求同一句回答在音轨被换掉后必须变得不再可信——只微调音频投影层，就把 AVHBench 音频幻觉 F1 从 79.0 提到 80.4、单模态音频字幕 CIDEr 从 33.0 提到 43.6。

D2PO: Optimizing Diffusion Samplers via Dynamic Preference

将扩散采样器参数优化从传统的固定教师回归范式重塑为直接偏好对齐问题，通过能量代理模型、预训练分数多尺度能量度量与动态自进阶教师机制，在极低采样步数下显著提升生成图像的感知质量与高频纹理。

HumanTracker: Towards Comprehensive and Human-Aligned Motion Tracking Benchmark

针对传统运动学指标与人类视觉感知严重脱节以及现有测试集规模小、缺乏接触挑战的问题，HumanTracker 构建了涵盖 150 小时、2.4 万段精细分类的光学动捕基准，并提出了基于 1.2 万对人类偏好数据训练的时序 Transformer 奖励模型 HumanScore，实现了高达 92.91% 的人类偏好预测对齐率。

Omni-RRM: Advancing Omni Reward Modeling via Automatic Rubric-Grounded Preference Synthesis

Omni-RRM 先用双教师共识合成带五维评分准则解释的偏好数据，再以 SFT→GRPO 学习跨图像、视频和音频的成对回答判别，使 7B 奖励模型的五基准平均准确率由骨干的 60.2% 提升到 70.4%，并能在不更新生成器参数的情况下改善候选回答选择。

Reward Modeling for Computer-Using Agent from Video Execution

针对计算机使用智能体（CUA）轨迹评估严重依赖手工规则或特定中间动作格式的问题，本文提出了基于无偏界面执行视频的奖励模型 ExeVRM，通过构建 53k 规模数据集 ExeVR-53k、对抗指令翻译合成负样本，以及无损关键微小 UI 变化的时空 Token 剪枝算法（STP+TTP），实现了在 720p 长程视频下超越 GPT-5.2 与 Gemini-3 Pro 的任务完成判定与精准首错时间归因。

VERTIGO: Visual Preference Optimization for Cinematic Camera Generation

首个将视觉偏好优化引入相机轨迹生成的后训练框架 VERTIGO，利用实时图形引擎（Unity）将 3D 相机路径渲染为 2D 预览帧，通过经过电影语料微调的 VLM 进行逆向描述与嵌入相似度打分，并借助 DPO 对齐镜头语言意图与构图质量，将拍摄目标脱幅率从 38.7% 骤降至 0.8%。