Controllable Multi-label Video Safety Detection via Adaptive Tversky Policy Optimization¶

会议: NeurIPS 2026
arXiv: 2610.02019
代码: https://bruceyg.github.io/ATPO-project-page/
领域: 视频理解
关键词: 视频安全检测, 多标签分类, 强化学习, 自适应策略优化, 精确率召回率权衡

一句话总结¶

针对现有视频安全检测局限于二分类且缺乏动态精度/召回权衡调控的问题，本文提出自适应 Tversky 策略优化（ATPO），通过引入反馈控制机制动态调整假阳性与假阴性惩罚，在多标签视频有害内容检测上实现显著的性能跃升与精准的类别级运行点控制。

研究背景与动机¶

短视频社交平台的爆发式增长加剧了用户暴露于有害视频内容的风险，构建高精度、可靠的自动化视频安全审核系统已成为行业刚需。随着视觉语言模型（VLM）在长视频理解与时序推理方面的突破，学术界与工业界开始将 VLM 引入视频异常检测与有害内容识别中。然而，现有的视频安全检测体系普遍存在两个根本性的痛点：一方面，主流方案通常将安全检测简化为粗粒度的二分类任务（即仅判定视频是否安全），将暴力、极端主义、色情、虚假信息等截然不同的危害性统一归入单一有害类别，忽视了真实场景中有害视频多维度语义重叠（如打架斗殴常伴随言语辱骂与极端行为）的多标签本质，无法为下游人工审核员提供可解释、细粒度的决策支持；另一方面，现有模型依赖于静态目标函数训练，其在推理时被固化在单一的精确率-召回率（Precision-Recall）平衡点上。

这种静态二分类机制与实际内容治理管道的异构策略需求之间存在严重的结构性矛盾。在工业级多阶段审核管线中，不同部署场景的风险容忍度差异巨大：例如面向未成年人保护的儿童护栏系统必须极大化召回率，以近乎零容忍的态度拦截一切潜在危害；而面向普通公众的常规审核系统则追求精度与召回的均衡，以避免过度误伤导致用户体验受损。更关键的是，不同有害类别本身的风险剖析具有高度异质性——对于虚假信息，误判会导致过度审查和侵犯言论自由，亟需高精确率；而对于暴力犯罪或极端主义恐怖内容，漏判会引发不可逆的严重社会危害，必须强行压高召回率。现存方法在训练后只能靠静态阈值或启发式规则做微调，无法在统一模型内部为不同有害类别自适应定制差异化的精度-召回权衡策略。

本文的切入角度是：借鉴现代控制理论中的动态负反馈调节思想，将多标签强化的惩罚权重与模型实时产生的错误统计量建立闭环联动，让策略在强化学习探索中动态调整对不同类别的假阳性（FP）与假阴性（FN）惩罚。核心 idea：提出自适应 Tversky 策略优化（ATPO），在多标签 GRPO 框架下构建自适应 Tversky 奖励（ATR），利用指数移动平均实时追踪类别的错误类型比率并驱动对数比例反馈控制器，实现全局及类别级可控的精确率-召回率连续调控。

方法详解¶

整体框架¶

ATPO 旨在通过后训练强化学习使 VLM 获得高精度的多标签有害视频识别能力，同时赋予检测模型根据外部策略需求自由调节 precision-recall 运行点的可控性。系统的输入为一个包含时序帧的视频 $v$ 与结构化检测指令 $x$，输出为预定义不安全类别集合 $\mathcal{C} = \{c_1, \dots, c_K\}$ 的预测子集 $P \subseteq \mathcal{C}$。整体流程分为两阶段：首先在基座 VLM 上采用真实多标签标注进行监督微调（SFT）预热，建立多标签有害语义的基线表达；随后进入自适应强化学习阶段，以分组相对策略优化（GRPO）为引擎，在训练循环中引入统计追踪与闭环控制器，动态更新奖励函数的 Tversky 惩罚系数。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入视频与检测指令<br/>v, x"] --> B["监督微调预热<br/>多标签分类对齐"]
    B --> C["GRPO 采样多路预测<br/>{y_j} 生成候选标签集 {P_j}"]
    C --> D["自适应 Tversky 奖励计算<br/>动态 α, β 调节的 ATR 赋值"]
    D --> E["GRPO 组内优势归一化与策略更新<br/>优化 VLM 主干参数 θ"]
    E --> F["滑动统计与闭环控制更新<br/>EMA 误差追踪驱动对数比例控制器"]
    F -->|反馈更新步长 t+1 系数| D
    E --> G["输出可控多标签预测<br/>P ⊆ C 满足指定精度召回策略"]

关键设计¶

1. 监督微调预热：多标签有害语义对齐 针对通用 VLM 对具体安全政策法规与有害类别边界缺乏精准先验的问题，ATPO 首先执行 SFT 预热。该阶段抛弃了传统长链式思维（CoT）推理带来的开销与潜在幻觉，直接以多标签分类目标指导模型学习从输入视频到标准安全分类集合映射的判别能力。为保证时序建模的全面性，输入视频按 1 FPS 均匀采样且不强制固定帧数上限，经动态分辨率变换后送入模型。在这一阶段，模型参数采用 LoRA 高效微调，使模型建立对全部有害类别的基础感知能力，为后续多标签强化探索提供稳定且合理的策略初始化点。

2. GRPO 采样与多标签重叠奖励建模：打破二分类与稀疏奖励瓶颈 在进入强化阶段后，模型接收检测指令并针对每个样本在组内并发采样生成 $N$ 个输出预测 $\{y_j\}_{j=1}^N$，每个输出解析出预测标签子集 $P_j$。为了指导模型进行细粒度的多标签判别，首先面临奖励函数形式的选择：传统的精确匹配（Exact Match）奖励只在 $P_j = G$ 时给予奖励 1，信号过于稀疏且严格，对具有部分重叠正确性的预测缺乏梯度牵引；而标准的 Jaccard 相似度（IoU）将假阳性（FP）与假阴性（FN）置于完全对称的惩罚地位，无法应对非对称成本需求。ATPO 建立在广义 Tversky 相似性度量基础上，将预测集合与真实标注集合 $G$ 的重叠质量形式化为： $$TP = |P \cap G|, \quad FP = |P \setminus G|, \quad FN = |G \setminus P|$$ 引入静态 Tversky 奖励（STR）： $$\mathcal{R}_{\alpha, \beta}^{\text{STR}}(P, G) = \frac{TP}{TP + \alpha FP + \beta FN}$$ 当 $\alpha = \beta = 1$ 时退化为 Jaccard 奖励；增加 $\alpha$ 会对 FP 施加更重惩罚（驱使模型更关注精确率），增加 $\beta$ 会对 FN 施加更重惩罚（驱使模型更关注召回率）。但在实际训练中，静态固定系数 $(\alpha, \beta)$ 极易因采样分布变化和类别不平衡导致优化震荡或脱靶。

3. 滑动统计与闭环控制更新：自适应 Tversky 奖励（ATR）机制 为了让模型自主、可控地逼近用户预期的运行平衡点，ATPO 引入控制理论中的误差负反馈循环，构建自适应 Tversky 奖励（ATR）。ATR 包含全局版本（G-ATR）与类别感知版本（C-ATR）。以精细化的 C-ATR 为例，控制器为每个类别 $c \in \mathcal{C}$ 独立维护状态变量与惩罚系数 $(\alpha_{t,c}, \beta_{t,c})$。在每个训练步 $t$，系统聚合当前 batch 内所有采样输出关于各类的统计计数： $$TP_{t,c} = \sum_i \mathbf{1}[c \in P_i \cap G_i], \quad FP_{t,c} = \sum_i \mathbf{1}[c \in P_i \setminus G_i], \quad FN_{t,c} = \sum_i \mathbf{1}[c \in G_i \setminus P_i]$$ 为了消除单 batch 采样带来的高频随机噪声，利用指数移动平均（EMA）追踪平滑后的错误量（平滑因子 $\lambda \in [0, 1)$）： $$FP_{t,c}^{\text{ema}} = \lambda FP_{t-1,c}^{\text{ema}} + (1 - \lambda) FP_{t,c}, \quad FN_{t,c}^{\text{ema}} = \lambda FN_{t-1,c}^{\text{ema}} + (1 - \lambda) FN_{t,c}$$ 进而计算出当前观测到的假阴性/假阳性错误比率（Error Type Ratio, ETR）： $$r_{t,c} = \frac{FN_{t,c}^{\text{ema}} + \varepsilon}{FP_{t,c}^{\text{ema}} + \varepsilon}$$ 控制器将其与用户指定的类别目标比率 $r_c^*$ 对比，计算对数空间的控制误差 $e_{t,c}$，并沿步长 $\eta$ 递推更新潜变量 $u_{t,c}$： $$e_{t,c} = \log r_{t,c} - \log r_c^*, \quad u_{t+1,c} = u_{t,c} + \eta e_{t,c}$$ 为了在调整偏置的同时固定奖励函数的整体尺度并自然保持中性基准（$\alpha + \beta = 2$），求解约束 $\log(\beta_{t+1,c}/\alpha_{t+1,c}) = u_{t+1,c}$，得到解析的下步系数： $$\alpha_{t+1,c} = 2(1 - \sigma(u_{t+1,c})), \quad \beta_{t+1,c} = 2\sigma(u_{t+1,c})$$ 在微观汇总下计算步级奖励： $$R_t^{\text{C-ATR}} = \frac{\sum_c TP_{t,c}}{\sum_c (TP_{t,c} + \alpha_{t,c} FP_{t,c} + \beta_{t,c} FN_{t,c})}$$ 若模型产生过多漏报（$FN$ 增加，导致 $r_{t,c} > r_c^*$），误差 $e_{t,c} > 0$ 推动 $u$ 增大，Sigmoid 输出使 $\beta$ 自适应调高、$\alpha$ 调低，从而对后续 step 强化对假阴性的惩罚，促使策略迅速提升召回；反之亦然。整个网络在反馈闭环驱动下，平滑自适应地收敛至既定的异构精度-召回配置。

损失函数 / 训练策略¶

ATPO 采用 GRPO 策略梯度优化。对于输入样本 $\mathbf{x} = (x, v)$，当前旧策略模型 $\pi_{\theta_{\text{old}}}$ 采样出的 $N$ 个输出 $\{y_j\}_{j=1}^N$ 计算得到各自奖励 $R_j$。组内归一化优势计算为： $$A_j = \frac{R_j - \text{mean}(\{R_1, \dots, R_N\})}{\text{std}(\{R_1, \dots, R_N\})}$$ 策略更新损失函数结合了 PPO-clip 截断与相对参考策略 $\pi_{\text{ref}}$（SFT 初始化检查点）的 KL 散度约束： $$\mathcal{L}_{\text{G}}(\theta) = -\frac{1}{N}\sum_{j=1}^N \left[ \min\left( \frac{\pi_\theta(y_j \mid \mathbf{x})}{\pi_{\theta_{\text{old}}}(y_j \mid \mathbf{x})} A_j, \text{clip}\left(\frac{\pi_\theta(y_j \mid \mathbf{x})}{\pi_{\theta_{\text{old}}}(y_j \mid \mathbf{x})}, 1-\epsilon, 1+\epsilon\right) A_j \right) - \beta' D_{\text{KL}}(\pi_\theta \,\|\, \pi_{\text{ref}}) \right]$$ 其中采样组大小 $N=8$，KL 正则化权重 $\beta' = 10^{-2}$，PPO 截断参数 $\epsilon=0.2$。控制器参数配置为 EMA 平滑因子 $\lambda=0.95$，步长 $\eta=0.01$，数值稳定性常数 $\varepsilon=10^{-8}$。模型在 4 块 NVIDIA H800 (80GB) 上采用 BF16 混合精度完成 3 个 epoch 的强化训练。

实验关键数据¶

主实验¶

在 SafeWatch-Bench-Real（820个真实测试视频，包含6类安全危害）与 XD-Violence（800个包含打架、枪击、暴乱等6类暴力的长视频）两大权威视频安全基准上，将 ATPO 模型（基于 Qwen2.5-VL-7B 和 Qwen3-VL-8B 主干）与开源前沿通用 VLM、视频推理强化模型以及专用安全护栏模型进行全面性能对比。

模型	SafeWatch Jaccard	SafeWatch Micro-F1	SafeWatch Macro-F1	SafeWatch Binary-F1	XD-Violence Jaccard	XD-Violence Micro-F1	XD-Violence Binary-F1
Qwen2.5-VL-7B (零样本)	40.66	42.17	28.74	65.94	76.54	72.29	90.21
Qwen2.5-VL-32B (零样本)	41.66	43.60	32.11	64.63	77.69	73.28	91.85
Qwen3-VL-8B (零样本)	48.69	52.45	40.32	77.76	81.46	77.15	94.76
Qwen3-VL-235B-A22B	55.85	62.10	56.83	80.29	82.53	78.03	95.36
InternVL3.5-38B	60.61	64.05	53.55	85.80	83.38	79.59	93.59
Video-R1 (7B)	39.99	39.73	23.98	66.07	76.60	72.55	90.37
VideoChat-R1 (7B)	44.20	47.47	33.99	75.02	72.62	66.82	89.31
SafeWatch-8B (专用护栏SOTA)	70.69	73.15	71.37	89.04	79.84	77.19	86.80
ATPO-G-7B (本文)	75.44	77.25	76.10	94.82	88.17	85.24	96.69
ATPO-C-7B (本文)	75.15	77.42	76.61	95.25	87.60	84.51	95.59
ATPO-G-8B (本文)	75.50	77.08	75.25	95.22	85.93	82.82	94.59
ATPO-C-8B (本文)	74.63	77.19	76.09	93.79	86.60	83.30	95.75

消融实验¶

在相同主干模型（Qwen2.5-VL-7B）和统一 SFT-1ep 检查点初始化下，系统对比了 SFT 扩展轮次、不同静态强化奖励（Exact Match 与 STR）以及自适应 Tversky 奖励（G-ATR 与 C-ATR）在真实视频（Real）与生成式视频（GenAI）测试集上的泛化表现。

训练配置 / 优化目标	Real Jaccard	Real Micro-F1	Real Binary-F1	GenAI Jaccard	GenAI Micro-F1	GenAI Binary-F1	说明
Zero-shot (基座直接推理)	40.66	42.17	65.94	47.18	43.30	75.54	初始未微调状态
SFT-1ep (RL 共享初始权重)	44.33	44.73	63.53	66.34	71.40	90.20	1 轮 SFT 预热检查点
SFT-3ep (扩展 SFT 训练)	67.93	72.89	92.02	62.32	70.49	87.86	延长 SFT 导致 GenAI 上泛化掉点 (-4.02)
GRPO (Exact Match 稀疏奖励)	63.36	67.59	92.30	62.23	68.84	89.48	奖励过于稀疏，仅提升至 63.36
GRPO (STR 静态 Tversky $\alpha=\beta=1$)	70.09	72.27	93.97	69.12	73.79	91.12	连续重叠奖励，但静态无法调控平衡
ATPO-G (全局自适应奖励)	75.44	77.25	94.82	74.29	76.24	93.30	全指标显著领先；GenAI 达到 74.29
ATPO-C (类别感知自适应奖励)	75.15	77.42	95.25	73.35	74.30	94.05	在 Real 上取得最优 Micro/Binary-F1

关键发现¶

多标签优化对通用视频推理能力的超越：实验显示，单纯经过通用时序推理 RL 微调的模型（如 Video-R1 和 VideoChat-R1）在多标签安全检测上收效甚微（Jaccard 仅 39.99 和 44.20），甚至不如百亿级通用模型（InternVL3.5-38B 达到 60.61）。这证明多标签视频安全检测存在高度专业化的语义重叠判定难度，必须依赖领域针对性的多标签目标函数设计。
动态自适应奖励彻底击败静态惩罚与扩展 SFT：延长 SFT 训练（SFT-3ep）虽然使 Real 集合得分提升至 67.93，但在 GenAI 集合上严重过拟合回落至 62.32，跨数据集 VHD11K 上也出现衰退。相比之下，ATPO-G 与 ATPO-C 在两者上同时取得稳步提升（Real Jaccard 提升至 75.44，GenAI 提升至 74.29），展现出优秀的域泛化能力；相对静态 STR 强化，自适应调整分别斩获了超过 5 个百分点的绝对增益。
单向单调的可控精度-召回调节机制：通过调节目标比率 $r^*$，G-ATR 能以连续单调的方式从高召回向高精度平滑过渡。在 $r^* \in [0.2, 5.0]$ 变化时，实际达成的 Micro Precision 从 66.33% 上升至 78.56%，而 Recall 从 86.55% 降至 67.62%，错误类型比率（ETR=FN/FP）完美由 0.31 单调上升至 1.75。相反，传统的静态 STR 在改变 $\alpha/\beta$ 时，其 precision 与 recall 的演化轨迹呈现剧烈的非单调振荡，根本无法胜任精准策略调控。
解耦的类别级独立调控能力：在类别感知 C-ATR 实验中，针对虚假信息（C4，要求高精度防止误伤）与极端主义（C6，要求高召回防止遗漏）分别设置非对称目标目标 $(r_4^*=5.0, r_6^*=0.2)$，模型成功将 C4 的精度由 55.28% 提至 70.41%，同时将 C6 的召回率由 79.07% 飙升至 94.57%（ETR 压至 0.03），而其余未调整目标的 4 个类别保持了良好的自然平衡，证实各类别控制器能够独立且精准地实现政策导向调谐。

亮点与洞察¶

将控制理论中的负反馈思想引入多标签强化学习：将 Tversky 相似度度量中的权重参数从静态超参解耦为由实时观测误差驱动的状态变量，以极具可解释性的对数比率误差闭环修正策略探索方向，为后训练强化设计提供了全新视角。
化解了“过拟合SFT”与“不可控静态RL”的两难困境：不仅彻底消除了多标签任务中因正负样本极端失衡造成的优化漂移，更打破了以往模型必须在推理期依赖外部阈值裁剪或暴力重训的局限，在统一模型结构内实现了原生且端到端的政策适配能力。
可复用的迁移价值：ATR 闭环控制器对损失项权重的动态反向校准范式，不仅限于视频安全治理，更可直接泛化至医疗多病种影像辅助诊断、工业级多缺陷视觉检测及金融反欺诈多类型风险研判等各类正负样本成本极不对称的多标签场景中。

局限与展望¶

作者承认的局限：模型所依赖的安全类别划分依赖于现有学术评测基准（如 SafeWatch 与 XD-Violence）的定义，而在现实复杂的全球化部署中，虚假信息、仇恨言论或极端主义的定义随着不同国家、文化语境及法律管辖区的演变存在较大语义漂移；此外，目标比率 $r_c^*$ 需结合业务线由人工专家在验证集上离线调试与标定，无法直接自主感知外部法律策略的实时变更。
实验设计局限：在时序帧处理上受限于算力成本，视频帧采用固定 1 FPS 均匀采样，对于极短瞬间发生的隐蔽危害（如单帧穿插的闪烁色情画面或极快速凶器突刺）可能存在由于时序下采样引起的漏检；同时控制器目前采用标量步长 $\eta$ 的积分型控制，在面对极度长尾罕见的类别（如 XD-Violence 中仅占 2.2% 的 Abuse）时，统计量 EMA 需要更长的预热周期才能平稳收敛。
改进思路：后续可探索将自适应控制器与自适应时序采样机制（如感知引导的关键帧定位）相结合，提升对瞬态有害动作的捕捉精度；同时将比例-积分-微分（PID）全控制器架构引入状态更新方程，引入导数项有效抑制大步长下的参数超调震荡。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将控制理论误差负反馈与 Tversky 相似性度量相结合，构建了可实现精准类别级精度-召回连续可控的多标签视频安全 RL 调优框架。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖两大经典基准、两种先进 VLM 主干、对比了多款前沿大模型与专用安全护栏，并深度消融了静态与自适应奖励、步长动力学、跨域迁移以及类别级可控性。
写作质量: ⭐⭐⭐⭐⭐ 论文动机清晰明确，数学公式推导扎实连贯，问题拆解与系统架构图呈现直观且具有极高逻辑性。
价值: ⭐⭐⭐⭐⭐ 为现代多阶段内容审核平台与差异化风险管线提供了极为关键的技术基座，在学术研究与工业落地两侧均具备重大实用价值。