PeCA: Palette Context Assisted Inference for Test-Time Paint-Bucket Colourisation on Animation Videos¶
会议: ECCV 2026
论文: ECCV 2026
项目主页: https://rathgrith.github.io/PeCA/
领域: 其他
关键词: 动画视频上色, 油漆桶填色, 区域对应, 测试时推理, 调色板上下文
一句话总结¶
针对传统基于区域匹配的动画油漆桶上色在视点变化与细小碎片下面临的歧义匹配瓶颈，PeCA 提出了一种免训练、即插即用的测试时推理框架，通过目标条件引导的主动参考图扩展、Top-k 软投票调色板概率聚合以及循环一致性门控时序融合，在无需重新训练骨干网络的前提下显著提升了动画视频上色的准确率与时序一致性。
研究背景与动机¶
手绘动画上色并非不受约束的普通图像生成任务。在工业级动画流水线中，每个线稿封闭区域的填充色彩必须严格遵循赛璐璐设定集（Design Sheets）中预定义的离散调色板，并且即便角色发生复杂形变、遮挡以及线稿布局剧烈变化，上色也绝不允许跨越墨线边界溢色。现有的像素级生成方法（包括最新的 DiT 架构模型）虽然能生成视觉上赏心悦目的画面，但往往出现墨线溢色、混色或偏离标准色板等致命缺陷，无法直接用于工业制作。因此，工业界更加青睐基于区域分割的油漆桶上色方案（Paint-Bucket Colourisation），即先将线稿分割为闭合区域，再通过计算目标区域与参考帧（如彩色设定集或关键帧）之间的视觉相似度建立对应关系并传递离散颜色标签。
然而，现存的区域匹配上色方案在实际应用中极易因局部特征歧义而崩溃。特别是当镜头切换、姿态变化较大，或者遇到被遮挡的细长碎片区域时，目标区域在孤立状态下的特征表达极为脆弱，多个参考区域会呈现出高度接近但实际上错误的相似度得分。由于以往方法依赖孤立的 Top-1 匹配或缺乏全局调色板约束的特征检索，这种局部误匹配会直接导致严重的色块错误。更严重的是，以往研究发现单纯增加参考图像数量在超过一定限度后收益迅速饱和，盲目扩充候选池反而引入了大量高相似度的视觉干扰项（Distractors）。
人类画师在识别局部色块时往往依赖全局与时序语境：一方面借助相似视角的参考图构建空间上下文，另一方面利用视频相邻帧的连续性进行交叉验证。受此启发，本文不改变底层特征提取网络，而是从测试时推理（Test-Time Reasoning）的角度切入。核心 idea：将孤立的区域相似度匹配重塑为显式的调色板概率推断，在测试时协同利用目标引导的主动参考图视角扩展、Top-k 软投票概率聚合与双向循环一致性时序门控融合，使动画上色在免训练的前提下获得全局空间与时序上下文支持。
方法详解¶
整体框架¶
PeCA 作为一个即插即用的推理增强框架，适用于任何基于特征匹配的上色模型（既兼容在动画上色任务上微调过的 DACoN，也完全兼容冻结的通用基础模型如 DINOv2、SAM 2.1 等）。给定包含 \(T\) 个线稿帧的目标视频序列 \(\{I_t\}_{t=1}^T\)，每帧预先分割为闭合区域集合 \(S_t = \{s_{t,i}\}_{i=1}^{N_t}\)；同时提供包含彩色设定图或关键帧的参考集 \(R\)，其中每个参考区域 \(s_j^{(r)}\) 已标注来自离散调色板 \(C = \{c_1, \dots, c_{|C|}\}\) 的真实颜色标签 \(y_j^{(r)}\)。
系统整体流程分为三个串联阶段：首先通过主动参考图扩展从几何变换候选池中贪心选取覆盖目标视频特征空间最佳的参考视角；接着提取目标区域与扩充参考库中各区域的密集特征并池化为区域向量，计算余弦相似度后通过 Top-k 软投票将候选匹配投射为调色板离散类别概率分布；最后沿着相邻帧之间经过双向循环一致性校验的可靠对应链接，进行前后向双向时序概率更新与归一化。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入目标线稿视频与参考设定集"] --> B["主动参考图扩展<br/>几何增强池构建与贪心设施选址"]
B --> C["候选投票调色板概率聚合<br/>Top-k 过滤与温度系数软投票"]
C --> D["循环一致性时序特征门控<br/>双向最近邻验证与连乘概率更新"]
D --> E["输出各区域调色板最终颜色判定"]关键设计¶
1. 主动参考图扩展：以设施选址优化平衡视角覆盖度与干扰项风险 单纯增加参考视角虽能提高目标区域找到接近姿态的概率，但无限制地注入测试时数据增强视角会成倍放大候选池规模，增加引入高相似度干扰项（Distractors）的概率，使孤立匹配更加不稳定。为了在严格受控的计算预算下最大化有效空间上下文，PeCA 引入了主动参考图扩展（Active Reference Expansion, ARE）。首先对基础参考图 \(V_0\) 施加翻转、旋转、仿射等几何变换生成规模为 \(|V_{\text{aug}}| = mB\) 的候选视角池。随后，定义每个候选视角 \(v \in V_{\text{aug}}\) 对目标帧时序采样集合 \(T_s\) 中目标区域 \((t, i)\) 的支持度为其区域内最大余弦相似度： $\(\text{score}_v(t, i) = \max_{1 \le j \le N_v} \langle \bar{f}_{t,i}, \bar{f}_j^{(v)} \rangle\)$ 为了挑选出总预算为 \(B\) 个最佳支持视角的子集 \(V \subseteq V_{\text{aug}}\)，算法构建了一个基于设施选址（Facility Location）的单调次模目标函数： $\(F(V) = \sum_{t \in T_s} \sum_{i=1}^{N_t} \max_{v \in V} \text{score}_v(t, i), \quad \text{s.t.} \quad |V| = B\)$ 利用贪心算法在保证 \((1 - 1/e)\) 近似比的前提下完成子集筛选。该优化在每个目标视频上仅需执行一次，使构建出的支持库 \(V_0 \cup V\) 既强化了针对当前视频姿态的视角覆盖，又将无关干扰项的暴露程度降至最低。
2. 候选投票调色板概率聚合：将离散匹配转化为调色板连续置信度 在多参考图设置下，目标区域天然会与多个视角的参考区域产生较高相似度。以往 Baseline 直接选取全局 Top-1 对应区域的颜色标签，极易被偶发的伪对应（Spurious Correspondence）带偏；而全局线性加权混合又会导致弱相关候选稀释预测置信度。PeCA 设计了面向离散调色板的 Top-k 软投票机制（Probability Aggregation, PA）。对每个目标区域 \((t, i)\)，仅截取相似度排名前 \(k\) 的参考候选区域集合 \(N_k(t, i)\)，引入温度参数 \(\tau \in (0, 1]\) 计算局部归一化匹配权重： $\(p_{t,i}(r, j) = \frac{\exp(S_{(t,i),(r,j)} / \tau)}{\sum_{(r', j') \in N_k(t, i)} \exp(S_{(t,i),(r',j')} / \tau)}, \quad (r, j) \in N_k(t, i)\)$ 将上述匹配权重直接向有限离散调色板空间 \(C\) 进行投票累加，得到目标区域在固定维度概率单纯形 \(\Delta^{|C|}\) 上的颜色概率分布： $\(P_{t,i}(c) = \sum_{(r, j) \in N_k(t, i)} p_{t,i}(r, j) \cdot \mathbb{I}[y_j^{(r)} = c], \quad c \in C\)$ 这一设计将不可跨帧比较的“区域-区域”特征相似度转化为共享调色板空间中具有物理意义的概率分布，既通过群体一致性压制了单个候选区域的误匹配，又为跨帧时序融合提供了标准化的概率接口。
3. 循环一致性时序门控融合：双向自验证驱动的可靠颜色置信度传递 动画视频在时间序列上具备固有的连续性，相邻帧间的局部外貌差异通常远小于参考图与目标帧间的跨域差异。当目标区域与参考图直接匹配困难时，相邻帧可以充当传递跳板。然而，帧间剧烈运动也可能导致错误的帧间匹配，若盲目融合会导致单帧错误迅速向整条视频蔓延。为此，PeCA 提出了循环一致性门控时序融合（Cyclic-gated Temporal Fusion, CT）。在相邻帧区域特征相似度矩阵 \(A_t[i, j] = \langle \bar{f}_{t,i}, \bar{f}_{t-1,j} \rangle\) 基础上，计算前向最近邻匹配 \(\pi_t(i) = \arg\max_j A_t[i, j]\) 与后向反查匹配 \(\rho_t(j) = \arg\max_i A_t[i, j]\)。仅当满足双向闭环循环稳定条件时才建立时序通道： $\(\rho_t(\pi_t(i)) = i\)$ 对于通过门控检验的稳定时序连接，通过连乘运算融合相邻帧的调色板颜色概率分布并进行归一化： $\(\tilde{P}_{t,i}(c) \propto P_{t,i}(c) \cdot P_{t-1,\pi_t(i)}(c), \quad P_{t,i} \leftarrow \text{Normalize}(\tilde{P}_{t,i})\)$ 整个时序融合采用前向扫描（\(t=2 \to T\)）与后向扫描（\(t=T-1 \to 1\)）的双向扫荡策略。两轮扫描互为补充，高效利用不同时间步已有的高质量调色板置信度消解难例歧义。
损失函数 / 训练策略¶
PeCA 属于完全免训练（Training-free）的测试时推理算法，全流程无需反向传播梯度或微调网络权重。在特征提取上直接沿用对应骨干模型（如 DACoN 1.1 的专用权重，或冻结的 DINOv2 ViT-L/14、SAM 2.1-Large、SigLIPv2 等通用特征），通过掩码平均池化（Average Pooling）获得区域嵌入。推理超参数全局固定为：Top-k 候选数 \(k = 64\)，软投票温度系数 \(\tau = 0.05\)，扩展视角预算 \(B = 31\)，候选池放大因子 \(m = 4\)。
实验关键数据¶
主实验¶
论文在标准动画评测基准 PaintBucket-Character (PBC-3D, 3,000测试帧)、手绘实景短片 PaintBucket-Real (PBC-Real, 200帧) 以及全新构建的复杂手绘长镜头基准 Anita-Pirate (206帧，帧均约140个复杂分割碎片) 上展开了全面评测。评测指标涵盖区域准确率 Acc、大区域准确率 Acc-Thresh (>10像素)、像素准确率 Pix-Acc、前景像素准确率 Pix-F-Acc 以及背景平均交并比 Pix-B-MIoU。
| 任务协议与基准 | 骨干模型 / 方案 | 免训练状态 | Acc (%) | Acc-Thresh (%) | Pix-Acc (%) | Pix-F-Acc (%) | Pix-B-MIoU (%) |
|---|---|---|---|---|---|---|---|
| PBC-3D 单视角设定集 | BasicPBC-Ref [6] | 需训练 | 52.55 | 56.73 | 90.53 | 72.33 | 94.56 |
| PBC-3D 单视角设定集 | DACoN 1.1 [23] | 需训练 | 68.01 | 72.87 | 96.97 | 91.03 | 99.11 |
| PBC-3D 单视角设定集 | DACoN 1.1 + PeCA | 需训练 (推理增强) | 72.04 (+4.03) | 77.08 (+4.21) | 97.90 (+0.93) | 94.04 (+3.01) | 99.42 (+0.31) |
| PBC-3D 单视角设定集 | SAM2.1-Large (Base) | 是 | 34.54 | 38.95 | 86.76 | 54.12 | 88.37 |
| PBC-3D 单视角设定集 | SAM2.1-Large + PeCA | 是 | 46.65 (+12.11) | 49.92 (+10.97) | 88.70 (+1.94) | 66.96 (+12.84) | 96.70 (+8.33) |
| PBC-3D 单视角设定集 | DINOv2 ViT-L/14 (Base) | 是 | 57.49 | 61.86 | 95.35 | 87.24 | 97.45 |
| PBC-3D 单视角设定集 | DINOv2 ViT-L/14 + PeCA | 是 | 61.38 (+3.89) | 65.58 (+3.72) | 96.25 (+0.90) | 89.31 (+2.07) | 98.62 (+1.17) |
| Anita-Pirate 长镜头首尾插帧 | BasicPBC [7] | 需训练 | 28.54 | 28.97 | 88.52 | 39.77 | 96.63 |
| Anita-Pirate 长镜头首尾插帧 | DACoN 1.1 [23] | 需训练 | 38.16 | 39.36 | 94.29 | 61.65 | 99.16 |
| Anita-Pirate 长镜头首尾插帧 | DACoN 1.1 + PeCA | 需训练 (推理增强) | 41.24 (+3.08) | 42.16 (+2.80) | 94.29 (+0.00) | 62.78 (+1.13) | 99.43 (+0.27) |
| Anita-Pirate 长镜头首尾插帧 | DINOv2 ViT-L/14 (Base) | 是 | 28.55 | 29.30 | 93.06 | 53.88 | 99.40 |
| Anita-Pirate 长镜头首尾插帧 | DINOv2 ViT-L/14 + PeCA | 是 | 31.01 (+2.46) | 31.81 (+2.51) | 93.39 (+0.33) | 57.18 (+3.30) | 99.49 (+0.09) |
消融实验¶
在 PBC-3D 单设定集参考协议下，对 PeCA 各组件逐步叠加的消融结果如下表所示（ARE 为主动参考图扩展，PA 为概率聚合投票，CT 为循环一致性时序融合）：
| 骨干网络 | ARE 模块 | PA 模块 | CT 模块 | Acc (%) | Acc-Thresh (%) | Pix-Acc (%) | Pix-F-Acc (%) | Pix-B-MIoU (%) |
|---|---|---|---|---|---|---|---|---|
| DACoN 1.1 | ✗ | ✗ | ✗ | 68.01 | 72.87 | 96.97 | 91.03 | 99.11 |
| DACoN 1.1 | ✓ | ✗ | ✗ | 69.04 | 74.02 | 97.22 | 91.67 | 99.24 |
| DACoN 1.1 | ✗ | ✓ | ✗ | 70.61 | 75.40 | 97.43 | 92.52 | 99.28 |
| DACoN 1.1 | ✗ | ✗ | ✓ | 70.30 | 75.27 | 97.21 | 92.47 | 99.38 |
| DACoN 1.1 | ✓ | ✓ | ✗ | 69.02 | 74.07 | 97.19 | 91.68 | 99.26 |
| DACoN 1.1 (Full) | ✓ | ✓ | ✓ | 72.04 | 77.08 | 97.90 | 94.04 | 99.42 |
| DINOv2 ViT-L/14 | ✗ | ✗ | ✗ | 57.49 | 61.86 | 95.35 | 87.24 | 97.45 |
| DINOv2 ViT-L/14 | ✓ | ✗ | ✗ | 58.74 | 63.43 | 95.96 | 88.14 | 98.57 |
| DINOv2 ViT-L/14 | ✗ | ✓ | ✗ | 60.64 | 64.66 | 95.94 | 88.32 | 98.60 |
| DINOv2 ViT-L/14 | ✗ | ✗ | ✓ | 58.68 | 62.35 | 94.56 | 84.52 | 97.99 |
| DINOv2 ViT-L/14 | ✓ | ✓ | ✗ | 58.51 | 63.29 | 95.89 | 88.08 | 98.52 |
| DINOv2 ViT-L/14 (Full) | ✓ | ✓ | ✓ | 61.38 | 65.58 | 96.25 | 89.31 | 98.62 |
此外，在内部模块设计的消融对比中： 1. ARE 视角选择机制：在 SAM2.1-Large 上，贪心设施选址优化使得 Acc 达到 50.69%（Acc-Thresh 54.59%），显著优于相同数量预算下的随机视角选择（Acc 47.90%）。 2. CT 循环一致性门控：在 SAM2.1-Large 上，若关闭循环一致性门控（直接无条件融合最近邻时序帧），Acc 会骤降至 45.92%（Acc-Thresh 49.11%），甚至低于仅开启 ARE 的基线，证明严格双向门控对阻断误差雪崩至关重要。
关键发现¶
- 免训练基础模型的提升幅度显著大于微调模型：在 PBC-3D 单图设定集任务上，PeCA 为未在动画上色任务上微调过的 SAM2.1-Large 带来了高达 +12.11% 的区域准确率提升（34.54% \(\to\) 46.65%），前景像素准确率暴涨 +12.84%；为 DINOv3 ConvNeXT-L 带来 +10.98% 提升。这表明基础视觉模型的表征本身极具潜力，过去的性能劣势主要源于孤立检索时的歧义干扰，而 PeCA 的测试时上下文推理恰好补齐了这一短板。
- 参考类型决定空间扩展与时序融合的收益重心：当以设定集为参考时，参考图与目标视频存在较大的姿态与布局形变，空间扩展（ARE）贡献更显著；而在同视频首帧参考协议下，由于帧间天然连续且外观间隙较小，时序融合（CT）的增益占据主导地位。
- 各组件协同存在互锁增益：单独引入 ARE 时性能提升相对有限（如 DACoN 仅提升约 1%），因为增加视角不可避免地带来了干扰匹配；只有在与软投票概率聚合（PA）结合后，利用 Top-k 置信度约束将分散证据汇总至调色板空间，才能完全释放视角扩展带来的收益。
亮点与洞察¶
- 将特征层面的多视角匹配抽象至调色板概率空间：传统多参考图像方法受困于不同图像间区域数量与特征维度的不匹配，PeCA 巧妙地以离散颜色调色板作为统一纽带，将图像间的复杂对应降维为同一概率单纯形上的软投票与时序贝叶斯式更新。
- 设施选址在测试时视角增强中的高效剪枝：将几何数据增强与次模设施选址优化结合，改变了传统 TTA 盲目扩增候选导致的特征空间拥挤问题，以极其微小的计算代价实现了“缺什么视角就补什么视角”的目标自适应裁剪。
- 极具实用价值的免训练工程特性：完全脱离了特定神经网络架构的训练依赖，无需保存沉重的模型断点或微调适配层，具备极佳的通用性和模块插入能力，可直接部署在已有的商业化动画生产管线中。
局限与展望¶
- 线稿漏墨（Line Leakage）引发的分割缺陷不可逆：油漆桶上色的前置条件是洪泛填充（Flood Fill）能获得精确的封闭闭合区域。一旦手绘线稿出现断线导致连通区域泄露，PeCA 的区域池化特征就会混合多个语义部位，导致整块区域被染成单一错误颜色。
- 调色板闭环假设限制了缺失颜色的处理能力：算法假设目标视频所需的所有颜色均在参考图的离散调色板中出现过。如果目标视频中包含未在设定集中出现的崭新角色部件、特殊光影色块或道具颜色，该方法无法像生成模型那样合理“脑补”，只能在既有调色板中强行指派。
- 未来方向：探索交互式或开环参考扩展机制，将画师修正反馈、文本驱动的局部视角生成与检索动态纳入候选图谱中，在保持调色板严格约束的同时突破固定视角的边界。
相关工作与启发¶
- vs BasicPBC / BasicPBC-Ref [6, 7]: BasicPBC 显式建立了区域包含匹配（Inclusion Matching）图规则，但极度依赖同视频前后帧的拓扑重叠，难以应对设定集大幅度的非刚性姿态漂移。PeCA 在保持离散区域分配的前提下，通过特征级主动视角扩展与调色板概率聚合打破了对密集时序重叠的强假设。
- vs DACoN [23]: DACoN 引入 DINO 基础模型特征进行油漆桶匹配并在动画数据集上进行专门训练，但其决策依然基于每个区域独立的 Top-1 距离检索，容易在多视角干扰项下迷失。PeCA 针对其检索决策层构建上下文辅助，不仅使得微调后的 DACoN 性能进一步突破，更让冻结的未经训练模型逼近甚至赶超专用微调基线。
- vs 像素生成式模型 (ColorFlow [52], AniDoc [22], LVCD [11]): 像素生成模型通过扩散或自回归生成平滑像素，极易模糊墨线、产生色彩渗漏并违背严苛的调色板色号要求。PeCA 坚守区域级离散分配原则，以数学上天然杜绝越界渗色的方式实现高质量工业级渲染。
评分¶
- 新颖性: ⭐⭐⭐⭐ [从测试时推理切入动画上色，将空间设施选址与时序双向循环门控统一于调色板概率空间，构思精巧]
- 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 3D 渲染、手绘短片以及新标注的 206 帧手绘长序列，系统评估了微调模型与多个冻结基础模型，消融深入]
- 写作质量: ⭐⭐⭐⭐⭐ [逻辑严谨清晰，数学公式与概念表述高度凝练，问题定位敏锐透彻]
- 价值: ⭐⭐⭐⭐⭐ [即插即用、完全免训练，大幅提升了工业级自动化油漆桶上色的鲁棒性，极具落地实用价值]