Color Pass-Through via Camera-Display Coupling¶

会议: ECCV 2026
论文: ECCV 官方
项目主页: Project Page
领域: 其他（计算摄影 / 图像色彩重现）
关键词: 计算摄影、色彩透视（Color Pass-Through）、相机-屏幕耦合、同色异谱黑、光谱重建

一句话总结¶

针对智能手机与沉浸式设备在相机拍摄并即时于屏幕呈现时产生的显著色偏与亮度失真，本文提出将相机与屏幕视作端到端联合耦合系统，通过轻量级神经映射器与基于第一主成分的相机零空间色彩修正，实现了仅需单步校准即可高保真复现真实场景感知色彩的色彩透视（Color Pass-Through）框架。

研究背景与动机¶

摄影与显示系统的核心诉求之一是在显示介质上真实还原现实场景的色彩与明暗质感。然而在日常使用智能手机取景器或佩戴 VR/AR 头显（如 Apple Vision Pro 的透视模式、虚拟试衣镜）时，用户透过屏幕看到的画面往往与人眼裸眼直接观察到的现实世界存在肉眼可见的色彩偏差与对比度失真：原本饱满的色彩常常出现色相漂移、过曝发灰或不自然的饱和度衰减。以往业界通常将这一现象归咎于传感器动态范围不足或屏幕色域受限，但在传感器和显示面板硬件性能已大幅跃升的今天，标准流水线与后处理算法依然无法消除这一感知鸿沟。

深入解构现行的国际色彩联盟（ICC）工作流可以发现，传统方案本质上将“光线采集-屏幕呈现”的物理过程拆解成了两个完全割裂的独立校准阶段：首先通过相机校准将高维连续的场景辐亮度映射至三通道设备无关参考空间（如 CIE XYZ），再通过屏幕校准将该三通道色彩映射为显示器发光辐亮度。由于现实世界的环境光辐射在物理上是高维光谱信号（$\mathbf{s}_i \in \mathbb{R}^L, L \gg 3$），而相机传感器仅采集 3 通道离散积分响应，两阶段独立校准不可避免地遭遇严重的秩亏损信息瓶颈（$\mathrm{rank}(\mathbf{D}\mathbf{F}\mathbf{C}) \le 3$），导致系统性误差在多级转换中不断级联累积；即使引入多光源自动白平衡（Multi-illuminant AWB）或单场景色卡校准，也受限于对光照的先验假设或标准色彩空间转换约束，无法为特定的“相机-屏幕”组合提供物理保真的端到端色彩闭环。

针对“同机采集并同机即时显示”这一典型的透视（Pass-Through）交互场景，本文摒弃了“相机归相机、屏幕归屏幕”的传统解耦范式，将两者构造成一个紧密协作的端到端非线性耦合系统。核心 idea：将相机与显示屏视为统一耦合系统，一方面通过重拍摄数据驱动学习像素级非线性逆投影算子，另一方面揭示人眼与相机光谱响应不一致诱发的色偏本质位于相机同色异谱黑（零空间）子空间，利用低维秩一近似与单步 3 维观察者校准系数，实现跨复杂未见光源的物理级感知色彩透视。

方法详解¶

整体框架¶

本文方法旨在构建一个校正算子 $\mathbf{F}$，对相机拍摄的原始图像在输入屏幕前施加变换，使得屏幕发出的辐射光被目标观察者（如人眼或特定评测相机 $\mathbf{M} \in \mathbb{R}^{3 \times L}$）接收时，与该观察者直接注视原始真实场景的感知色彩严格一致，即 $\mathbf{M}\mathbf{s}_i \approx \mathbf{M}\mathbf{s}_i^*$。由于直接为每位观察者校准高维变换算子在数学上高度病态，本文将全流程解耦为两大协作模块： 1. 相机-屏幕投影映射器（Camera-Display Projector $\widehat{\mathcal{F}}_{\mathbf{C}}$）：在假定观察者光谱敏感度与输入相机完全一致（$\mathbf{M} := \mathbf{C}$）的理想基准下，拟合相机与屏幕组合的非线性逆映射 $(\mathbf{C}\mathbf{D})^\dagger$； 2. 相机零空间色彩修正器（Camera-Null Color Correction $\boldsymbol{\delta}_i$）：针对实际观察者与相机光谱敏感度不同（$\mathbf{M} \ne \mathbf{C}$）造成的同色异谱色偏，预测潜藏在相机感光盲区中的相机零空间特征，并结合极轻量的 3 维标定系数 $\boldsymbol{\varphi} \in \mathbb{R}^{3 \times 1}$ 消除色罩。

整体推断与数据流如下图所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["场景辐亮度与相机采集<br/>获得相机测量色彩 Cs"] --> B["相机零空间系数预测<br/>谱重建网络估计标量 a_i"]
    B --> C["相机零空间色彩修正<br/>结合主成分 e 与标定系数 φ 抵消色罩 δ_i"]
    C --> D["相机-屏幕投影映射器<br/>轻量 MLP 拟合非线性逆响应 (CD)†"]
    D --> E["目标屏幕发光显示<br/>屏幕辐射经过观察者 M 呈现一致色彩"]

关键设计¶

1. 重拍摄驱动的相机-屏幕投影映射器：突破传统仿射校准的非线性瓶颈

在假定观察者与输入相机响应一致的基线设定下，理论上的理想校正矩阵为 $\mathbf{F}_{\mathbf{C}} = (\mathbf{C}\mathbf{D})^\dagger \in \mathbb{R}^{3 \times 3}$。然而商用手机屏幕在出厂状态下包含固化的伽马曲线（Gamma）、全局色调映射（Tone Mapping）以及动态色域压缩，这些强烈的非线性畸变使得传统的 $3 \times 3$ 仿射矩阵甚至经验 3D-LUT 均无法精确表征 $(\mathbf{C}\mathbf{D})$ 的逆过程。

为此，本文构建了一套物理“重拍摄”（Re-capture）数据闭环采集协议：将高质量数字图像集（DIV2K 经去噪处理）作为监督真值 $\boldsymbol{\sigma}_i \in \mathbb{R}^3$，渲染显示在目标手机屏幕 $\mathbf{D}$ 上，并由配对相机 $\mathbf{C}$ 同步重拍摄获得捕获值 $(\mathbf{C}\mathbf{D})\boldsymbol{\sigma}_i$；利用预训练光流网络进行亚像素级对齐后，构建成对训练集。在网络架构上，本文采用参数量仅约 30.8K 的超轻量级像素级 MLP（2 层隐藏层，宽度 128），并引入两大关键改进： - 位置编码（Positional Encoding）：映射前对 RGB 输入施加高频位置编码，迫使极小体量的 MLP 能够有效捕捉色调映射剧烈转变处的高频跃变与饱和边界； - 绿色通道均值下采样预处理（AvgPool on Green Channel）：针对移动端传感器拜耳阵列（Bayer pattern）去马赛克（demosaicing）带来的空间插值串扰，在输入侧对绿色通道进行极小尺度的局部平滑，有效滤除了反向求逆时的插值伪影。

该投影映射器 $\widehat{\mathcal{F}}_{\mathbf{C}}$ 通过监督损失函数训练： $$\theta^* = \arg\min_\theta \sum_i \left\| \boldsymbol{\sigma}_i - \widehat{\mathcal{F}}_{\mathbf{C}}\big((\mathbf{C}\mathbf{D})\boldsymbol{\sigma}_i; \theta\big) \right\|_1$$ 实测在 2K 分辨率图像上仅需 41.3ms（RTX 4090），即可高精度还原相机自身视角下的透视色彩。

2. 零空间几何分解与低维秩一近似：剥离不可见光谱诱发的同色异谱色偏

当实际观察者切换为人眼或另一台三通道参考相机（如单反 DSLR $\mathbf{M} \ne \mathbf{C}$）时，哪怕 $\widehat{\mathcal{F}}_{\mathbf{C}}$ 已完美对齐，屏幕表面仍会浮现一层明显的半透明偏色“色罩”（Color Mask）。本文从色彩度量学理论切入，将场景光谱 $\mathbf{s}_i$ 沿投影算子 $\mathbf{P}_{\mathbf{C}} = \mathbf{D}(\mathbf{C}\mathbf{D})^\dagger\mathbf{C}$ 进行斜投影正交分解： $$\mathbf{s}_i = \mathbf{r}_i + \mathbf{n}_i, \quad \mathbf{r}_i = \mathbf{P}_{\mathbf{C}}\mathbf{s}_i \in \mathrm{Range}(\mathbf{D}), \quad \mathbf{n}_i = \mathbf{s}_i - \mathbf{r}_i \in \mathrm{Null}(\mathbf{C})$$ 数学推导表明，残余失真项 $\boldsymbol{\delta}_i = \mathbf{C}(\mathbf{I} - \mathbf{P}_{\mathbf{M}})\mathbf{n}_i$ 完全源自相机的同色异谱黑（Metameric-black）空间，即满足 $\mathbf{C}\mathbf{n}_i = \mathbf{0}$ 的光谱成分。这些波长对手机相机完全“隐形”，但在经由屏幕三原色激发出复合光谱后，却能在人眼 $\mathbf{M}$ 视网膜上引起显著的感色反应。

由于高维连续光谱 $\mathbf{n}_i \in \mathbb{R}^L$ 无法直接测量，常规全谱重建不仅计算沉重，且观察者算子 $\mathbf{C}(\mathbf{I} - \mathbf{P}_{\mathbf{M}}) \in \mathbb{R}^{3 \times L}$ 同样无法标定。本文基于自然界反射率与辐射光谱具有极高内在相关性的物理先验，对相机零空间成分 $\mathbf{n}_i$ 执行主成分分析（PCA）。统计表明其第一主成分 $\mathbf{e} \in \mathbb{R}^{1 \times L}$ 能够独自解释高达 93% 的方差！基于此，本文做出极富洞察力的秩一近似 $\mathbf{n}_i \approx a_i \mathbf{e}$，将复杂的全谱估计问题退化为： $$\boldsymbol{\delta}_i = \mathbf{C}(\mathbf{I} - \mathbf{P}_{\mathbf{M}})\mathbf{n}_i \approx \boldsymbol{\varphi}(a_i \mathbf{e})$$ 其中 $\mathbf{e}$ 是一次性离线计算固定的全局基向量；$a_i \in \mathbb{R}^1$ 是每个像素位置的标量零空间响应系数；而与观察者相关的算子被整体压缩为一个仅含 3 个标量参数的观察者特定标定向量 $\boldsymbol{\varphi} \in \mathbb{R}^{3 \times 1}$。

3. 谱先验网络预测与单步观察者标定：全流程端到端闭环合成

为了获得像素级零空间标量系数 $a_i$，本文利用已知相机灵敏度曲线从高光谱公开数据集（ARAD-1K、CAVE、ICVL）中合成手机 RAW 测量值 $\mathbf{C}\mathbf{s}_i$ 作为输入，以真值投影分解出的标量 $a_i$ 为目标，采用高效的多阶段谱注意力网络（MST++）进行训练。训练目标结合了全谱重建损失、零空间系数保真度以及全变分平滑先验（TV Loss）： $$\mathcal{L} = \sum_i \Big( \lambda_1 \|\hat{\mathbf{s}}_i - \mathbf{s}_i\|_1 + \lambda_2 |\hat{a}_i - a_i| + \lambda_3 \|\nabla \hat{a}_i - \nabla a_i\|_1 \Big)$$ 实验证明，引入全谱先验监督 $\|\hat{\mathbf{s}}_i - \mathbf{s}_i\|_1$ 能够反哺 $\hat{a}_i$ 的学习质量，达到更优的结构一致性。

在实际使用时，对于特定的终端用户或评测设备，系统只需在任意单帧参考场景下执行一次耗时数秒的极小范围网格搜索，选定 3 个维度的 $\boldsymbol{\varphi}$ 值后即永久固化。最终推断时，全套 Pass-Through 色彩合成方程紧凑收敛为： $$\mathbf{M}\hat{\mathbf{s}}_i^* = \mathbf{M}\mathbf{D} \cdot \widehat{\mathcal{F}}_{\mathbf{C}}\Big( \mathbf{C}\mathbf{s}_i - \boldsymbol{\varphi}(\hat{a}_i \mathbf{e}) \Big)$$ 无需对后续帧或复杂未见新场景重新校准，即可保证输出色彩时刻贴合肉眼所见。

实验关键数据¶

主实验¶

实验采用两台相同型号的旗舰智能手机（华为 Pura 70 Pro 与小米 17 Pro Max），一台充当采集相机 $\mathbf{C}$，另一台充当显示屏幕 $\mathbf{D}$；数字观察者 $\mathbf{M}$ 采用全画幅单反相机（Sony ILCE-7M4），在涵盖 2500K 至 9000K 色温的 10 种连续环境光以及 5 种强峰值 RGB-LED 杂色光源下，使用 24 色标准 ColorChecker 进行定量评测。评测指标包括峰值信噪比（PSNR）、CIE 2000 色差（$\Delta E_{mean}$）以及规范化应力系数值（STRESS，越小代表色度空间吻合度越高）。

下表展示了全系统在跨设备、未见多变光照下的色彩透视定量对比（括号内灰色数字表示将屏幕整体亮度对齐至本文方法后的结果）：

方法 (Methods)	PSNR ↑ (Huawei)	PSNR ↑ (Xiaomi)	$\Delta E_{mean}$ ↓ (Huawei)	$\Delta E_{mean}$ ↓ (Xiaomi)	STRESS ↓ (Huawei)	STRESS ↓ (Xiaomi)
默认手机相机 (Default Camera)	13.78 (15.80)	14.61 (15.93)	14.62 (12.31)	13.49 (11.54)	26.23 (27.58)	25.07 (25.27)
经典色卡校准 (Color-checker Calib.)	15.02 (15.23)	16.36 (16.85)	18.49 (18.40)	15.32 (15.09)	38.85 (38.56)	36.42 (36.04)
多光源自动白平衡 (Multi-illum. Auto-WB)	12.84 (12.95)	13.92 (14.41)	17.84 (17.37)	17.08 (16.26)	31.12 (30.48)	30.05 (29.66)
本文方法 (无相机零空间修正)	27.32	27.84	6.49	5.97	17.27	16.39
本文完整模型 (Ours Full)	28.65	29.10	5.18	4.79	17.48	16.12

在 10 名真实人类观察者参与的 5 分制双盲主观用户实验中（评分维度为亮度精准度与色彩精准度），默认相机仅得分 1.90 / 2.07，色卡校准得 1.66 / 1.90，多光源 AWB 得 2.06 / 1.84，而本文方法斩获了 4.32 / 4.03 的极高评价，平均主观体验提升超 +2.0 分。

消融实验¶

为验证相机-屏幕投影算子 $\widehat{\mathcal{F}}_{\mathbf{C}}$ 的网络设计有效性，以及零空间系数预测网络中各监督项对表征能力的贡献，论文在子模块上进行了严格的量化对比。

表 1a：相机-屏幕投影映射器 $\widehat{\mathcal{F}}_{\mathbf{C}}$ 不同架构拟合能力与推理速度对比（DIV2K 2K 分辨率）

方法 (Methods)	参数量 Params (K)	运行延迟 Runtime (ms)	PSNR ↑	$\Delta E_{mean}$ ↓	$\Delta E_{p95}$ ↓	STRESS ↓
IA-3DLUT	593.0	339.92	26.69	5.66	9.22	9.22
NiLUT	33.9	31.16	31.03	3.59	9.39	5.02
CSRNet	36.5	253.78	31.12	3.59	9.34	5.00
本文设计 (MLP + PE + G-AvgPool)	30.8	41.30	32.13	3.34	8.81	4.69

表 1b：相机零空间系数预测网络损失函数消融

配置 ($\lambda_1$ 谱重建, $\lambda_2$ 标量, $\lambda_3$ 全变分)	$\mathrm{PSNR}(\hat{a}_i, a_i)$ ↑	$\mathrm{PSNR}(\hat{\mathbf{s}}_i, \mathbf{s}_i)$ ↑
仅 $\lambda_1$ 谱重建监督	28.27	14.94
$\lambda_1 + \lambda_2$ (加入标量直接监督)	29.42	32.69
$\lambda_1 + \lambda_3$ (加入平滑梯度正则)	29.00	31.49
完整配置 $\lambda_1 + \lambda_2 + \lambda_3$ (1, 0.01, 1)	29.68	31.95

关键发现¶

信息瓶颈的非线性本质：传统方法采用 3D-LUT 或仿射变换拟合屏幕逆映射时，色差 $\Delta E_{mean}$ 高达 5.66 以上；而本文所用的轻量 MLP 搭配位置编码，成功解开了屏幕伽马映射在极高饱和区发生的色彩折叠（“vanishing” region），将色差压缩至 3.34。
零空间修正的决定性收益：主实验显示，单纯依靠相机-屏幕投影器时，虽然 PSNR 达到 27.32 dB，但依然存在明显的偏色残留（$\Delta E_{mean} = 6.49$）；而引入基于秩一主成分假设的零空间色彩修正后，色差进一步骤降至 5.18，色差降幅达 20.2%，证明不可见同色异谱成分是横亘在相机与肉眼之间的最后一公里障碍。
标定参数 $\boldsymbol{\varphi}$ 的极佳跨场景泛化鲁棒性：消融分析显示，对单个观察者完成一次性微调校准后，即使在各异的室内外未知光照下大幅扰动 $\pm 0.015$，用户依然坚定选择初始固定的 $\boldsymbol{\varphi}$ 参数，表明该 3 维参数本质上锁定了显示原色矩阵与该观察者视网膜视锥细胞的固有物理耦合常数，与外界环境光无关。

亮点与洞察¶

将采集与显示重构为一体化闭环：传统 ICC 架构将相机与屏幕割裂对待，在中间参考色彩空间中不可避免地遭受高维到低维的两次降维损失。本文敏锐抓住“设备自采自显”的物理特性，通过重拍摄机制直接拟合 $(\mathbf{C}\mathbf{D})^\dagger$，消除了中间环节的累积误差。
巧妙的同色异谱黑几何分析与秩一降维：将人眼感知色偏精确归因于相机的零空间 $\mathrm{Null}(\mathbf{C})$，并基于真实自然光谱分布验证了第一主成分具有 93% 的方差解释力，从而将极难估计的观察者光谱校准化简为仅含 3 个参数的标量标定向量 $\boldsymbol{\varphi}$。
跨平台可迁移性高：整套技术不依赖特殊的工业分光辐射计，仅需手机自身屏幕与相机构建重拍摄数据，推理端使用极小算力的 MLP 与轻量 CNN，具备直接部署至商用 MR 头显透视系统与手机取景系统的极高实用价值。

局限与展望¶

特定硬件绑定与重拍摄依赖：每套新增的“相机-屏幕”组合都需要预先执行一次离线重拍摄数据采集与模型训练，尚无法无缝零样本跨机型泛化到完全未校准的新硬件上。
观察者特异性校准依然需要一次性介入：虽然观察者系数 $\boldsymbol{\varphi}$ 仅含 3 个标量且跨场景稳定，但在首次使用时仍需用户目视交互微调或依赖单反相机辅助标定，未来可探索结合眼动追踪或自适应前置感光元件实现人眼参数的全自动感知。
强镜面反射与动态范围极端场景：当外界场景动态范围极大（超出屏幕发光上限）或屏幕存在强烈环境反射眩光时，单纯依靠感知级色彩映射仍无法突破显示硬件自身的物理对比度局限。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次系统性提出相机-显示屏耦合色彩透视问题，并给出严谨的零空间数学解析与秩一工程解]
实验充分度: ⭐⭐⭐⭐⭐ [结合单反数字观察者客观定量测量与 10 人真实主观评测，涵盖多样未见复杂光源与色卡验证]
写作质量: ⭐⭐⭐⭐⭐ [数学推导清晰优美，几何直观与物理动机紧密结合，实验与消融完备]
价值: ⭐⭐⭐⭐⭐ [对手机相机真实预览、MR 头显透视模式以及 AR 虚拟试衣具有重大工业应用价值]

配置 (\(\lambda_1\) 谱重建, \(\lambda_2\) 标量, \(\lambda_3\) 全变分)	\(\mathrm{PSNR}(\hat{a}_i, a_i)\) ↑	\(\mathrm{PSNR}(\hat{\mathbf{s}}_i, \mathbf{s}_i)\) ↑
仅 \(\lambda_1\) 谱重建监督	28.27	14.94
\(\lambda_1 + \lambda_2\) (加入标量直接监督)	29.42	32.69
\(\lambda_1 + \lambda_3\) (加入平滑梯度正则)	29.00	31.49
完整配置 \(\lambda_1 + \lambda_2 + \lambda_3\) (1, 0.01, 1)	29.68	31.95