Breaking the Scalability Limit of Multi-Projector Calibration with Embedded Cameras¶

会议: CVPR 2026
论文: CVF Open Access
代码: 无
领域: 3D视觉 / 计算成像 / 投影映射
关键词: 多投影仪标定, 嵌入式相机, 结构光, 方向编码, 单应补偿

一句话总结¶

把若干相机直接嵌进标定板表面、让它们的光心贴在标定平面上，使所有投影仪能"同时"打结构光、靠入射方向把重叠的图案分离解码，从而把多投影仪标定所需的投影-拍摄次数从"随投影仪数线性增长"压到"近似常数"——25 台投影仪标定从 1100 张图案 12 分钟降到 54 张，精度仍与传统逐台标定相当。

研究背景与动机¶

领域现状：投影映射（Projection Mapping, PM）要把虚拟内容精准贴到物理表面上，必须先对每台投影仪做几何标定。投影仪可以建模成"逆相机"，于是标定沿用相机标定那套针孔模型 \(s[x\;y\;1]^T = K[R\,|\,t][X\;Y\;Z\;1]^T\)。但投影仪不能直接观测自己投出去的像素落在哪，只能间接做：把结构光（Gray-code 等）投到标定板上，再用一台外部相机拍下来，建立"投影仪像素 ↔ 板面坐标"的对应。

现有痛点：单台投影仪这么做没问题，多台就崩了。当多台投影仪同时往板上打结构光时，它们的图案在板面互相叠加——因为标定板是漫反射面，每条光线的方向信息在反射时被抹掉了，叠加的图案在外部相机里根本分不开。于是传统做法只能逐台串行标定：标一台、关掉、再标下一台。

核心矛盾：标定时间和工作量随投影仪数量 \(M\) 线性增长。而现代 PM 系统动辄几十台投影仪（高亮叠加、超分辨率、光场显示甚至上百台共投同一区域），这个线性瓶颈让大规模投影仪阵列的部署变得极其费时。作者指出，这是个困扰领域四十多年、至今未解的可扩展性难题。

切入角度：问题的根源是"漫反射抹掉了光线方向"。那能不能反过来——不让板去漫反射，而是在板面直接接收光线、保留方向？作者借鉴两条线索：用针孔阵列分离空间图案来标定单个相机/投影仪，以及把光传感器埋进场景里直接接收单台投影仪结构光做配准。

核心 idea：把相机嵌进标定板、让相机光心对齐板面，把"被观测的标定靶"变成"朝向投影仪的观测者"——一次"概念+物理"上的反转。嵌入相机直接接收入射光，不同位置投影仪的光线落在相机像平面的不同像素上，方向信息被保留，于是即便多台图案在板面叠加，也能逐台分离解码。

方法详解¶

整体框架¶

方法要解决的核心是"如何在所有投影仪同时投光时，仍能把每台的结构光单独解码出来"。整体流程：标定板上嵌入 \(N\) 台广角相机（光心尽量贴板面）→ \(M\) 台投影仪同时投 Gray-code + line-shift + 投影仪 ID 时序图案 → 每台嵌入相机一次拍摄，按入射方向把重叠图案分离、解码出"投影仪像素 \(p_m(n)\) ↔ 相机光心板面坐标 \(x_n\)"的对应 → 用单应补偿修正"相机光心没完全贴在板面"带来的偏差 → 把多组板姿态下的对应喂给 Zhang 标定法，同时估出所有投影仪的内参与外参。

关键的几何关系（Fig.2）：投影仪 \(m\) 与相机 \(n\) 之间有一条连接两者光心的直线，这条线与投影仪像平面交于像素 \(p_m(n)\)、与相机像平面交于像素 \(c_n(m)\)。不同位置投影仪的光线虽在光心处重叠，却落到相机像平面的不同像素，因此可被光学分离——这正是光场相机的方向编码原理。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["M 台投影仪 + N 台嵌入相机<br/>相机光心对齐标定板平面"] --> B["嵌入式相机的逆向标定范式<br/>相机直接接收入射光，保留方向信息"]
    B --> C["同时投影 + 方向分离解码<br/>Gray-code/line-shift/投影仪 ID 时序"]
    C -->|逐台解出 pm(n) ↔ xn 对应| D["光心错位的单应补偿<br/>用 xn(m) 替换 xn"]
    D --> E["多板姿态喂 Zhang 标定法"]
    E --> F["同时估出所有投影仪<br/>内参 K + 外参 [R|t]"]

关键设计¶

1. 嵌入式相机的逆向标定范式：把"被看的靶"换成"朝向投影仪的观察者"

传统标定的死结在于漫反射标定板会丢掉光线方向，多台图案叠加后无从分离。作者的破解是物理与概念上的双重反转：把 \(N\) 台相机嵌进标定板、让每台相机的光心恰好落在板平面上，相机镜头直接迎着投影仪接收入射光。由于"入射方向决定光线落在相机传感器上的位置"，即使来自多台投影仪的光束在光心处叠加，它们在相机像平面上仍分散到不同像素——方向信息被完整保留，这与光场（plenoptic）相机捕捉方向信息的原理同源。于是单次拍摄就能区分出哪束光来自哪台投影仪，这是整套并行标定能成立的物理前提。

2. 同时投影的方向分离与逐投影仪解码：用时序编码把"谁投的、投到哪"一并解出

光学上能分离只是第一步，还得知道每个相机像素接到的光对应"哪台投影仪的哪个像素"。作者让所有投影仪同时投三类时序图案：Gray-code 做粗定位、line-shift（在 Gray-code 解出的像素 \(p_m(n)\) 邻域逐像素平移竖/横白线）做亚像素精修、外加一段"全白/全黑"二值时序编码投影仪 ID \(m\)。解码流程是：先对每个相机像素取整段时序的最大-最小亮度差，超过阈值 \(t\) 才判定"接到了光"；再解 ID 时序确定发光投影仪 \(m\)、得到 \(c_n(m)\)；最后用该像素上的 Gray-code 与 line-shift 时序解出投影仪坐标 \(p_m(n)\)。由于离焦模糊和像差，单个投影仪像素的光可能被相机多个像素接到，此时对这些像素的强度取平均再解码。这套设计把"分离"和"建立对应"合并进同一次同时投影里，使所需图案数从传统的 \(M\times(\lceil\log_2 W\rceil+\lceil\log_2 H\rceil+L)\) 降到 \(\lceil\log_2 M\rceil+\lceil\log_2 W\rceil+\lceil\log_2 H\rceil+L\)——多出的 \(\lceil\log_2 M\rceil\)（用于 ID 识别）在实践中是个小常数，因为 \(M\ll W,H\)。

3. 光心错位的单应补偿：把"相机光心没贴在板面"的误差用 RANSAC 单应拉回

理想假设是相机光心严格落在板平面上，但实际复合光学系统的光心位置不可确定、哪怕已知偏移也无法物理归零。一旦光心偏离板面，投影仪 \(m\) 到相机 \(n\) 的光线在板上的交点会因投影仪而异，记为 \(x_n(m)\)（Fig.3），若仍用统一的 \(x_n\) 喂 Zhang 法就会引入误差。作者的修正是：用 \(x_n(m)\) 而非 \(x_n\) 作为板面坐标输入，并由相机像素 \(c_n(m)\) 经一个映射 \(M_n\) 推出它：

\[x_n(m) = \mathcal{M}_n(c_n(m)).\]

从几何光学看 \(M_n\) 是射影变换，因此可建模为单应。它的参数通过一次性离线标定确定：先在板上贴印刷棋盘建立真实尺度坐标系（在嵌相机处打孔让投影光能穿过），把单台投影仪放到 \(K\) 个不同 3D 位置 \(X_k\)，每个位置记录嵌入相机观测到的投影仪像素 \(p_k(n)\) 及对应相机像素 \(c_n(k)\)；再单独投一条竖白线（\(x=u_k(n)\)）和一条横白线（\(y=v_k(n)\)）到板上，用外部相机拍下、二值化、Hough 变换求出两条线方程，其交点即板面上的真实交点 \(x_n(k)\)。重复 \(K\) 次得到 \(\{c_n(k), x_n(k)\}\) 对，用最小二乘 + RANSAC 估出单应 \(M_n\)。这个离线步骤在相机嵌好后只做一次。作者还指出：整张相机图被映射到板上约 \(25\,\text{mm}^2\) 的小区域，区域内有效镜头畸变可忽略，故暂未显式去畸变（留作未来工作）。

损失函数 / 训练策略¶

本方法是几何标定流程，无神经网络训练。核心估计有两处闭式/优化求解：单应 \(M_n\) 用最小二乘 + RANSAC 拟合；投影仪内外参用 Zhang 标定法（基于多板姿态下的 2D-2D 对应）求解，再做重投影误差最小化的非线性优化。

实验关键数据¶

原型：在 \(470\times320\) mm 亚克力板上钻 4 个孔，嵌入 4 台广角相机（Raspberry Pi Camera Module 3 Wide, \(4608\times2592\), \(102°/67°\)），镜头尖端对齐板面，四相机置于 \(200\times120\) mm 矩形顶点；因投影仪正对时黑投影下镜头周围仍过曝，每台相机前加 ND 滤镜（ND-4.0）。光心错位补偿用 Canon EOS RP 外部相机配蓝-品红棋盘（红通道检角点、蓝通道提结构光），每台嵌入相机用一台投影仪在 30–40 个位置采样。

主实验¶

扩展性（25 台投影仪）：5×5 顶置阵列做无影投影。传统逐台标定需每台 44 张图案、共 1100 张、约 12 分钟；本方法同时投影只需 54 张，图案数减少 95%。补偿后投出的人脸图比"无补偿"和"传统"都更锐利清晰——甚至优于传统，原因是传统外部相机挂在天花板上离板远、表观分辨率低，而嵌入相机直接贴板避免了这一损失。

三台投影仪的内外参标定（RMS 重投影误差，像素）：

投影仪	传统(108角点)	传统(4角点)	本文(无补偿)	本文(有补偿)
ML1050ST+	0.34	0.65	2.18	0.91
TK685	0.38	0.76	2.47	0.91
TK850	0.39	0.75	2.44	0.89

有补偿后误差均 <1.0 像素（公认足够精确），与传统 4 角点条件相当；无补偿时误差飙到约 2.4 像素，证明补偿步骤的必要性。传统 108 角点更准说明：增加嵌入相机数量可进一步提升本方法精度。

消融实验¶

配置	关键指标	说明
本文 + 光心补偿	RMS ≈ 0.89–0.91 px；MTF 贴近上限；双棋盘精确重合	完整方法
本文 − 光心补偿	RMS ≈ 2.18–2.47 px；高频 MTF 显著衰减；双棋盘错位	去掉补偿，光心错位未修
传统(逐台)	RMS ≈ 0.34–0.39 px（108角点）；25 台需 1100 张/12 分钟	精度上限但不可扩展

关键发现¶

光心补偿是精度命门：去掉它重投影误差从约 0.9 px 恶化到约 2.4 px，红绿双棋盘对齐实验里两图明显错位、MTF 高频被严重衰减；加回后 MTF 几乎贴合单投影仪上限。
可分离性极强：两台投影仪相距 4.2 m、镜头几乎贴着（65 mm，角分离仅 \(0.88°\)）时，嵌入相机仍能清晰分出两个亮斑——亚 1° 角分离都能标定。
可观测入射角范围有限：绕 x 轴约 \(\pm32°\)、绕 y 轴约 \(\pm40°\) 亮度降半，超出范围接不到足够光，是布置约束。
强环境光鲁棒：户外 ≈70 klux 阳光下，本方法直接接光、对比度不受影响仍能分离解码；传统外部相机法因结构光被环境光淹没完全失败。

亮点与洞察¶

"反转观测者"的范式很巧：把困扰四十年的"漫反射丢方向"难题，用"让相机贴板面迎着投影仪接光"一招化解——不是改算法分离叠加图案，而是从物理上根本不让方向信息丢失，借的是光场相机的方向编码思想。
复杂度从 \(O(M)\) 到 \(O(\log M)\)：所需图案数里与投影仪数相关的项只剩 \(\lceil\log_2 M\rceil\)（投影仪 ID 编码），实践中近似常数，这是"可扩展性"的数学本质。
环境光鲁棒是意外红利：直接接光而非拍漫反射面，使强光下仍高对比，解决了"白天预标定、晚上做 PM"这类实际场景痛点。
方向信息可复用：嵌入相机同时拿到位置和方向信息（类似 plenoptic），作者展望用方向数据作额外约束、减少所需板姿态数——这条路有想象空间。

局限与展望¶

必须共投影区：所有投影仪要共享同一投影区域才有近常数扩展性；对投影仪不重叠的广域系统（如建筑级 PM），板得分组重定位，线性扩展又回来了。
非平面靶受限：仅支持多面平面靶（多面体，逐面单应），曲面留作未来工作。
入射角窗口窄：嵌入相机可观测角约 \(\pm32°/\pm40°\)，对投影仪布置位置有约束。
环境光鲁棒仅两台验证：70 klux 实验只用了两台投影仪，更大规模未测。
未显式去畸变：靠"映射到小区域内畸变可忽略"绕过，极端镜头下可能引入误差。
展望还包括结合单帧结构光（如 De Bruijn 序列）进一步降每台图案数，以及提取镜头像差、光圈形状、对焦距离等物理属性。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 用"反转观测者+方向编码"破解四十年悬而未决的多投影仪标定可扩展性难题，范式级创新
实验充分度: ⭐⭐⭐⭐ 有真实原型、2/3/25 台多规模验证、亚 1° 分离与户外强光测试，但部分对比偏定性、环境光仅两台
写作质量: ⭐⭐⭐⭐⭐ 动机推导清晰、几何关系图示到位、公式与流程自洽易懂
价值: ⭐⭐⭐⭐⭐ 直接解掉大规模投影仪阵列部署的核心瓶颈，对光场/高亮叠加/无影 PM 等系统落地价值很高