跳转至

Binomial Self-compensation for Motion Error in Dynamic 3D Scanning

会议: ECCV 2024
arXiv: 2404.06693
代码: 有
领域: 3D视觉
关键词: 相位移轮廓术, 动态3D扫描, 运动误差补偿, 二项式自补偿, 结构光

一句话总结

提出二项式自补偿(BSC)算法,通过对运动受影响的相位序列按二项式系数加权求和,无需任何中间变量即可指数级消除四步相位移轮廓术中的运动误差,实现与相机帧率相同的高精度动态3D扫描。

研究背景与动机

相位移轮廓术(PSP)因其高精度、鲁棒性和逐像素特性,在高精度3D扫描中广受青睐。然而PSP的核心假设是被测物体保持静止,在动态测量中该假设被违反,物体运动会导致点云中出现波纹状误差。

现有运动补偿方法主要分三类:

运动诱导相移估计: 通过分析受影响的相位帧估计运动导致的相移值,但当运动信息无法精确预测时效果有限

目标跟踪: 通过标记物或特征匹配追踪物体位置,但仅适用于垂直视线的2D运动,对无纹理物体效果差

自动补偿: 对图像或相位帧施加特定算子直接获取无误差相位,但引入非逐像素算子会破坏PSP的像素级优势

所有现有方法都依赖某种中间变量(如运动相移值、刚体变换矩阵、Hilbert/微分变换结果)。本文的核心问题: 能否仅利用受运动影响的相位序列本身来补偿运动误差,而不依赖任何中间变量?

方法详解

整体框架

BSC方法包含三个核心部分: 1. 近轴双目结构光系统: 使用主相机+辅助相机+投影仪,两相机基线极短以实现相位唯一性约束,同时主相机-投影仪基线足够长以保证精度 2. 循环投影策略: 循环投影高频条纹图案(π/2相移),从连续采集的图像中逐帧计算相位 3. 二项式自补偿: 对连续相位帧按二项式系数加权求和,自动消除运动误差

关键设计

1. 近轴双目结构光系统

系统将传统SPU(立体相位展开)中对相机-投影仪基线的约束转移到相机-相机基线上。唯一性约束确保在辅助相机可行立体匹配范围内相位保持单值,从而可以使用高频条纹。实际系统中将两个相机紧密放置以获得最短基线。

2. 运动误差数学建模

循环投影π/2相移的条纹图案,第i帧采集图像包含运动导致的未知相位偏移。对四步PSP计算的运动受影响相位,误差包含: - DC分量: 表现为点云滞后,与相位无关,不产生波纹 - 谐波分量: 频率为包裹相位的两倍,是波纹误差的根源

三步PSP误差包含cos(2φ)和sin(2φ)两项,四步PSP误差只含cos(2φ)项,因此四步PSP更易补偿。

3. 二项式自补偿核心原理

关键发现: 两个相邻相位帧的三角项系数因π/2相移呈现相反符号。将连续相位帧逐对求和,谐波系数中会出现更高阶的差分项,自然形成杨辉三角的结构。

对K+1个连续相位帧按K阶二项式系数加权求和后,谐波幅度包含因子2^{-(K+2)}和K+1阶差分项。增加K产生两个效果: - 指数因子使谐波幅度指数衰减 - 更高阶差分项趋近于零

两者共同使运动误差指数级减小。

4. 相位跳变处理

在包裹相位跳变区域,定义特殊加法算子处理相位序列求和时的歧义: 当两相位差大于π时直接平均,否则平均后加π。实际实现为金字塔式逐层求和。

损失函数 / 训练策略

BSC为非学习方法,不涉及损失函数与训练。核心超参数为二项式阶数K: K=0为原始相位,K越大精度越高但需更多帧。实验表明K=4(8帧)可在精度与效率间取得平衡。

实验关键数据

主实验: 绝对精度对比

方法 帧数 类型 均值误差(μm)
传统四步PSP 4 基线 324.2
HTC 4 自动补偿 较高
μ-FTP 4 傅里叶变换 较高
PFD 8 相位帧差分 中等
PFS 5 相位帧求和 中等
BSC (本文) 8 自补偿 54.78

测量条件: 平板距离500mm,运动范围[400,500]mm,速度[-150,150]mm/s。88mm/s时BSC将误差从324.2μm降至54.78μm。

深度不连续场景鲁棒性

方法 像素级 深度跳变处RMSE
μ-FTP 否 显著较大
HTC 否 显著较大
BSC 是 最小

时间分辨率

方法 3D点云帧率
μ-FTP 30 fps
BSC 90 fps (=相机帧率)

消融实验

  • K=0: 原始相位,最大运动误差
  • K=1~4: 误差指数递减,K=4达到实用平衡
  • 适用速度范围: 基于小相移假设,帧间误差增大时残余误差上升,可降低条纹频率缓解

关键发现

  1. BSC误差补偿后分布呈正态,说明运动误差被几乎完全消除
  2. BSC同时保持像素级和帧级可循环两个关键特性,现有方法首次实现
  3. 四步PSP误差只含cos(2φ)项,比三步PSP更易补偿

亮点与洞察

  1. 数学优雅性: 利用杨辉三角/二项式系数的性质,将运动补偿转化为简洁的加权求和
  2. 即插即用: BSC可作为传统四步PSP的增强版本,直接用于动态扫描
  3. 双重特性兼得: 首次同时实现像素级精度和帧级可循环
  4. 实际部署友好: 仅需在传统PSP基础上增加辅助相机和简单后处理

局限与展望

  1. 高对比纹理: BSC假设低频纹理,高对比纹理物体会产生伪影
  2. 相位展开误差: 块匹配对应时,复杂曲面产生明显相位展开误差
  3. 速度范围限制: 基于小相移假设,高速物体需降低条纹频率
  4. 系统复杂度: 需要双目相机+投影仪的硬件系统

相关工作与启发

  • 与HTC和μ-FTP相比,BSC的优势在于保持像素级特性
  • 循环投影策略是BSC实现帧级可循环的基础
  • 二项式系数与有限差分的联系为运动补偿提供新思路

评分

  • 新颖性: ⭐⭐⭐⭐ — 二项式自补偿思路独特,数学推导优雅
  • 实用性: ⭐⭐⭐⭐⭐ — 即插即用,已开源,工业应用前景明确
  • 实验充分度: ⭐⭐⭐⭐ — 多组实验全面验证,但缺少大规模复杂场景测试
  • 写作质量: ⭐⭐⭐⭐ — 数学推导清晰,实验设计合理

相关论文