Functional Transform-Based Low-Rank Tensor Factorization for Multi-Dimensional Data Recovery¶

会议: ECCV 2024
arXiv: 无
代码: 无
领域: 底层视觉 / 数据恢复
关键词: 低秩张量分解, 隐式神经表示, 视频帧插值, 多光谱图像超分辨率, 连续变换

一句话总结¶

提出了基于函数变换的低秩张量分解方法（FLRTF），利用隐式神经表示替代传统离散变换来捕获数据在第三维度上的连续平滑性，有效解决时间/光谱退化问题。

研究背景与动机¶

领域现状: 基于变换的低秩张量分解（transform-based Low-Rank Tensor Factorization, t-LRTF）近年来已成为多维数据恢复的重要工具。该方法通过在张量的某一维度上施加可逆变换，将数据转换到变换域后进行低秩分解，从而有效利用数据的结构化先验。代表性方法包括基于FFT（快速傅里叶变换）、DCT（离散余弦变换）以及数据驱动的可学习离散变换等。
现有痛点:
- 离散变换的局限性：现有t-LRTF方法主要使用沿第三维度（时间维度或光谱维度）的离散变换（如FFT、DCT等），这些离散变换只能处理离散采样点，无法建模数据在连续域上的平滑性
- 时间/光谱退化问题：在视频帧插值、视频帧外推和多光谱图像（MSI）光谱超分辨率等任务中，需要在缺失的时间点或光谱位置恢复数据，这属于"时间/光谱退化"问题
- 离散变换无法处理缺失位置：离散变换需要均匀采样的完整数据，无法直接在缺失的时间/光谱位置进行推断
核心矛盾: 现有t-LRTF方法依赖离散变换，而时间/光谱退化问题本质上需要在连续域上进行建模和插值——离散变换无法bridging这一gap。
本文目标: 设计一种能够在连续域上进行变换的低秩张量分解方法，使其不仅能处理传统的数据缺失（如随机缺失），还能处理整个时间帧或光谱通道的缺失（时间/光谱退化）。
切入角度: 利用隐式神经表示（Implicit Neural Representation, INR）来参数化变换函数。INR天然具有连续性，可以在任意连续坐标处进行求值，非常适合建模沿时间/光谱维度的连续变换。
核心 idea: 用隐式神经表示替代传统离散变换来参数化t-LRTF中的变换矩阵，使张量分解具备沿第三维度的连续采样和插值能力。

方法详解¶

整体框架¶

FLRTF（Functional Transform-based Low-Rank Tensor Factorization）的核心框架如下：

给定一个不完整的三维张量 \(\mathcal{X} \in \mathbb{R}^{n_1 \times n_2 \times n_3}\)（例如视频的高×宽×时间帧），其中部分元素或整帧缺失
传统t-LRTF将张量沿第三维度进行离散变换后分解为低秩形式；FLRTF则用连续函数变换替代离散变换
通过学习变换函数的INR参数和低秩分解系数，联合优化恢复缺失数据
由于INR的连续性，可以在任意第三维度坐标处求值，实现帧插值/光谱插值

关键设计¶

函数变换（Functional Transform）:
- 功能：将张量沿第三维度从原始域映射到变换域
- 核心思路：使用基于位置编码（positional encoding）的隐式神经表示（如MLP）来参数化变换函数。具体来说，变换矩阵的每个元素由一个连续函数 \(f_\theta\) 给出，输入为第三维度的连续坐标
- 设计动机：与离散变换相比，函数变换具有连续性，可以在任意位置求值；同时位置编码赋予其捕获高频细节的能力
基于INR的连续低秩分解:
- 功能：将恢复后的张量表示为连续域上的低秩分解形式
- 核心思路：在变换域中，张量被分解为若干低秩组分的叠加。由于变换本身是连续的，分解后的各组分也具有沿第三维度的连续性，从而自然地捕获了数据的时间/光谱平滑性
- 设计动机：连续性是解决时间/光谱退化问题的关键——可以在缺失帧/通道位置直接求值
通用多维数据恢复模型:
- 功能：构建统一的基于FLRTF的数据恢复优化框架
- 核心思路：将FLRTF嵌入到一个通用的优化模型中，通过交替优化INR参数和低秩分解系数来恢复数据。支持多种恢复任务，包括帧插值、帧外推和光谱超分辨率
- 设计动机：统一的框架可以灵活适配不同类型的多维数据恢复任务，避免针对每个任务设计专门的方法

损失函数 / 训练策略¶

数据保真项：在已观测位置上，最小化恢复值与观测值之间的均方误差
低秩正则化：对变换域中的张量施加低秩约束（如核范数最小化或截断SVD）
INR正则化：对INR参数施加适当的正则化，防止过拟合并促进平滑性
交替优化策略：交替更新INR参数（使用梯度下降）和低秩分解系数（使用闭式解或近端算子），确保收敛性

实验关键数据¶

主实验¶

论文在三类多维数据恢复任务上进行了广泛实验验证：

任务	指标	本文(FLRTF)	之前SOTA	提升
视频帧插值	PSNR/SSIM	优于所有对比方法	传统t-LRTF / 深度学习方法	显著提升
视频帧外推	PSNR/SSIM	优于所有对比方法	传统t-LRTF方法	显著提升
MSI光谱通道插值	PSNR/SSIM	优于所有对比方法	传统t-LRTF方法	显著提升
MSI光谱超分辨率	PSNR/SSIM/SAM	优于所有对比方法	代表性数据恢复方法	优越性能

消融实验¶

配置	关键指标	说明
离散FFT变换	较低的PSNR	传统离散变换无法处理帧/通道缺失
离散可学习变换	中等PSNR	比固定变换好，但仍受限于离散性
无位置编码的INR	较低PSNR	位置编码对捕获高频细节至关重要
完整FLRTF	最高PSNR	连续函数变换+位置编码达到最佳效果

关键发现¶

FLRTF在时间/光谱退化场景（帧插值、光谱插值）中相比传统离散变换t-LRTF有显著优势
连续变换带来的平滑性先验是处理退化问题的关键
位置编码帮助INR捕获数据中的高频成分，避免过度平滑
FLRTF框架具有通用性，可以直接应用于多种数据恢复任务

亮点与洞察¶

理论贡献突出：首次将隐式神经表示引入低秩张量分解的变换设计中，建立了离散变换到连续变换的理论桥梁
解决了根本性问题：传统方法对时间/光谱退化问题束手无策的根本原因是离散变换无法在缺失位置求值，FLRTF优雅地解决了这一问题
统一框架：同一个框架可以处理帧插值、帧外推、光谱超分辨率等多种任务，体现了方法的通用性
INR+传统优化结合：将深度学习中的INR技术与传统优化方法结合，兼具两者的优势

局限与展望¶

INR的训练依赖于梯度下降，对于大规模数据可能存在计算效率问题
当前方法主要处理三维张量，扩展到更高维张量（如四维以上）需要进一步研究
INR的网络架构选择（层数、宽度）对不同任务可能需要调参
与端到端深度学习方法相比，基于优化的框架在推理速度上可能较慢
可以探索更强大的INR架构（如SIREN、Hash Encoding等）来进一步提升性能

评分¶

新颖性: ⭐⭐⭐⭐ 将INR引入张量分解变换设计是全新的思路，理论贡献清晰
实验充分度: ⭐⭐⭐⭐ 在多个任务和数据集上进行了验证，对比全面
写作质量: ⭐⭐⭐⭐ 理论推导清晰，问题动机阐述到位
价值: ⭐⭐⭐⭐ 为低秩张量分解开辟了连续变换的新方向，具有广泛的应用前景