多路延迟嵌入变换算法综述

多路延迟嵌入变换算法综述
本篇综述主要介绍的是多路延迟嵌入变换的综述。

让我们考虑一种情况，其中某些连续切片中的所有元素在张量数据中都丢失了。

在这种情况下，核范数和全变分正则化方法通常无法恢复丢失的元素。

关键问题是捕获一些延迟/移位不变的结构。

在这项研究中，我们考虑了张量嵌入空间中的低秩模型。

为此，我们将时间序列的延迟嵌入扩展为张量的“多路延迟嵌入变换”，它以给定的不完全张量作为输入并输出高阶不完全汉克尔张量。

然后通过基于 Tucker 的低秩张量分解来恢复高阶张量。

最后，通过使用恢复的高阶张量的逆多路延迟嵌入变换可以获得估计的张量。

我们的实验表明，所提出的方法成功地恢复了一些彩色图像和功能磁共振图像的缺失切片。

矩阵/张量补全是一种在不完整数据中恢复缺失元素的技术，近年来已成为一种非常重要的方法。

一般来说，完成是一个没有任何假设的不适定问题。

但是，如果我们对数据结构有有用的先验知识或假设，则完成可以被视为适定优化问题，例如凸优化。

结构的假设也称为“模型”。

建模矩阵/张量的方法可以分为两类。

在第一类中，这些方法直接用矩阵/张量本身来表示数据，并假设矩阵/张量的一些结构，例如低秩和平滑属性。

相比之下，第二类中的方法将数据“嵌入”到高维特征空间中，并假设数据可以由嵌入空间中的低秩或平滑流形表示。

通常，时间序列由“汉克尔矩阵”表示，其低秩属性已被广泛用于对线性时不变信号系统进行建模。

例如，李等人。

提出了一种基于低秩 Hankel 近似的阻尼正弦信号建模方法。

丁等人。

通过假设自回归移动平均模型，建议使用 Hankel 矩阵的秩最小化来解决视频修复问题。

图 2 显示了噪声时间序列的遮挡恢复示例，这表明总变化 (TV) 和二次变化(QV) 正则化方法重建了平面估计量，而 Hankel 矩阵的最小化（我们提出的方法）成功地重建了信号.
在所提出的方法中，不完整的输入数据不表示为汉克尔矩阵，而是通过沿时间/空间轴延迟/偏移的多路嵌入将它们表示为“高阶汉克尔张量”，我们解决了低嵌入空间中的秩张量补全问题。

矩阵/张量的秩的最小化是 NP-hard，问题通常被放宽到核范数最小化]。

核范数最小化松弛的一个缺点是它降低了所得矩阵/张量的秩以及矩阵/张量中的总分量值。

特别是，核范数最小化经常在去噪任务中获得“暗”信号。

因此，我们采用 Tucker 分解对高阶 Hankel 张量完成的低秩建模。

基于 Tucker 的张量补全是一个非凸优化问题，现有的方法通常难以选择步长参数。

在这项研究中，我们建议使用基于辅助函数的方法，它改善了优化过程的收敛特性。

此外，我们提出了一个秩增量方案来确定合适的多线性张量行列。

根据我们的大量实验，所提出的方法非常适合张量补全（例如，仅从 1% 的随机采样体素中恢复“Lena”），并且其性能优于最先进的张量补全方法。

在本节中，我们解释延迟嵌入操作。

为简单起见，我们首先为向量定义标准延迟嵌入变换，可以将其解释为时间序列信号。

接下来，我们考虑标准延迟嵌入的逆变换。

正向变换可以分解为复制和折叠，因此逆变换也可以分解为各个对应的逆变换：向量化操作和 MoorePenrose 伪逆。

在本节中，我们解释解决问题的算法。

需要注意的是，问题不是凸的，它的解不是唯一的，也不容易得到它的全局解。

在没有丢失元素的 Tucker 分解的情况下，已知交替最小二乘法 (ALS)可以有效地获得其驻点。

在缺少元素的情况下，近年来已经提出了使用梯度下降法和流形优化的求解算法。

梯度下降通常收敛缓慢，流形优化可以通过在流形上校正其更新方向来加速它。

然而，这两种方法的一个共同问题是步长参数的选择，因为收敛时间对步长参数很敏感。

我们还建议使用基于“辅助函数”的方法来执行缺失元素的塔克分解。

所提出的算法非常简单但有效，因为可以合并 ALS，并且它没有调整参数。

首先，我们定义原始成本函数和辅助函数。

在这项研究中，我们提出了一种新的方法和算法来解决包含缺失切片的张量补全问题。

丢失切片的恢复被认为是普通张量补全方法通常无法解决的难题。

为了解决这个问题，我们从动态系统的研究中引入了“延迟嵌入”的概念，并将
其扩展到我们的问题中。

我们表明可以通过考虑嵌入空间中的低秩模型来恢复丢失的切片，并且 MDT 是实现此目的的不错选择。

[1] E. J. Candes and Y. Plan. Matrix completion with
noise.Proceedings of the IEEE, 98(6):925–936, 2010. 1
[2] E. J. Candes and B. Recht. Exact matrix completion via convex optimization. Foundations of Computational Mathematics, 9(6):717–772, 2009. 1
[3] E. J. Candes and T. Tao. The power of convex relaxation:
Near-optimal matrix completion. IEEE Transactions on Information Theory, 56(5):2053–2080, 2010. 1
[4] Y.-L. Chen, C.-T. Hsu, and H.-Y. Liao. Simultaneous tensor decomposition and completion using factor priors. IEEE Transactions on Pattern Analysis and Machine Intelligence, 36(3):577–591, 2014. 1, 6, 10, 11
[5] L. De Lathauwer, B. De Moor, and J. Vandewalle. On the best rank-1 and rank-(r 1 , r 2 ,..., r n ) approximation of higherorder tensors. SIAM Journal on Matrix Analysis and Applications,
21(4):1324–1342, 2000. 3, 4。