张量分解学习

18

CP分解的张量形式
◦ 将一个张量表示成有限个秩一张量之和，比如一个三阶张 量可以分解为
X A, B, C a r b r cr
r 1
R
X

a1
c1
b1

a2
c2
b2


aR
cR
bR
三阶张量的CP分解
19

CP分解的矩阵形式
◦ 因子矩阵：秩一张量中对应的向量组成的矩阵，如
A a1 a2
aR
◦ 利用因子矩阵，一个三阶张量的CP分解可以写成展开形式
X(1) A C X(2) B C X(3) C B
B
T T
A A
T
20

CP分解的切片形式
◦ 三阶张量的CP分解有时按（正面）切片写成如下形式：
X n U i
1
in1 jin1 iN
xi1i2
in 1
n
iN
u jin
◦ 这个定义可以写成沿mode-n展开的形式
Y X n U Y( n) UX( n)
◦ 性质：X m A n B X n B m A, m n
X n A n B X n BA
基本概念及记号
1

张量（tensor）
◦ 多维数组
一阶张量 （向量）
三阶张量 二阶张量 （矩阵）
2

张量空间
◦ 由若干个向量空间中的基底的外积张成的空间






向量的外积和内积
3

阶（order/ways/modes/rank）
◦ 张成所属张量空间的向量空间的个数
一阶张量（向量）： x {xi } 二阶张量（矩阵）： X {xij } 三阶或更高阶张量： X {xij k } 零阶张量（数量）： x
v
X m a n b X m a n1 b X n b m a, m n
12

矩阵的Kronecker乘积
◦ A
I ×J
,B
K× L
，则
a11B a12 B a B a B 21 22 AB aI 1B aI 2 B
a1J B a2 J B aIJ B

A
( n 1)
A
( n 1)

A
(1) T

14

矩阵的Khatri-Rao乘积
◦ A
I× K
A
, B J ×K ，则 B a1 b1 a2 b2
aK bK
IJ × K
◦ 性质：A
B C A B C A
B
C
15

矩阵的Hadamard乘积
I1× I2 × × IN
X ,Y
i1 1 i2 1
I1
I2
iN 1
x
I1
IN
i1i2 iN
yi1i2
iN
（Frobenius）范数：
X
X,X

i1 1 i2 1
I2
iN 1
2 x i1i2
IN
iN
7

秩一张量/可合张量
◦ N阶张量 X I1×I2 × ×I N 是一个秩一张量，如果它能被写 成N个向量的外积，即
+ T T

B AT A BT B

+
A
B
T
16
CP分解
17

CP分解的其他名字
◦ Polyadic Form of a Tensor, Hitchcock, 1927 ◦ PARAFAC(Parallel Factors), Harshman, 1970 ◦ CANDECOMP/CAND(Canonical decomposition), Carroll & Chang, 1970 ◦ Topographic Components Model, Mö cks, 1988 ◦ CP(CANDECOMP/PARAFAC), Kiers, 2000
三阶张量： X
I ×J ×K
4

纤维（fiber）
mode-1 （列） 纤维：x: jk
mode-2 （行） 纤维：xi:k
mode-3 （管） 纤维：xij:
5

切片（slice）
水平切片：Xi::
侧面切片：X: j:
正面切片：X::k ( Xk )
6
Hale Waihona Puke Baidu

内积和范数
◦ 设 X ,Y 内积：
◦ A
, B I ×J a11b11 a b A B 21 21 aI 1bI 1
I ×J
，则
a12b12 a22b22 aI 2bI 2
a1J b1J a2 J b2 J aIJ bIJ
I ×J
◦ 性质： A
B
T
A
A
B A A B B
IK ×JL
◦ 性质： A BC D AC BD
A B
+
A+ B+
13

矩阵的Kronecker乘积
◦ 矩阵的Kronecker积还和张量和矩阵的n-mode乘积有如 下关系
Y X 1 A(1)
(n)
N A ( N )
(N )
Y( n ) A X( n ) A
11

n-mode（向量）乘积
◦ 一个张量X I1×I2 × ×I N 和一个向量 v In 的n-mode 乘积 X n v I1× ×In1×In1× ×I N ，其元素定义为
X n v i
◦ 性质：
1
in1in1 iN
xi1i2
in 1
In
iN in
X a(1) a(2)
a( N )
c
X
b

a
三阶秩一张量：X
a b c
8

（超）对称和（超）对角
◦ 立方张量：各个mode的长度相等 ◦ 对称：一个立方张量是对称的，如果其元素在下标的任意 排列下是常数。如一个三阶立方张量是超对称的，如果
xijk xikj x jik x jki xkij xkji ,i, j, k ◦ 对角：仅当 i1 i2 iN 时，xi1i2 iN 0
张量的（超）对角线
9

展开（matricization/unfolding/flattening） ◦ 将N阶张量 X 沿mode-n展开成一个矩阵 X( n)
X (1)

三阶张量的mode-1展开
10

n-mode（矩阵）乘积
◦ 一个张量X I1×I2 × ×I N 和一个矩阵 U J ×In 的n-mode IN 乘积 X n U I1× ×In1×J ×In1× × ，其元素定义为 I