张量分解学习
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
一阶张量（向量）：x {xi} 二阶张量（矩阵）：X {xij } 三阶或更高阶张量：X {xij k } 零阶张量（数量）：x
三阶张量：X I×J×K
第4页/共47页
4
纤维（fiber）
mode-1 （列）
纤维：x: jk
mode-2 （行）
纤维：xi:k
mode-3 （管）
纤维：xij:
◦ 性质：A BCD AC BD A B+ A+ B+
第13页/共47页
13
矩阵的Kronecker乘积
◦ 矩阵的Kronecker积还和张量和矩阵的n-mode乘积有如 下关系
Y X 1 A(1) N A(N )
Y(n) A(n)X(n) A(N ) A(n1) A(n1)
张量的（超）对角线
9
展开（matricization/unfolding/flattening）
◦ 将N阶张量 X 沿mode-n展开成一个矩阵X(n)
X(1)
三阶张量的mode-1展开
第10页/共47页
10
n-mode（矩阵）乘积
◦ 一个张量X I1×I2× ×IN 和一个矩阵 U J×In 的n-mode
A a1 a2
aR
◦ 利用因子矩阵，一个三阶张量的CP分解可以写成展开形式
X(1) A C BT X(2) B C AT X(3) CB AT
第20页/共47页
20
CP分解的切片形式
◦ 三阶张量的CP分解有时按（正面）切片写成如下形式：
Xk AD(k )BT
其中 D(k ) diag(ck:)
A(1) T
第14页/共47页
14
矩阵的Khatri-Rao乘积
◦ A I×K , B J×K ，则
A B a1 b1 a2 b2
aK bK IJ×K
◦ 性质：A B C A B C A B C
第15页/共47页
15
矩阵的Hadamard乘积
◦ A I×J , B I×J ，则
ar
cr
br
X
A
BT
Xk
D(k )
三阶张量CP分解的正面切片形式
第21页/共47页
21
带权CP分解
◦ 为了计算方便，通常假设因子矩阵的列是单位长度的，从
而需要引入一个权重向量 λ R ，使CP分解变为
乘积 X n U
I1× ×In1×J×In1× ×IN，其元素定义为 In
X U n
i1 in1 jin1 iN
x u i1i2 iN jin
in 1
◦ 这个定义可以写成沿mode-n展开的形式
Y X n U Y(n) UX(n)
◦ 性质：X m A n B X n B m A, m n
第5页/共47页
5
切片（slice）
水平切片：Xi::
侧面切片：X: j:
正面切片：X::k (Xk )
第6页/共47页
6
内积和范数
◦ 设 X ,Y I1×I2× ×IN
内积：
I1 I2
X ,Y i1 1 i2 1
IN
x y i1i2 iN i1i2 iN
iN 1
（Frobenius）范数：
◦ Polyadic Form of a Tensor, Hitchcock, 1927 ◦ PARAFAC(Parallel Factors), Harshman, 1970 ◦ CANDECOMP/CAND(Canonical decomposition),
Carroll & Chang, 1970 ◦ Topographic Components Model, Mö cks, 1988 ◦ CP(CANDECOMP/PARAFAC), Kiers, 2000
◦ 立方张量：各个mode的长度相等
◦ 对称：一个立方张量是对称的，如果其元素在下标的任意 排列下是常数。如一个三阶立方张量是超对称的，如果
xijk xikj x jik x jki xkij xkji ,i, j, k ◦ 对角：仅当 i1 i2 iN 时，xi1i2 iN 0
第9页/共47页
基本概念及记号
第1页/共47页
1
张量（tensor）
◦ 多维数组
一阶张量 （向量）
二阶张量 （矩阵）
三阶张量
第2页/共47页
2
张量空间
◦ 由若干个向量空间中的基底的外积张成的空间
向量的外积和内积
第3页/共47页
3
阶（order/ways/modes/rank）
◦ 张成所属张量空间的向量空间的个数
第18页/共47页
18
CP分解的张量形式
◦ 将一个张量表示成有限个秩一张量之和，比如一个三阶张 量可以分解为
R
X A, B,C ar br cr r 1
c1 b1
c2 b2
cR bR
X
a1
a2
aR
三阶张量的CP分解
第19页/共47页
19
CP分解的矩阵形式
◦ 因子矩阵：秩一张量中对应的向量组成的矩阵，如
X
I1 I2
X,X i1 1 i2 1
IN
x2 i1i2 iN
iN 1
第7页/共47页
7
秩一张量/可合张量
◦ N阶张量 X I1×I2× ×IN 是一个秩一张量，如果它能被写
成N个向量的外积，即
X a(1) a(2)
a(N )
c
b
X
a
三阶秩一张量：X a b c
第8页/共47页
8
（超）对称和（超）对角
X n An B X n BA
第11页/共47页
11
n-mode（向量）乘积
◦ 一个张量X I1×I2× ×IN 和一个向量 v In 的n-mode
乘积 X n v
I1× ×In1×In1× ×IN ，其元素定义为
In
X v n
i1 in1in1 iN
x v i1i2 iN in
a11b11 A B a21b21
aI1bI
1
a12b12 a22b22
aI 2bI 2
a1J b1J
a2 Jb2 JI来自×JaIJ bIJ◦ 性质：A BT A B ATABTB
A B+ ATABTB + A BT
第16页/共47页
16
CP分解
第17页/共47页
17
CP分解的其他名字
in 1
◦ 性质：
X m a n b X m a n1 b X n b m a, m n
第12页/共47页
12
矩阵的Kronecker乘积
◦ A I×J , B K×L ，则
a11B A B a21B
aI
1B
a12B a22B
aI 2B
a1J B
a2
J
B
IK ×JL
aIJ
B
三阶张量：X I×J×K
第4页/共47页
4
纤维（fiber）
mode-1 （列）
纤维：x: jk
mode-2 （行）
纤维：xi:k
mode-3 （管）
纤维：xij:
◦ 性质：A BCD AC BD A B+ A+ B+
第13页/共47页
13
矩阵的Kronecker乘积
◦ 矩阵的Kronecker积还和张量和矩阵的n-mode乘积有如 下关系
Y X 1 A(1) N A(N )
Y(n) A(n)X(n) A(N ) A(n1) A(n1)
张量的（超）对角线
9
展开（matricization/unfolding/flattening）
◦ 将N阶张量 X 沿mode-n展开成一个矩阵X(n)
X(1)
三阶张量的mode-1展开
第10页/共47页
10
n-mode（矩阵）乘积
◦ 一个张量X I1×I2× ×IN 和一个矩阵 U J×In 的n-mode
A a1 a2
aR
◦ 利用因子矩阵，一个三阶张量的CP分解可以写成展开形式
X(1) A C BT X(2) B C AT X(3) CB AT
第20页/共47页
20
CP分解的切片形式
◦ 三阶张量的CP分解有时按（正面）切片写成如下形式：
Xk AD(k )BT
其中 D(k ) diag(ck:)
A(1) T
第14页/共47页
14
矩阵的Khatri-Rao乘积
◦ A I×K , B J×K ，则
A B a1 b1 a2 b2
aK bK IJ×K
◦ 性质：A B C A B C A B C
第15页/共47页
15
矩阵的Hadamard乘积
◦ A I×J , B I×J ，则
ar
cr
br
X
A
BT
Xk
D(k )
三阶张量CP分解的正面切片形式
第21页/共47页
21
带权CP分解
◦ 为了计算方便，通常假设因子矩阵的列是单位长度的，从
而需要引入一个权重向量 λ R ，使CP分解变为
乘积 X n U
I1× ×In1×J×In1× ×IN，其元素定义为 In
X U n
i1 in1 jin1 iN
x u i1i2 iN jin
in 1
◦ 这个定义可以写成沿mode-n展开的形式
Y X n U Y(n) UX(n)
◦ 性质：X m A n B X n B m A, m n
第5页/共47页
5
切片（slice）
水平切片：Xi::
侧面切片：X: j:
正面切片：X::k (Xk )
第6页/共47页
6
内积和范数
◦ 设 X ,Y I1×I2× ×IN
内积：
I1 I2
X ,Y i1 1 i2 1
IN
x y i1i2 iN i1i2 iN
iN 1
（Frobenius）范数：
◦ Polyadic Form of a Tensor, Hitchcock, 1927 ◦ PARAFAC(Parallel Factors), Harshman, 1970 ◦ CANDECOMP/CAND(Canonical decomposition),
Carroll & Chang, 1970 ◦ Topographic Components Model, Mö cks, 1988 ◦ CP(CANDECOMP/PARAFAC), Kiers, 2000
◦ 立方张量：各个mode的长度相等
◦ 对称：一个立方张量是对称的，如果其元素在下标的任意 排列下是常数。如一个三阶立方张量是超对称的，如果
xijk xikj x jik x jki xkij xkji ,i, j, k ◦ 对角：仅当 i1 i2 iN 时，xi1i2 iN 0
第9页/共47页
基本概念及记号
第1页/共47页
1
张量（tensor）
◦ 多维数组
一阶张量 （向量）
二阶张量 （矩阵）
三阶张量
第2页/共47页
2
张量空间
◦ 由若干个向量空间中的基底的外积张成的空间
向量的外积和内积
第3页/共47页
3
阶（order/ways/modes/rank）
◦ 张成所属张量空间的向量空间的个数
第18页/共47页
18
CP分解的张量形式
◦ 将一个张量表示成有限个秩一张量之和，比如一个三阶张 量可以分解为
R
X A, B,C ar br cr r 1
c1 b1
c2 b2
cR bR
X
a1
a2
aR
三阶张量的CP分解
第19页/共47页
19
CP分解的矩阵形式
◦ 因子矩阵：秩一张量中对应的向量组成的矩阵，如
X
I1 I2
X,X i1 1 i2 1
IN
x2 i1i2 iN
iN 1
第7页/共47页
7
秩一张量/可合张量
◦ N阶张量 X I1×I2× ×IN 是一个秩一张量，如果它能被写
成N个向量的外积，即
X a(1) a(2)
a(N )
c
b
X
a
三阶秩一张量：X a b c
第8页/共47页
8
（超）对称和（超）对角
X n An B X n BA
第11页/共47页
11
n-mode（向量）乘积
◦ 一个张量X I1×I2× ×IN 和一个向量 v In 的n-mode
乘积 X n v
I1× ×In1×In1× ×IN ，其元素定义为
In
X v n
i1 in1in1 iN
x v i1i2 iN in
a11b11 A B a21b21
aI1bI
1
a12b12 a22b22
aI 2bI 2
a1J b1J
a2 Jb2 JI来自×JaIJ bIJ◦ 性质：A BT A B ATABTB
A B+ ATABTB + A BT
第16页/共47页
16
CP分解
第17页/共47页
17
CP分解的其他名字
in 1
◦ 性质：
X m a n b X m a n1 b X n b m a, m n
第12页/共47页
12
矩阵的Kronecker乘积
◦ A I×J , B K×L ，则
a11B A B a21B
aI
1B
a12B a22B
aI 2B
a1J B
a2
J
B
IK ×JL
aIJ
B