Python机器学习与深度学习1.矩阵和线性代数_Python

VT
0 0.2
010 000
0
0.8
1 0 0
0
0 0 0 0 0
0 0 0 1 0 0.8 0 0 0 0.2
o 矩阵U和V都是单位正交方阵：UTU=I， VTV=I
Python机器学习与深度学习
4/89
SVD
Python机器学习与深度学习
5/89
奇异值分解-效果
Python机器学习与深度学习
Python机器学习与深度学习
15/89
矩阵模型
o 考虑某随机过程π，它的状态有n个，用1~n 表示。记在当前时刻t时位于i状态，它在t+1 时刻位于j状态的概率为P(i,j)=P(j|i)：
n 即状态转移的概率只依赖于前一个状态。
Python机器学习与深度学习
16/89
举例
o 假定按照经济状况将人群分成上、中、下三
a31 a32 a33
1 j n, A n aij 1 i j M ij
i 1
1 i n,
A
n
aij 1 i j M ij
j 1
A a11a22a33 a12a23a31 a13a21a32 a11a23a32 a12a21a33 a13a22a31
Python机器学习与深度学习
xi x j
i, jni j1
x n 1 1
x n 1 2
x n 1 3
x n 1 n
n 提示：数学归纳法
n 注：参考Lagrange/Newton插值法
Python机器学习与深度学习
14/89
矩阵的乘法
o A为m×s阶的矩阵，B为s×n阶的矩阵，那 么，C=A×B是m×n阶的矩阵，其中，
s
cij aikbkj k 1
A a21 a22 a23 a21 a22 a23 a21 a22 a23
a31
a32
a33 a31
a32
a33 a31
a32
a33
o 根据“主对角线元素乘积减去次对角线元素
的乘积”的原则，得：
A a11a22a33 a12a23a31 a13a21a32 a11a23a32 a a a a a a
Python机器学习与深度学习
2/89
SVD的提法
AT
A
vi
ivi
i
ui
1
i
i
A vi
A
UV T
o 奇异值分解(Singular Value Decomposition)是一种重要的矩阵分 解方法，可以看做对称方阵在任意矩阵上的推广。
n Singular：突出的、奇特的、非凡的 n 似乎更应该称之为“优值分解”
个阶层，用1、2、3表示。假定当前处于某 阶层只和上一代有关，即：考察父代为第i阶 层，则子代为第j阶层的概率。假定为如下转 移概率矩阵：
P 父代
0.65 0.15 0.12
子代 0.28 0.67 0.36
0.07 0.18 0.52
A
A*
0
0 A
0
0
A I A1
1 A
A*
0 0 A
n 思考：该等式有什么用？
Python机器学习与深度学习
13/89
范德蒙行列式Vandermonde
o 证明范德蒙行列式Vandermonde：
1 1 11
x1 x2 x3 xn
Dn x12 x22 x32 xn2
o 假设A是一个m×n阶实矩阵，则存在一个分解使得：
Amn
U
mm
VT
mn nn
n 通常将奇异值由大而小排列。这样，Σ便能由A唯一确定了。 o 与特征值、特征向量的概念相对应：
n Σ对角线上的元素称为矩阵A的奇异值； n U的第i列称为A的关于σi的左奇异向量； n V的第i列称为A的关于σi的右奇异向量。
Python机器学习与深度学习
10/89
代数余子式
o 在一个n阶行列式A中,把(i,j)元素aij所在的第i 行和第j列划去后，留下的n-1阶方阵的行列
式叫做元素aij的余子式，记作Mij。
o 代数余子式：Aij 1 i j Mij
a11 a12 a13 A a21 a22 a23
12/89
方阵的逆 A A* A I
o
由前述结论：1 i n,
A
n
aij 1 i j M ij
o 根据： a11
A
a21
an1
a12
a22
an2
a1n a2n
ann
j 1
A11
A*
A12
A1n
A21 A22
A2n
An1
An2
Ann
o 计算： A
6/89
SVD
Python机器学习与深度学习
7/89
线性代数
o 定义：方阵的行列式
n 1阶方阵的行列式为该元素本身 n n阶方阵的行列式等于它的任一行(或列)的各元
素与其对应的代数余子式乘积之和。
Python机器学习与深度学习
8/89
方阵的行列式
o 1×1的方阵，其行列式等于该元素本身。
A a11 A a11
11/89
伴随矩阵
o 对于n×n方阵的任意元素aij都有各自的代数 余子式 Aij 1 i j Mij ，构造n×n的方阵A*：
A11
A*
A12
A1n
A21
A22
A2n
An1 An2
Ann
o A*称为A的伴随矩阵。
n 注意Aij位于A*的第j行第i列
Python机器学习与深度学习
Python机器学习与深度学习
3/89
SVD举例 Amn
U
mm
VT
mn nn
o 已知4×5阶实矩阵A，求A的SVD分解：
1 0 0 0 2
A
0 0
0 0
3 0
0 0
0 0
0 4 0 0 0
0 1 0 0 0
0 0 1 0
4 0
U
0 0
1 0
0 0
0
1
0 0
3 0
0 0 5
0 0 0
0 0 0
o 2×2的方阵，其行列式用主对角线元素乘积 减去次对角线元素的乘积。
A
a11 a21
a12 பைடு நூலகம்22
A a11a22 a12a21
Python机器学习与深度学习
9/89
方阵的行列式
o 3×3的方阵： a11 a12 a13
A a21 a22 a23 a31 a32 a33
a11 a12 a13 a11 a12 a13 a11 a12 a13
矩阵和线性代数
——兼谈Python Package
主要内容
o 矩阵 n 线性代数是有用的：以SVD为例 n 矩阵的乘法/状态转移矩阵 n 矩阵和向量组
o 特征值和特征向量 n 对称阵、正交阵、正定阵 n 数据白化 n 正交基 n QR分解/LFM
o 矩阵求导 n 向量对向量求导 n 标量对向量求导 n 标量对矩阵求导