北京交通大学机器学习(于剑)课后习题答案

F2(x ) 2x 1 1 都使回归函数到达目标函数的最小值。
2 由岭回归推导的最后表示式有
W AAT I
1 1 A 1 3 2 4


1
AB ，在上述数据集上其中
3 7
B
所以代入上式有
2 4 6 W 4 10 14 10 14 20
5
L
k
xk x0
2

T (w i (x k k i
1
d
T T x0 ) (x k x 0 ) ) wi
T i(w i wj i
1
d
1)
求导有：
L 2 (I p x 0
T w iw i ) (x k i k
1
d
x0 )
L T 2 (x k x 0 )(x k x 0 ) w i 2iw i w i k
c
对任意对象总有唯一一个类与其最相似。所以样本可分性公理成立。
1
且 k 1 uik 1 ，有对于每一类总有至少有一个对象属于该类。 ~ ，即样本的认知表示和外延表示归类能力等价，所以有 由归类等价公理 X X
N
对任意一类至少有一个样本与其最相似。所以类可分性公理成立。 4 由非正则划分，有 ikj((j i ) (uik u jk )) ~ 又一般情况下归类等价公理总是满足的，所以 X X 所以 ikj((j i ) Sim X (x k ,X i ) Sim X (x k ,X j ))。 5 样本可分性公理有
u
1
nBaidu Nhomakorabea
xk k
1
n
2
第四章
1
n
(x k k
1
n
u )2
1 如下数据集只有两个样本
X x 1 ,y 1 , x 2 ,y 2
其中



x 1 (1, 2),y 1 3 x 2 (3, 4),y 2 7
在该数据集上有多个回归函数达到目标函数的最小值，如 F1(x ) x 1 x 2 ，
Sim X (x k ,X j ))， 由 2 式有 i,k(Sim X (x k ,X i ) j(j i )
即 i,k ,j((j i ) Sim X (x k ,X i ) Sim X (x k ,X j ))。 由 3 式归类等价公理有认知表示和外延表示归类能力等价， 即 Sim X (x k ,X i ) Sim X (x k ,X j ) uik u jk ， 所以有 i,k ,j((j i ) uik u jk )。
d
d
T T T x 0 )) wi (w j (x k x 0 ) wj )
2
T (w i (x k i
1
d
T x0) ij(x k x 0 ) wj )
x k x 0

T (w i (x k i
1
T T x0) (x k x 0 ) ) wi
由拉格朗日乘子法有，拉格朗日函数为
1
1 1 3 1 3 2 4 7
4
当 0 时，矩阵 AAT I 不可逆，无法求出显示解 当 M , M 时，则 3Lasso 回归 如在广告推广问题上， 一种算法 FFM 把广告推广中每一类的输入特征的属性 的取值看作输出特征， 多个输入特征的属性值进行笛卡尔积，将输出特征维度拉 的很高， 这样导致了在样本数据不多情况下会出现过拟合现象，常用逻辑回归加 L1 范的形式，即 Lasso 回归防止过拟合。
10
第三章 1
K (x ) x xk

2
p

1/ p
,p
p(x | )
1 x 2 exp ( ) 2 2 1
3
ln p(x k | )
1 1 1 ln 2 ln 2 (x k )2 2 2 2 2
由指派算子和相似算子
2
k(arg maxi uik i X )
~) k(arg mini Ds X (x k ,X i ) i X ~ ，所以 k(arg maxi uik arg mini Ds X (x k ,X i ) 由归类等价公理有 X X
7 k ,i,j((j i ) SimY (y k ,Yi ) SimY (y k ,Yj )) 即对任意一个对象， 该对象与任意两类的相似度都不同， 则必然存在最大的一个。 即 k ,i,j((j i ) SimY (y k ,Yi ) SimY (y k ,Y j )) 所以有 k ,i((arg maxi Sim(y k ,Yi ) i ) 即 k ,i(y ~k i ) 所以样本可分性公理成立。 8 由归类等价公理有 ~ X X ~ Y Y
由指派算子和相似算子有 k(arg maxi uik i X )
~) k(arg maxi Sim X (x k ,X i ) i X ~ ，所以 k(arg maxi uik arg maxi Sim X (x k ,X i )。 由归类等价公理有 X X
6 样本可分性公理
2
((x k i
1
d
2
x0) wi ) wi
T
2
2 (x k x 0 )
d
T
((x k i
1
d
x0) wi ) wi
T
((x k i
1
d
2
x0) wi ) wi
T d
2
T T T 2 (w i (x k x 0 ) (x k x 0 ) ) wi i 1 d T T T 2 (w i (x k x 0 ) (x k x 0 ) ) wi i 1 d T T T 2 (w i (x k x 0 ) (x k x 0 ) ) wi i 1 d T T T 2 (w i (x k x 0 ) (x k x 0 ) ) wi i 1 d
2 非负矩阵分解相异性度量采用如下
2 Ds X (x k ,x ) exp X WH


则有：
min
W ,H
exp X k
WH
2
t W 0,H 0 s.
采用拉格朗日乘子法，有拉格朗日函数为 2 L(W ,H ) exp X WH A,W B ,H 其中 A，B 是拉格朗日乘子。 对 W，H 求偏导有：
~ Y ~ ，则 X Y 所以，若 X ~ Y ~ 若 X Y ，则 X
~ Y ~ X Y 。 ~ Y ~ 等价于 X Y 。 X 所以归类等价公理成立的条件下， 即X
9 由指派算子 k(arg maxi uik i X ) 有 X 1 2,X 2 1,X 3 3,X 4 2,X 5 1,X 6 1, 2, 3
k , i(x ~k i ) k , i(arg mini Ds X (x k ,X i ) i ) k , i(Ds X (x k ,X i ) j(j i )Ds X (x k ,X j )) k , i ,j((j i ) Ds X (x k ,X i ) Ds X (x k ,X j ))
2 满足归类公理有 样本可分性公理： k ,i(x ~k i ) （1） 类可分性公理： i,k(x ~k i ) ~ 归类等价公理： X X （2） （3）
由 1 式有 k ,i(Sim X (x k ,X i ) j(j i ) Sim X (x k ,X j ))， 即 k ,i,j((j i ) Sim X (x k ,X i ) Sim X (x k ,X j ))。 由 3 式归类等价公理有认知表示和外延表示归类能力等价， 即 Sim X (x k ,X i ) Sim X (x k ,X j ) uik u jk 所以有 k ,i,j((j i ) uik u jk )。
类可分性公理
i , k(x ~k i ) i ,k(arg mini Ds X (x k ,X i ) i ) i ,k(Ds X (x k ,X i ) j(j i )Ds X (x k ,X j )) i ,k ,j((j i ) Ds X (x k ,X i ) Ds X (x k ,X j ))


第五章 1
L 0 x 0
推导过程：
T w j ij ,i j ,ij 1 ;i jij 0 由 W 是一组正交向量基，所以 ij ,w i
min Ds X (x k ,x )
x k
Ds X (x k ,x ) (x k x 0 )
xk x0 xk x0 xk x0 xk x0 xk x0
由后式代入上式，且 i 等于协方差矩阵的迹，所以有
d
x0
k
xk N
(x k k
i 1
T x 0 )(x k x 0 ) w i iw i
所以
L 0 的通解为 x 0
x 0j
xk k N 任意
I pjj I pjj
d T w w i i i 1 jj d T w iw i i 1 jj
第二章 1 充分性： 由样本可分性公理有 k ,i(x 即对任意对象总有唯一一个类与其最相似。 ~k i )， 所以 k( arg maxi Sim X (x k ,X i ) 1)。 必要性： 由 k( arg maxi Sim X (x k ,X i ) 1)， 有对任意一个对象与其最相似的类有且仅有 一个。所以有 k ,i(x ~k i )。
k ,i(x ~k i ) k ,i(Sim X (x k ,X i ) j(j i ) Sim X (x k ,X j )) k ,i ,j((j i ) Sim X (x k ,X i ) Sim X (x k ,X j ))
类可分性公理有
i ,k(x ~k i ) i ,k(Sim X (x k ,X i ) j(j i ) Sim X (x k ,X j )) i ,k ,j((j i ) Sim X (x k ,X i ) Sim X (x k ,X j ))
~， 3 归类等价公理 X X
U 为硬划分，即
i
c
1
uik 1,uik 0, 1 ,k 1 uik 1
N
0, 1，有对于一个样本而言只有属于与不属于某类 由 uik
且 i 1 uik 1 ，所以每个样本对于 c 类而言有且仅有属于一类 ~ ，即样本的认知表示和外延表示归类能力等价，所以有 由归类等价公理 X X
2
((x k x 0 )T w i )w i ((x k x 0 )T w i )w i
i 1 d i 1
d
2
((x k i j
d
1 1
T x0) wi ) w i ((x k x 0 )T w j ) wj

T
2
T (w i (x k i j
1 1
1 2 (x k ) 0 ln( p(x k | )) 1 1 (x k )2 2 2 2 2 2 ( )
n 1 2 (x k ) 0 k 1 n n 1 1 (x k )2 0 2 2 2 k 1 ( ) k 1