多维尺度分析

T T 1 1 T T 2
≥d
2 ij
多维尺度分析
1 n z = ∑ z k = LT 1x n k =1 1 2 1 ˆ ˆij ) n×n = ( − d ij ) n×n = − D D =( d ) , A =( a 2 2 T ˆ = ( z − z )T ( z − z ) Z的Gram矩阵：G = HZZ H i j n×n
T
1
(1, ,1) T
多维尺度分析
2 sij = (x i − x j ) T (x i − x j ) = ((x i − x) − (x j − x)) T ((x i − x) − (x j − x))
= (x i − x) T (x i − x) + (x j − x) T (x j − x) − 2(x i − x) T (x j − x)
n
d
J (Z ) =
i , j =1
ˆ ) = (z − z ) (z − z ) = (x − x)T L LT (x − x) tr (G ∑ i ∑ i i i 1 1
T i =1 i =1 T T T ( )( ) ] [ ( )( ) x x x x L L x x x x L1 ] tr = ∑ tr[LT − − = − − i i i i 1 1 1∑ i =1 i =1 T T T ( ) ) ( HX HXL L X HXL1 ) tr = tr (LT = 1 1 1 n n
2 ij n×n ∆ ∆
(
)
1 ˆ ˆ 则有：G = HAH = − HDH, H是去中心化矩阵。 2
多维尺度分析
i , j =1
ˆ ), s 2 = S = 2n ⋅ tr (G ) 2 ( D G d n tr = = ⋅ ∑ ∑ ij
2 ij i , j =1 2 2 ˆ )) ( s d − ∑ ij ij ) = 2n(tr (G ) − tr (G n n n
多维尺度分析
ˆ ) = tr (LT XT HXL ) = tr (LT VΛV T L ) tr (G 1 1 1 1 当L1取V的前r个列向量时， L1 = ( v1 , , v r ) = X HU r Λ
T q r i =1 i =1 −1 2 r q
min J (Z) = 2n∑ li − 2n∑ λi = 2n ∑ li
T n
S=
i , j =1
T 2 = − x x 2 ( ) (x i − x) = 2n ⋅ tr (G ) s n ∑ ij ∑ i i =1
d
n
多维尺度分析
令q = min(d , n)，则
T G = U q Λ q U = ∑ li u i uT , u i i u j = δ ij T q i =1 q
q
U n×q = (u1 , , u q ) n×q , u u j = δ ij , U U = I q
T i T
多维尺度分析

确定点的坐标
T ˆ = UΛ 2 = ( l u , , l u ) = (x ˆ ˆ X x , , ) q q q n×q n 1 1 1 1
ˆ = (x ˆi − x ˆ j )T ( x ˆi − x ˆ j) S 则： ˆ =X ˆ; 1) HX ˆ = S。 2) S
多维尺度分析

MDS求解五城市问题
多维尺度分析
一般的，我们可以在r (r < q )维空间中来逼近欧氏距离矩阵。
1 ˆ ˆ 1 ,, x ˆ n )T 令X = U r Λ r 2 = ( l1 u1 , , l r u r ) n×r = (x 2 ˆ = (s ˆ =(−2a ˆij ˆi − x ˆ j ) T (x ˆi − x ˆ j )) n×n = −2 A ˆ ij ) n×n S ) n×n = ((x ∆
T
1 n Gram矩阵：G n×n = HXX H = (x i − x) (x j − x) n×n , x = ∑ x k n k =1 1 则有：G = HAH = − HSH, H是去中心化矩阵。 2 可以由距离矩阵S求Gram矩阵G。
(
)
多维尺度分析
n 1 1 1 T T e e = 1, ee = n 1 1 HH = (I − ee T )(I − ee T ) = I − 2ee T + ee T = H He = e − ee T e = 0, (x1 − x, , x n − x) T = HX I n = (e1 , , e n ), x i − x = X T He i , G = HXXT H HGH = HHXX T HH = HXXT H = G H = I n − ee , e =
i = r +1
ˆ = HXL = HX( v , , v ) = (HXv , , HXv ) HZ r r 1 1 1 = ( λ1 u1 , , λr u r ) = U r Λ r 2
T = tr (G ) = tr U q Λ q U T tr Λ U q q q U q = tr (Λ q )
l1 U q = (u1 , u q ) n×q , Λ q = , l1 ≥ ≥ lq ≥ 0 l q q× q
(
) (
)
= ∑ li
T T 2 Ge e Ge e = eT + − i i j j i Ge j T S = ((x i − x j ) T (x i − x j )) n×n = e T i Ge i + e j Ge j
(
)
n×n
− 2e T i Ge j
ຫໍສະໝຸດ Baidu
(
)
n×n
T e1 Ge1 T T Ge1 , , e T = n e + ne e1 n Ge n − 2G e T Ge n n
ˆ = HX ˆ)= l ˆX ˆ T H = U Λ U T = ∑ l u u T , ∴ tr (G G ∑i r r r i i i
i =1 i =1 n 1 1 1 1 1 T T 2 ˆ ) = − tr (HS ˆ H ) = − tr (S ˆ H ) = − tr (S ˆ −S ˆ ee ) = tr (S ˆ ee ) = ˆij tr (G s ∑ 2 2 2 2 2n i , j =1
2 ij T T T 1 1 T
s = (x i − x j ) (x i − x j ) = (x i − x j ) LL (x i − x j )
2 ij T T
= (x i − x j ) (L1 , L 2 )(L1 , L 2 ) (x i − x j )
T T
= (x i − x j ) L L (x i − x j ) + (x i − x j ) L 2 L (x i − x j )
多维尺度分析

多维尺度分析（MDS）——给定n个对象 的相异度矩阵，在欧氏空间中表示对象 的方法，也即在欧氏空间中找n个点的坐 标，实现对象的“构形”， 并用它们之 间的欧氏距离来近似相异度。
多维尺度分析

例：已知五个城市之间的飞行距离，请在平 面上画出这个城市。
A A B C D E 0 B 1178 0 C 1967 1308 0 D 1356 1890 2078 0 E 1010 1854 3119 2100 0
多维尺度分析

注意：当距离矩阵S不是欧氏距离时， Gram矩阵G不一定是半正定的，可能有 负的特征值。当负的特征值较小时，选 择G的前r个非负特征值和特征向量来表 示对象可以得到比较好的近似。但是， 如果负的特征值很大时，就会出现比较 大的误差。
多维尺度分析

Classical MDS （CMDS）——给定欧氏 空间中n个对象和它们之间的欧氏距离 sij 。 我们要找n个点的坐标，使得它们之间的 欧氏距离 d ij逼近原来的距离 sij 。
多维尺度分析
假设n个对象为：X = (x1 , , x n ) T 。注意：x i 未知！
2 = (x i − x j ) T (x i − x j ) i, j = 1, , n sij ∆ ∆
距离矩阵：S =( s )
2 ij n×n
, A =(aij ) n×n
T
1 2 1 = (− sij ) n×n = − S 2 2
r
r
ˆ = S
i , j =1
ˆ ∑s
n
2 ij
ˆ ) = 2n l 。同理有： = 2n ⋅ tr (G S = ∑i
i =1 q
r
i , j =1
∑s
n
2 ij
= 2n ⋅ tr (G ) = 2n∑ li。
i =1
q
ˆ = 2n l 逼近误差为： E (r ) = S − S ∑i
i = r +1
1 tr (G ) = ∑ (x i − x) (x i − x) = − tr (HSH ) 2 i =1 1 1 T = − tr (HS) = − tr (S − ee S) 2 2 d 1 1 1 2 = − tr (S) + tr (eT Se) = s ∑ ij 2 2 2n i , j =1
多维尺度分析

我们知道：
λ1 T T X HX = VΛ n V , λ1 ≥ ≥ λn ≥ 0, Λ n = λ n V = ( v1 , , v n ), v T i v j = δ ij XT HX与HXXT H有相同的非零特征值， XT Hu i HXv i λi = li > 0，v i = ， ，i ≤ min(d , n) ui = li λi
(
)
HSH = −2HGH = −2G 1 G = − HSH = HAH 2
多维尺度分析
He = e − ee e = 0， ∴ Ge = 0 = 0e
T
G是实对称半正定矩阵，最多有 q (q < n)个正特征值：l1 ≥ ≥ l q > 0 l1 G = UΛ q U T = ∑ li u i u T Λq = i , i =1 lq q× q
多维尺度分析

给定d维欧氏空间中n个点的坐标和它们 之间的欧氏距离矩阵 ，将其正交投影到 r(r<d)维欧氏空间中，使得距离平方和误 差最小。
n n 2 2 arg min sij − ∑ d ij ∑ Z i , j =1 i , j =1
多维尺度分析
X n×d
n 1 = (x1 , , x n )T , x = ∑ x k n k =1 2 sij = (x i − x j )T (x i − x j ), i, j = 1, , n
(
)
n×n
性质1)说明它们已经去中心化了。
多维尺度分析

A（-434.3，45.5）、B（362.1，677.1）、C （1594.9，149.3）、D（-6.2，-1182.5）、E （-1516.5，310.5）
A A B C D E 0 B 1016.4 0 C 2031.9 1341.1 0 D 1300.5 1895.7 2082.6 0 E 1114.1 1914.0 3115.6 2123.7 0
ˆ = arg min J (Y) = arg min ∑ ( s 2 − d 2 ) = 2n ∑ l Z ij ij i
Z Z i , j =1 i = r +1
n
q
多维尺度分析
z i = L xi
T 1
d = (z i − z j ) (z i − z j ) = (x i − x j ) L L (x i − x j )
i =1
q
多维尺度分析
定理：假设L d ×d = ((L1 ) d ×r , L 2 )是一个任意的旋转 矩阵（正交矩阵)。令Z n×r = (z1 , , z n )T = XL1是X
2 = (z i − z j )T (z i − z j )。则有： 在r维子空间的投影，d ij 2 2 1）d ij ≤ sij （ ； −1 T ˆ (2) L1 = X HU r Λ r 2 ,
1 2 1 S =( s ) , A =(aij ) n×n = (− sij ) n×n = − S 2 2 Gram矩阵：G = (x i − x)T (x j − x) n×n = HXXT H
2 ij n×n
∆
∆
(
)
1 则有：G = HAH = − HSH, H是去中心化矩阵。 2
多维尺度分析