多维尺度分析

1 tr (G ) = ∑ (x i − x) (x i − x) = − tr (HSH ) 2 i =1 1 1 T = − tr (HS) = − tr (S − ee S) 2 2 d 1 1 1 2 = − tr (S) + tr (eT Se) = s ∑ ij 2 2 2n i , j =1
多维尺度分析

给定d维欧氏空间中n个点的坐标和它们 之间的欧氏距离矩阵 ，将其正交投影到 r(r<d)维欧氏空间中，使得距离平方和误 差最小。
n n 2 2 arg min sij − ∑ d ij ∑ Z i , j =1 i , j =1
多维尺度分析
X n×d
n 1 = (x1 , , x n )T , x = ∑ x k n k =1 2 sij = (x i − x j )T (x i − x j ), i, j = 1, , n
q
U n×q = (u1 , , u q ) n×q , u u j = δ ij , U U = I q
T i T
多维尺度分析

确定点的坐标
T ˆ = UΛ 2 = ( l u , , l u ) = (x ˆ ˆ X x , , ) q q q n×q n 1 1 1 1
ˆ = (x ˆi − x ˆ j )T ( x ˆi − x ˆ j) S 则： ˆ =X ˆ; 1) HX ˆ = S。 2) S
(
)
n×n
性质1)说明它们已经去中心化了。
多维尺度分析

A（-434.3，45.5）、B（362.1，677.1）、C （1594.9，149.3）、D（-6.2，-1182.5）、E （-1516.5，310.5）
A A B C D E 0 B 1016.4 0 C 2031.9 1341.1 0 D 1300.5 1895.7 2082.6 0 E 1114.1 1914.0 3115.6 2123.7 0
ˆ = HX ˆ)= l ˆX ˆ T H = U Λ U T = ∑ l u u T , ∴ tr (G G ∑i r r r i i i
i =1 i =1 n 1 1 1 1 1 T T 2 ˆ ) = − tr (HS ˆ H ) = − tr (S ˆ H ) = − tr (S ˆ −S ˆ ee ) = tr (S ˆ ee ) = ˆij tr (G s ∑ 2 2 2 2 2n i , j =1
T n
S=
i , j =1
T 2 = − x x 2 ( ) (x i − x) = 2n ⋅ tr (G ) s n ∑ ij ∑ i i =1
d
n
多维尺度分析
令q = min(d , n)，则
T G = U q Λ q U = ∑ li u i uT , u i i u j = δ ij T q i =1 q
n
d
J (Z ) =
i , j =1
ˆ ) = (z − z ) (z − z ) = (x − x)T L LT (x − x) tr (G ∑ i ∑ i i i 1 1
T i =1 i =1 T T T ( )( ) ] [ ( )( ) x x x x L L x x x x L1 ] tr = ∑ tr[LT − − = − − i i i i 1 1 1∑ i =1 i =1 T T T ( ) ) ( HX HXL L X HXL1 ) tr = tr (LT = 1 1 1 n n
1 2 1 S =( s ) , A =(aij ) n×n = (− sij ) n×n = − S 2 2 Gram矩阵：G = (x i − x)T (x j − x) n×n = HXXT H
2 ij n×n
∆
∆
(
)
1 则有：G = HAH = − HSH, H是去中心化矩阵。 2
多维尺度分析
T = tr (G ) = tr U q Λ q U T tr Λ U q q q U q = tr (Λ q )
l1 U q = (u1 , u q ) n×q , Λ q = , l1 ≥ ≥ lq ≥ 0 l q q× q
(
) (
)
= ∑ li
T T 1 1 T T 2
≥d
2 ij
多维尺度分析
1 n z = ∑ z k = LT 1x n k =1 1 2 1 ˆ ˆij ) n×n = ( − d ij ) n×n = − D D =( d ) , A =( a 2 2 T ˆ = ( z − z )T ( z − z ) Z的Gram矩阵：G = HZZ H i j n×n
i =1
q
多维尺度分析
定理：假设L d ×d = ((L1 ) d ×r , L 2 )是一个任意的旋转 矩阵（正交矩阵)。令Z n×r = (z1 , , z n )T = XL1是X
2 = (z i − z j )T (z i − z j )。则有： 在r维子空间的投影，d ij 2 2 1）d ij ≤ sij （ ； −1 T ˆ (2) L1 = X HU r Λ r 2 ,
多维尺度分析
ˆ ) = tr (LT XT HXL ) = tr (LT VΛV T L ) tr (G 1 1 1 1 当L1取V的前r个列向量时， L1 = ( v1 , , v r ) = X HU r Λ
T q r i =1 i =1 −1 2 r q
min J (Z) = 2n∑ li − 2n∑ λi = 2n ∑ li
i = r +1
ˆ = HXL = HX( v , , v ) = (HXv , , HXv ) HZ r r 1 1 1 = ( λ1 u1 , , λr u r ) = U r Λ r 2
r
r
ˆ = S
i , j =1
ˆ ∑s
n
2 ij
ˆ ) = 2n l 。同理有： = 2n ⋅ tr (G S = ∑i
i =1 q
r
i , j =1
∑s
n
2 ij
= 2n ⋅ tr (G ) = 2n∑ li。
i =1
q
ˆ = 2n l 逼近误差为： E (r ) = S − S ∑i
i = r +1
多维尺度分析

MDS求解五城市问题
多维尺度分析
一般的，我们可以在r (r < q )维空间中来逼近欧氏距离矩阵。
1 ˆ ˆ 1 ,, x ˆ n )T 令X = U r Λ r 2 = ( l1 u1 , , l r u r ) n×r = (x 2 ˆ = (s ˆ =(−2a ˆij ˆi − x ˆ j ) T (x ˆi − x ˆ j )) n×n = −2 A ˆ ij ) n×n S ) n×n = ((x ∆
T
1 n Gram矩阵：G n×n = HXX H = (x i − x) (x j − x) n×n , x = ∑ x k n k =1 1 则有：G = HAH = − HSH, H是去中心化矩阵。 2 可以由距离矩阵S求Gram矩阵G。
(
)
多维尺度分析
n 1 1 1 T T e e = 1, ee = n 1 1 HH = (I − ee T )(I − ee T ) = I − 2ee T + ee T = H He = e − ee T e = 0, (x1 − x, , x n − x) T = HX I n = (e1 , , e n ), x i − x = X T He i , G = HXXT H HGH = HHXX T HH = HXXT H = G H = I n − ee , e =
T
1
(1, ,1) T
多维尺度分析
2 sij = (x i − x j ) T (x i − x j ) = ((x i − x) − (x j − x)) T ((x i − x) − (x j − x))
= (x i − x) T (x i − x) + (x j − x) T (x j − x) − 2(x i − x) T (x j − x)
多维尺度分析
假设n个对象为：X = (x1 , , x n ) T 。注意：x i 未知！
2 = (x i − x j ) T (x i − x j ) i, j = 1, , n sij ∆ ∆
距离矩阵：S =( s )
2 ij n×n
, A =(aij ) n×n
T
1 2 1 = (− sij ) n×n = − S 2 2
T T 2 Ge e Ge e = eT + − i i j j i Ge j T S = ((x i − x j ) T (x i − x j )) n×n = e T i Ge i + e j Ge j
(
)
n×n
− 2e T i Ge j
(
)
n×n
T e1 Ge1 T T Ge1 , , e T = n e + ne e1 n Ge n − 2G e T Ge n n
2 ij n×n ∆ ∆
(
)
1 ˆ ˆ 则有：G = HAH = − HDH, H是去中心化矩阵。 2
多维尺度分析
i , j =1
ˆ ), s 2 = S = 2n ⋅ tr (G ) 2 ( D G d n tr = = ⋅ ∑ ∑ ij
2 ij i , j =1 2 2 ˆ )) ( s d − ∑ ij ij ) = 2n(tr (G ) − tr (G n n n
多维尺度分析