高斯混合模型GaussianMixtureModel

wibi (xt )
M k 1
wk
bk
(
xt )
第1個特徵參數 第2個特徵參數 第3個特徵參數 第4個特徵參數
w1b1 w2b2 w3b3
EM演算法
❖ 對各參數進行重新估算
wi
1 T
T t 1
p
(i
|
xt
,
)
i
T t 1
p(i
|
xt
,
) xt
T t 1
p(i
|
xt
,
)
i
1 D
T t 1
E[(X
2
2
)(X1
1 )T
]
E[(X 2 2 )(X 2 2 )T ]
E[(X n n )(X1 1)T ]
E[(X1
1 ) ( X
n
n
)T
]
E[(X 2 2 )(X n n )T ]
E[(X n n )(X n n )T ]
估算初始參數值
• 假設有三組特徵參數分別為 X 1 [1 2] X 2 [3 4] X3 [5 6]，
平均值為3
1
2
3
4
平均值為4
則
5
6
1 3
1
3
5
1
3(3
5
3)
1
1
3
3
5
2
3(4
6
4)
1 3
2
4
6
1
4(3
5
3)
1
2
3
4
6
2
4(4
6
4)
2.667 2.667
2.667 2.667
EM演算法
❖ 取得第i個混和的事後機率值
p(i | xt , )
特徵參數4
4
5
6
特徵參數7
7
8
9
特徵參數8 10
11
12
❖ 混合權重值wi 4/12=0.3334
i
❖ 平均向量
1 T
T t 1
xt
5.5
6.5
7.5
估算初始參數值
❖ 共變異矩陣 i
E[(X E[x])(X E[ X ])T ]
E[(
X1
1
)(
X
1
1
)T
]
E[(X1 1)(X 2 2 )T ]
LBG演算法
❖ 計算平均向量與特徵參數的距離總和，使得總體距離和獲得 最小，也就是當更新率小於δ時即停止 (D D')
D
其中，D’為前一回合的總距離值
❖ 重複之前的步驟，直到分裂到所設定的數目
EM演算法
估算初始參數值
❖ 假設有12個特徵參數(音框)，分群後的其中一個A群聚由特 徵參數1 特、徵4參、數7和1 8四個1 特徵參數2 所組成，3如下:
辨識
❖ 將每個樣本與待測的語音進行最大相似估算，機率值最大的，
即為答案
Sˆ arg max p( X | k )
1k S
Sˆ
arg max 1k S
T
log
t 1
p( xt
| k )
高斯分布
其中μ為平均值 (Mean)，σ為標準差(Standard Deviation)
高斯混合模型
利用高斯模型的平均值描述特徵參數的分佈位置，共 變異矩陣來描述分型形狀的變化，因此高斯混合模型 可以很平滑的描述聲音的特徵分佈
高斯混合模型(10個高斯成分)表示圖
高斯混合模型
❖ 用一個高斯混合模型來表示一位語者
高斯混合模型
❖ 高斯混合密度為Mp個(x高| 斯) 密M度w的ibi 權(x)重加總，其公式為: i 1 其中 x 為特徵向量，bi (x) 為高斯機率密度值， wi 為混合權重值
M
wi 1
❖ 混合權重必須符合 i1
之條件
❖
基本密度是D維的高1 斯函數 bi (x) (2 )D/ 2 | i |1/ 2 exp{
1 2
( x
i
)T
i
1
(
x
i )}
其中 i 為平均向量， i為共變異矩陣，D為特徵向量的維度
演算法流程
LBG演算法
D2
D1
Dtotal = D1 + D2
LBG演算法
❖ 計算整體平均向量
1 T
T t 1
xt
❖ 進行分裂:
m m (1 ) m m (1 )
❖ 將分裂後的平均向量進行分類，並計算出新群集的平均向 量
p(i
|
xt
,
)(xt
i
)T
T t 1
p(i
|
xt
,
)
( xt
i
)
EM演算法
❖ 進行最大相似估算
p(X | )
T
p( xt
|
)
T
log
p( xt
|
百度文库
)
t 1
t 1
其中
p( xt
|)
M
wibi (xt )
i 1
❖ 收斂條件
p( X | (k1) ) p( X | (k) ) 收斂門檻