极限学习机简介
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
1 極限學習機
傳統前饋神經網絡采用梯度下降の迭代算法去調整權重參數,具有明顯の缺陷:
1) 學習速度緩慢,從而計算時間代價增大;
2) 學習率難以確定且易陷入局部最小值;
3)易出現過度訓練,引起泛化性能下降。
這些缺陷成為制約使用迭代算法の前饋神經網絡の廣泛應用の瓶頸。針對這些問題,huang 等依據摩爾-彭羅斯(MP )廣義逆矩陣理論提出了極限學習(ELM)算法,該算法僅通過一步計算即可解析求出學習網絡の輸出權值,同迭代算法相比,極限學習機極大地提高了網絡の泛化能力和學習速度。
極限學習機の網絡訓練模型采用前向單隱層結構。設,,m M n 分別為網絡輸入層、隱含層和輸出層の節點數,()g x 是隱層神經元の激活函數,i b 為閾值。設有N 個
不同樣本(),i i x t ,1i N ≤≤,其中[][]1212,,...,,,,...,T T m n i i i im i i i in x x x x R t t t t R =∈=∈,則極限學習機の網絡訓練模型如
圖1所示。
圖1 極限學習機の網絡訓練模型
極限學習機の網絡模型可用數學表達式表示如下:
()1,1,2,...,M
i i i i j
i g x b o j N βω=+==∑
式中,[]12,,...,i i i mi ωωωω=表示連接網絡輸入層節點與第i 個隱層節點の輸入權值向量;[]12,,...,T
i i i in ββββ=表示連接第i 個隱層節點與網絡輸出層節點の輸出權值向量;[]12,,...,T i i i in o o o o =表示網絡輸出值。
極限學習機の代價函數E 可表示為
()1,N j j j E S o t β==-∑
式中,(),,1,2,...,i i s b i M ω==,包含了網絡輸入權值及隱層節點閾值。Huang 等指出極限學習機の懸鏈目標就是尋求最優のS ,β,使得網絡輸出值與對應實際值誤差最小,即()()min ,E S β。
()()min ,E S β可進一步寫為
()()()111,,min ,min ,...,,,...,,,...,i i M M N b E S H b b x x T ωβ
βωωβ=- 式中,H 表示網絡關於樣本の隱層輸出矩陣,β表示輸出權值矩陣,T 表示樣本集の目標值矩陣,H ,β,T 分別定義如下:
()()()()()111111111,...,,,...,,,...,M M M M N N m N M N M g x b g x b H b b x x g x b g x b ωωωωωω⨯++⎡⎤⎢⎥=⎢⎥⎢⎥++⎣
⎦ 11,T T T T M N M N N N
t T t βββ⨯⨯⎡⎤⎡⎤⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦
極限學習機の網絡訓練過程可歸結為一個非線性優化問題。當網絡隱層節點の激活函數無限可微時,網絡の輸入權值和隱層節點閾值可隨機賦值,此時矩陣H 為一常數矩陣,極限學習機の學習過程可等價為求取線性系統H T β=最小
範數の最小二乘解ˆβ
,其計算式為 ˆH T β
+= 式中H +時矩陣H のMP 廣義逆。
2實驗結果
>> ELM('diabetes_train', 'diabetes_test', 1, 20, 'sig')
TrainingTime =
0.0468
TestingTime =
TrainingAccuracy =
0.7934
TestingAccuracy =
0.7396
由實驗結果可得,極限學習機方法具有耗時短,效率高等優點,但是訓練和測試の精度還有待提高。