应用部分权重学习法训练连续式双向联想记忆体

4
I. 前 言
• 連續式雙向聯想記憶體(continuous
additive BAM)：
– 使用微分方程組來描述其動態行為
5
II. 連續式雙向聯想記憶體的訓練
• 雙向聯想記憶體(BAM)：
1
1
{e j e j e j} X (1) ,Y (1) , X (2) ,Y (2) ,, X ( M) ,Y ( M)
20
III. 實驗結果與分析- 實驗二
correction rate (%)
1 0.8 0.6 0.4 0.2
0 0 1 2 3 4 5 6 7 8 9 10 error bi ts
bTuned=False;
for(for every training pattern) {
1. perform associative remembering processes
2. if (can’t recall correctly) {
perform PMT training algorithm
b g n
z j Si ci ui wij J j
2 y2 S(z2 )
Y
i 1
d i p
ui vij S j d j z j Ii
j 1
wij
j y j S(zj ) p yp S(zp)
b g dz j (t) dt
n
bj z j (t) Si
)

Sj
(
xi(k ) wij )
H K i
FG IJ xi(k) Si (
wij

y
(k j
)
)
y
(k j
)
H K j
7
II. 連續式雙向聯想記憶體的訓練
x1 S(1) 1 x2 S(2 ) 2
X
xi S(i ) i
xn S(n ) n
1 y1 S(z1)
3
I. 前 言
• 改善 BAM 的其他研究：
– Multiple Training；MT – Bidirectional Learning；BL (partial multiple training; PMT) – Pseudo-relaxation algorithm for BAM；PRLAB
2
X
i
2
Y
j
X (k) x1(k) , x2(k) ,, xn(k)
Y (k)
y1(k
)
,
y2(k
)
,,
y
(k p
)
n
p
W
Q
T
M XkYk
k 1
6
II. 連續式雙向聯想記憶體的訓練
• 雙向聯想記憶體(BAM)：
1
2
X
i
1
2
Y
j
n
p
W
FG IJ wij xi(k)
y
(k j
12
III. 實驗結果與分析- 實驗一
13
III. 實驗結果與分析- 實驗一
correction rate (%)
1 0.8 0.6 0.4 0.2
0 0 1 2 3 4 5 6 7 8 9 10 error bi ts
BAM cBAM(CT=1) cBAM(CT=20)
(a) 10組標準字型情況下的錯誤位元辨識率
14
III. 實驗結果與分析- 實驗一
correction rate (%)
1 0.8 0.6 0.4 0.2
0 0 1 2 3 4 5 6 7 8 9 10 error bi ts
BAM cBAM(CT=1) cBAM(CT=20)
(b) 15組標準字型情況下的錯誤位元辨識率
15
III. 實驗結果與分析- 實驗一
)

S
j(
xi(k ) wij )
H K i
FG IJ xi(k) Si (
wij

y
(k j
)
)
y
(k j
)
H K j
9
II. 連續式雙向聯想記憶體的訓練
• 訓練過程：學習演算法(learning algorithm)
initialization:
bTuned=True;
while(bTuned) {
bTuned=True;
}
}
}
10
III. 實驗結果與分析
11
III. 實驗結果與分析
本實驗將探討在不同的位元錯誤率下，BAM和cBAM 對於錯誤樣型的自我校正能力。
本實驗中，對每一個字型的辨識過程均重複作 100 次 取其平均作為該字型的辨識率，然後我們再取所有字 型辨識率的平均值當作實驗結果。
i 1
ci u(t i )
wij
Jj
W
d i dui (t) dt
aiui (t) pvi Nhomakorabea S j
j 1
d j z(t j )
Ii
8
II. 連續式雙向聯想記憶體的訓練
• 訓練方式- PMT：
FG IJ wij xi(k)
y
(k j
應用部分權重學習法訓練 連續式雙向聯想記憶體
主講人：藍 國 桐 博士 德明財經科技大學 資訊科技系
1
I. 前 言 II. 連續式雙向聯想記憶體的訓練 III. 實驗結果與分析 IV. 結 論
2
I. 前 言
• Bidirectional Associative Memory；BAM 的問題：
– 記憶容量太少 – 交鏈 (cross talk) 的現象 – 假穩態 (spurious state)
(a) 10組標準字型情況下的錯誤位元辨識率
19
III. 實驗結果與分析- 實驗二
correction rate (%)
1 0.8 0.6 0.4 0.2
0 0 1 2 3 4 5 6 7 8 9 10 error bi ts
BAM cBAM(CT=1) cBAM(CT=20)
(b) 15組標準字型情況下的錯誤位元辨識率
correction rate (%)
1 0.8 0.6 0.4 0.2
0 0 1 2 3 4 5 6 7 8 9 10 error bi ts
BAM cBAM(CT=1) cBAM(CT=20)
(c) 26組標準字型情況下的錯誤位元辨識率
16
III. 實驗結果與分析- 實驗一
本實驗所使用的是部分權值訓練法(PMT)，它已被證實： 對於聯想記憶體(BAM)的記憶容量的提昇具有相當好的 能力。 cBAM的錯誤位元辨識能力明確地優於BAM
權值訓練法亦適用於cBAM
17
III. 實驗結果與分析- 實驗二
18
III. 實驗結果與分析- 實驗二
correction rate (%)
1 0.8 0.6 0.4 0.2
0 0 1 2 3 4 5 6 7 8 9 10 error bi ts
BAM cBAM(CT=1) cBAM(CT=20)