粒子群寻优法结合类神经网路

6. 7.
Move() Iteration iteration +1
8. end while



輸入層 用以表現網路的輸入變數，沒有計算能力，其輸 入變數的個數視處理問題的狀況而定 隱藏層 用以處理輸入單元送來的資料，使用線性轉換函 數。 輸出層 當網路在訓練時，此輸出為一訓值，將訓練值和 實際值的誤差回饋互連接權值(Connect Weight)， 以調整權值至最佳狀態，直至網路收斂為止。
E wkh * k * o ph wkh
k定義為：
k opk * (1 opk ) * (d pk opk )
坡度遞降法(Gradient Decent Method)

相同的，從隱藏層到輸入層，將成本函 數對此層的連結權重值的偏微分為：
E whi * h * o pi whi
(12)
演算法流程
1. 2. 3. 4. 5.
6.
Initial：
將群族做初始化，以隨機的方式求出每一Particle 之初始位置與速度。
Evaluation：
依據fitness function 計算出其fitness value 以作為判斷每一 Particle之好壞。
Fine the Pbest：
(7) (8) (9) (10)
vx[][] vx[][] rand ()* p _ increment *(pbestx[][]- presentx[][]) (11) vx[][] vx[][] 2* rand ()*( pbestx[][]- presentx[][]) 2* rand ()*( pbestx[][ gbest ]- presentx[][])
(2) (3) (4) (5)
if presentx[] pbestx[ gbest ] then vx[] vx[] rand () * p _ increment if presentx[] pbestx[ gbest ] then vx[] vx[] rand () * p _ increment if presenty[] pbesty[ gbest ] then vy[] vy[] rand () * p _ increment if presenty[] pbesty[ gbest ] then vy[] vy[] rand () * p _ increment

其中，oph為第h個隱藏層節點輸出，netph 為第h個隱藏層節點淨輸入值，而h為第h 個隱藏層節點的偏權值，whi是第h個隱藏 層節點對第i個輸入層節點的鏈結權重值， f(netph) 為網路之激發函數。
o pk f (netpk )
Байду номын сангаас
Feedforward學習過程 w *o
no i 1 kh
坡度遞降法(Gradient Decent Method)

為了要降低成本函數 E 可經由節點與節 點之間的連結權重值調整來達成，即：
E (W W ) E (W )
其中， W 為節點與節點之間的連結權 重值修正量。
坡度遞降法(Gradient Decent Method)

故對成本函數作二個結點之間的連結權 重值的偏為分為：
Start
END Yes
Initialize particle velocities and positions, each coordinate elements for the particle represent the NN weights
Evaluate the fitness value and devised Pbest, Gbest
i 1
nI
hi
* o pi
Feedforward學習過程

o ph f (netph )
輸出值 誤差值
隱藏層： o ph f (netph ), h 1,2,..,nH ,
netph whi * o pi h
i 1 nI
輸入層 隱藏層 輸出層
輸出值 誤差值
輸出值 誤差值

原理

簡介

Particle Swarm Optimization (PSO)為 James Kennedy 於1995年所提出。
Eval ( presentx 100) ( presenty 100)
(1)
if presentx[] pbestx[] then vx[] vx[] rand ()* p _ increment if presentx[] pbestx[] then vx[] vx[] rand ()* p _ increment if presenty[] pbesty[] then vy[] vy[] rand ()* p _ increment if presenty[] pbesty[] then vy[] vy[] rand ()* p _ increment
Particle Swarm Optimization -Neural Networks (PSO-NN)
粒子群尋優法結合類 神經網路
簡介

起源

生物社會學家對鳥群捕食的行為研究。 我們可以設想這樣的一個場景，一群鳥再隨機搜 尋食物。這個區域裡只有一塊食物。所有的鳥都 不知道食物再哪裡，但他們知道目前距離食物還 有多遠，那麼找到食物的最佳策略是什麼？最簡 單的方法就是找尋距離食物最近的鳥之周圍區域 及根據自己本身飛行的經驗判斷食物的所在。
Feedforward學習過程

輸入層：
opi x pi ,

i 1,2,...,nI
其中， xpi為訓練範例p(pth pattern)第i個 輸入層節點。 opi為第i個輸入層神經元的 輸出。 o pi x pi
輸出值
誤差值
輸出值 誤差值
輸出值 誤差值 輸入層 隱藏層 輸出層
w
回到步驟2. 繼續執行，直到獲得一個令人滿意的結果或符合終止 條件為止。
速度更新
Vid w Vid c1 Rand() ( pid xid ) c2 Rand() ( pgd xid ) xid xid Vid

(1) (2)
Vid ：每一Particle在第d維之速度
坡度遞降法(Gradient Decent Method)

定義成本函數E（Cost function）
1 EP (d pk o pk )2 2 k E EP
P
其中， Ep 為各訓練範例輸出的誤差， E 為所有訓練範例的總輸出誤差，dpk為第 k個輸出層節點目標值，k為輸出節點數， 而p為訓練範例的個數。

而
h o ph * (1 oph ) * wkh k
k
坡度遞降法(Gradient Decent Method)

在得到節點與節點之間的權重值的修正 量後，便可帶入修正公式
E (t ) w(t ) ( ) w(t 1) w
其中，i、h和k為輸入層、隱藏層、輸出層節 點數，η為學習速率（Learning rate）表示控 制每次以坡度遞降法最小化誤差函數的調幅， β為動量係數（Momentum coefficient），而t 為網路訓練過程的訓練次數（epoch、 iteration）。
Algorithm PSO (m, MAXITER, R1, R2) m : number of sample points(particle) MAXITER: maximum number of iterations C1, C2: learning constant R1, R2: velocity random parameter, R1, R2 [0,1] 1. Initialize ( ) 2. Iteration 1 3. While (iteration< MAXITER) do 4. 5. Evaluate ( ) Updating velocities and positions ( R1, R2, C1, C2)
找出每一Particle 到目前為止的搜尋過程中最佳解，這個最佳解我們 將之稱為Pbest。
Fine the Gbest：
找出所有Particle 到目前為止所搜尋到的整體最佳解，此最佳解我們 稱之為Gbest。
Update the Velocity：
依據式(1) 與式(2) 更新每一Particle之速度與位置。
ph
輸出值

輸出層：
o pk f (netpk ), k 1,2,...,nO netpk wkh * o ph k
k 1 nO
輸入層 隱藏層 輸出層
誤差值
輸出值 誤差值
輸出值 誤差值

其中，為opk第k個輸出層節點輸出， netpk 為第k個輸出層節點的淨輸入值，而k為第 k個輸出層節點的偏權值，是wkh第k個輸出 層節點對第 h 個隱藏層節點的鏈結權重值， f(netpk)為網路之激發函數。
Terminate condition achieved
No
Updating velocity and position for each particle
log-sigmoid layer
log-sigmoid layer 3-layers feed forward Neural Network
Q＆ A


i：Particle之編號 d：維度



w ：Inertia Weight c1、c2：學習常數 Rand()：一介於0至1的亂數 Pid ：每一Particle到目前為止，所出現的最佳位置 Pgd ：所有Particle到目前為止，所出現的最佳位置 xid ：每一Particle目前之所在