神经网络激活函数求导公式总结

CNN 常用激活函数与其求导公式 sigmoid: ，x e

x f -+=11)(1 若记);()(1x x f σ= )](1[)()1()('2

1x x e e x f x x

σσ-⋅=+=--

tanh:

，1)2(2112)(22-=-+=-x e x f x σ 若记);()(2x h x f =

)](1[)(2)1(4)('2222x h x h e e x f x x -⋅⋅=+⋅=--

ReLu:

),0m ax ()(3x x f =

⎩⎨⎧≤>=0,00,1)('3x x x f

Leaky ReLu:

⎩⎨⎧<⋅≥=0,0,)(4x x x x x f α

⎩⎨⎧<≥=0,0,1)('4x x x f α

Leaky ReLu 是ReLu 的改良版

Softplus:

)1log()(5x e x f +=

)(111)('5x e e e x f x x x σ=+=+=-

Softplus 是ReLu 的圆滑版

补：两种最常用分类器

Softmax 分类器: )log(∑-=j f f i j yi e e L

SVM 分类器： ∑≠∆+-=yi j i yi i j x w x w Li ),0max(