基于BP神经网络的手写数字识别PPT资料 共19页

连接的权值：两个互连的神经元之间相互作用的强弱。
神经元的动作：
激活函数 f：
y 1
n
net wi xi i1 y f (ne)t
y 1
(xi, wi R)
y 1
0θ
net
（a）
阈值型
net 0
（b）
S型
0
net
（c）
分段线性型
输出值： y f n wixi
i1
图像标准化处理
待测图片标准化
输入：白底黑字的二值图像
处理办法：把图像中每10*10的点进行划分相加，进
行相加成一个点,统计每个小区域中图像 象素所占百分比作为特征数据
输出：5*7=35个网格特征
人工神经网络概况
人工神经网络(Artificial Neural Networks，ANN)： 简称神经网络。 模拟人脑神经细胞的工作特点： * 单元间的广泛连接； * 并行分布式的信息存贮与处理； * 自适应的学习能力等。
基于BP神wk.baidu.com网络的手写数字识别
内容
1 背景介绍 2 神经网络分类器设计 3 实例讲解
4 小结
研究背景
手写数字识别是光学字符识别技术（OCR）的一个分支, 研究如何利用计算机自动辨认手写在纸张上的数字。手写 体数字的随意性很大,字体大小、倾斜、笔画的粗细等都会 对识别结果造成影响。下面是一些样例：
神经网络之梯度下降法
确定参数 1、输入向量 X=[X1,X2,X3,...,Xn] 2、输出向量 Y=[Y1,Y2,Y3,...,Yn] 希望输出向量 O=[O1,O2,O3,...,On] 3、隐含层输出向量 B=[b1,b2,b3,...,bp]T 4、输入层到隐含层权值 Wji=[wj1,wj2,...,wjt,...,wjn] 5、隐含层到输出层权值 Vkj=[vk1,vk2,...,vkj...,vkp]
d k o k y ky k1 y k
2、隐含层各单元校正误差
ej q vkj.dkbj 1bj
k1

3、连接权值以及校正量
vkj .dk.bj wji .ej.xi k .dkw j .ej
神经网络之梯度下降法
循环记忆训练：
i1

同理，可以求得输出端的激活值和输出值
神经网络之梯度下降法
输入模式顺传播：
3、计算输出层第k个单元的激活值
p
Sk vkj.bj k j1
4、计算输出层第k个单元的 实际输出值
yk f sk t1,2,..q.,
神经网络之梯度下降法
输出误差的逆传播：
1、输出层的校正误差
与目前按串行安排程序指令的计算机结构截然不同。
人工神经元
人工神经元：生物神经元的简化模拟。
n维输入向量X
x1
w1
x2
w2
互连强度
激活函数
接收的信息
(其它神经元的输出)
┇
┇
∑ f
y
xn
wn
作比较 的阈值
输出
y f n wixi
i1

人工神经元模型
人工神经元间的互连：信息传递路径轴突-突触-树突的简化；

设 wn1 ，点积形式： yf(WTX)
式中，W [w 1, ,w n,w n 1]T X[x1, ,xn,1]T
BP神经网络
网络拓扑结构：
1、BP神经网络具 有三层或三层以 上的多层神经网络
2、每一层都由若干个神经元组成 3、左右各层之间神经元实现全连接，同层神经元无 连接
结束
神经网络之梯度下降法
输入模式顺传播：
1、计算隐含层各神经元的激活值 n sj wji.xi j j1,2,3,.p ., i1
激活函数采用S型函数，即
fx 1
1exp(x)
2、隐含层j单元的输出值
bj f sj

1
n 1exp
wji.xi j
为了让网络的输出误差趋于极小值，一般需要进 行数百次甚至上万次循环记忆，不断的反复循环上面 介绍的步骤
实例详解
图片库mnist样例:(0~9)500*(28*28)
待测试图片：
实例详解1
实例详解2
小结
1、神经网络可以有效对手写数字进行分类 2、需要尽可能的添加手写数字到样品库 3、神经网络有可能会陷入局部极小值，导致错分