基于神经网络(BP神经网络,CNN)和集成学习的手写字符识别
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
基于神经网络和集成学习 的字符识别
文字Байду номын сангаас人类表达和交流信息的重要工具之一，不论是在生产还是日
常生活中，人们都要接触和处理大量的文字信息。字符识别能够将 字符高速、快效的输入到计算机系统，实现人机交互，减轻人们的 劳动，将人力从枯燥冗杂的工作中解放出来，提高处理效率，因而 具有重要的研究价值。
CONTENTS
04
算法改进
对前面所述的研究进行创新性的改进，使得能够更高效地识别，主要 有四种改进。
IA
IMPROVEMENT OF ALGORITHM
神经网络参数改进
01
优化器
传统优化器为SGD、
02
激活函数
传统为sigmod、tanh， 本文采用ReLU、 PReLU、Leakly ReLU 等激活函数
03
集成学习--Bagging
原因/理由：单一模型具有局限性 。
任何一种模型，都有其缺陷，通过多模型组合
能够趋近完美。 启发：某一次听说有人用多分类器跑mnist到 100%正确率。 一个计算天才去算10000道四则运算题，很大 某一道题可能会犯错，那么他就只能算是趋近 完美。但如果十个计算天才一起去做这10000 道题，每道题由多数人投票决定，那么，最终 的效果必定是更优秀的 。
参数的值，得到令人满意的参数
RN
RESIDUAL NETWORK
论文：《Deep Residual Learning for Image Recognition》 CVPR2015/2016 最佳论文
残差网络
https://arxiv.org/abs/1512.03385
Instead of hoping each few stacked layers directly fit a desired underlying mapping, we explicitly let these layers fit a residual mapping. Formally, denoting the desired underlying mapping as H(x),we let the stacked nonlinear layers fit another mapping of F(x): H(x)-x. The original
FN
THE TWO FRAME OF NEURAL NETWORK
两种框架
TensorFlow
TensorFlow 是一个采用数据流图（data flow graphs），
用于数值计算的开源软件库。节点（Nodes）在图中表示 数学操作，图中的线（edges）则表示在节点间相互联系 的多维数据数组，即张量（tensor）。它灵活的架构让你 可以在多种平台上展开计算，例如台式计算机中的一个或 多个CPU（或GPU），服务器，移动设备等等。
卷积神经网络
卷积神经网络（Convolutional Neural Network, CNN） 是一种前馈神经网络，它的人工神经元可以响应一部分 覆盖范围内的周围单元，对于大型图像处理有出色表现。
一般包括卷积层(convolutional layer)、池化层
(pooling layer)和全连接层(dense layer)。
FIVE 扩展及实际运用
对算法的进行实际运用性的扩展，以及实际运用。
01
研究意义
神经网络识别文字研究的意义，目的，识别文字能够进行的相关工作。
SR
SIGNIFICANCE OF RESEARCH
研究意义
简化文字输入
字符识别能够将字符高速、
车牌号码识别
车牌智能自动识别作为智能
快递信息录入
快递信息录入能够极大地减
ONE 研究意义
神经网络识别文字研究的意义，目的，识 别文字能够进行的相关工作。
THREE 研究结果
到目前为止，研究的结果，使用神经网络对字 符进行识别能达到的效果。
TWO 研究相关
研究主要涉及的领域、研究中所使用的相 关理论、以及研究所使用的技术和方法。
FOUR 算法改进
对前面所述的研究进行创新性的改进，使得能 够更高效地识别，主要有四种改进。
集成学习
深度学习
行表征学习的方法。观测值（例如一幅图像）可以使用多种方 式来表示，如每个像素强度值的向量，或者更抽象地表示成一
系列边、特定形状的区域等。
集成学习(ensemble learning)集成学习是使用一系列学习器进 行学习，并使用某种规则把各个学习结果进行整合从而获得比 单个学习器更好的学习效果的一种机器学习方法。。
MR
THE TWO NEURAL NETWORK OF RECGNIZATION
两种神经网络
反向传播神经网络
向传播(back propagation, BP)算法是1986年由
Hinton和McClelland为首的科学家提出的概念。BP 神经网络是一种采用这种算法进行高效训练的多层前 馈神经网络，是目前应用最强大最广泛的神经网络之 一。
1. 在参数空间中，随机采样（比如）100 个点 2.对每个点计算低度数傅里叶基的特征向量， 捕捉参数之间的相关性 3.对于计算好的 100 个特征向量，跑拉锁算法， 得到（比如） 5 个重要的特征，以及这些特征
对应的参数
4.固定这些参数的值，得到了新的调参数问题 （参数个数减少，搜索空间降低）。 5. 回到第一步。重复若干轮之后，固定了很多
入的工作，使得工作人员能 够从辛苦、单一无聊的工作 中解放出来，有效地加速中 国快递业的发展。
邮件的分类主要靠人工阅读
并分类，再往各个地区发送， 整个过程费时耗力。近年来， 着计算机理论与技术为背景 的人工智能运用的不断普及，
价值。
集等许多系统中都需要识别
车牌号码。
使得机器录入成为现实。
02
研究相关
尽管是很简单的思想，但其所带来的效果令人
惊叹。(Error: 0.9% -> 0.6%） 因为单一模型的就已经足够优秀，所以数字上 反应并不明显
HA
Harmonica
调参算法
论文：《Hyperparameter Optimization: A Spectral Approach》 https://arxiv.org/abs/1706.00764
mapping is recast into F(x)+x.
并不通过简单的stack的方式把网络的深度增加就可以提高 performance(因为梯度消失/弥散问题、神经退化问题(神经元或其他失效))。 假设原本期望的映射函数为H(x)，我们让堆叠的非线性层去拟合另一个映射 F(x):H(x)- x，而原来函数映射则变为F(x)+ x。学习到的F(x)即为残差。 残差：残差在数理统计中是指实际观察值与估计值（拟合值）之间的 差。“残差”蕴含了有关模型基本假设的重要信息。如果回归模型正确的话， 我们可以将残差看作误差的观测值。
BN
BP-NN
BP神经网络
BN
CONVOLUTIONAL NEURAL NETWORK
卷积神经网络
CN
COMMITTEE OF NEURAL NETWORKS
神经网络集成
ER
THE CURVE OF ERROR
误差曲线(mnist)
ER
THE ERROR RATE OF RECOGNITION
of all preceding layers are treated
as separate inputs whereas its own feature maps are passed on as inputs to all subsequent layers. 一个词概括就是：Dense，多层神 经网络组合成一个Dense Block， 每一个Dense Block都紧密相连。
05
算法扩展及运用
对算法的进行实际运用性的扩展，以及实际运用。
紧接卷积神经网络(Densely Connected Convolutional Networks,DenseNet)，可
类的效果也是令人十分满意。
以看做是ResNet的一个特例，
通过紧密连接，能够减轻梯 度消失。
尽管是很简单的思想，但
其所带来的效果令人惊叹。
CM
CONBINATION CLASSIFICATION MODEL
止，还没有一台计算机能产生“自我”的意识。 机器学习(Machine Learning, ML)是一门多领域交叉学科，涉
机器学习
及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门 学科。专门研究计算机怎样模拟或实现人类的学习行为，以获 取新的知识或技能，重新组织已有的知识结构使之不断改善自 身的性能。它是人工智能的核心。 深度学习(Deep Learning, DL)是机器学习中一种基于对数据进
邮件文字录入
在传统模式邮件寄送过程中，
快效的输入到计算机系统，
实现人机交互，减轻人们的 劳动，将人力从枯燥冗杂的 工作中解放出来，提高处理 效率，因而具有重要的研究
交通管理系统中的重要组成
部分，应用非常广泛，高速 公路收费管理、超速违章自 动拍照、停车场管理、小区 进出车辆管理、交通数据采
轻快递工作人员文字信息录
DN
DENSELY CONNECTED CONVOLUTION NETWORK
紧接卷积网络
论文：《Densely Connected Convolutional Networks》 CPVR2017最佳论文 https://arxiv.org/abs/1608.06993
For each layer, the feature maps
优化层
在传统CNN上添加了 DropOut、 Regularization、Batch Normalization 优化层。
Momentum，采用
Adam优化器进行神经网 络的优化
IA
IMPROVEMENT OF ALGORITHM
算法改进
01
Bagging
Bagging算法是一种集成
学习算法。因为单一模型 具有局限性，任何一种模 型，都有其缺陷，通过多 模型组合能够趋近完美。
02
Harmonica
Harmonica算法是优秀 一种调参算法，十分高效， 并且能够适应于几乎一切 场景。在机器学习里面， 调参尤其重要。
03
ResNet
残差网络(residual network, ResNet)，通过残差网络，可 以把网络层弄的很深，现在达 到了1000多层，最终的网络分
04
DenseNet
Keras
Keras 是一种高度模块化，使用简单上手快，合适深度 学习初学者使用的深度学习框架。Keras由纯Python编 写而成并以Tensorflow、Theano以及CNTK为后端。
Keras为支持快速实验而生，能够把你的idea迅速转换
为结果。
03
研究结果
到目前为止，研究的结果，使用神经网络对字符进行识别能达到的效 果。
误差率(mnist)
97.3
%
98.3
%
99.1
Input ->
%
99.4
%
搭建BP-NN
Input(Batch_size*28*28) -> Dense(1024) ->
搭建组合BP-NN
Multi-(Input -> Dense(1024) -> Relu activation -> Dense(10) -> Softmax activation -> Output(10) ) -> Combination -> Final output
搭建CNN+调参
搭建组合CNN
Multi-(Input -> Conv2d -> Pooling -> relu ->
Conv2d -> Pooling -> relu ->
Relu activation ->
Dense(10) -> Softmax activation -> Output(10)
Conv2d -> Pooling -> relu ->
Flat -> dense -> dense -> Output
Conv2d -> Pooling -> relu ->
Flat -> dense -> dense -> Output) -> Combination -> Final output
研究主要涉及的领域、研究中所使用的相关理论、以及研究所使用的 技术和方法。
DK
DOMAIN OF KNOWLEDGE
领域
人工智能(Artificial Intelligence, AI)，是研究、开发用于模拟、 延伸和扩展人的智能的理论、方法、技术及应用系统的一门新
人工智能
的技术科学。21 世纪，已经取得了长足的进步，但是到目前为
文字Байду номын сангаас人类表达和交流信息的重要工具之一，不论是在生产还是日
常生活中，人们都要接触和处理大量的文字信息。字符识别能够将 字符高速、快效的输入到计算机系统，实现人机交互，减轻人们的 劳动，将人力从枯燥冗杂的工作中解放出来，提高处理效率，因而 具有重要的研究价值。
CONTENTS
04
算法改进
对前面所述的研究进行创新性的改进，使得能够更高效地识别，主要 有四种改进。
IA
IMPROVEMENT OF ALGORITHM
神经网络参数改进
01
优化器
传统优化器为SGD、
02
激活函数
传统为sigmod、tanh， 本文采用ReLU、 PReLU、Leakly ReLU 等激活函数
03
集成学习--Bagging
原因/理由：单一模型具有局限性 。
任何一种模型，都有其缺陷，通过多模型组合
能够趋近完美。 启发：某一次听说有人用多分类器跑mnist到 100%正确率。 一个计算天才去算10000道四则运算题，很大 某一道题可能会犯错，那么他就只能算是趋近 完美。但如果十个计算天才一起去做这10000 道题，每道题由多数人投票决定，那么，最终 的效果必定是更优秀的 。
参数的值，得到令人满意的参数
RN
RESIDUAL NETWORK
论文：《Deep Residual Learning for Image Recognition》 CVPR2015/2016 最佳论文
残差网络
https://arxiv.org/abs/1512.03385
Instead of hoping each few stacked layers directly fit a desired underlying mapping, we explicitly let these layers fit a residual mapping. Formally, denoting the desired underlying mapping as H(x),we let the stacked nonlinear layers fit another mapping of F(x): H(x)-x. The original
FN
THE TWO FRAME OF NEURAL NETWORK
两种框架
TensorFlow
TensorFlow 是一个采用数据流图（data flow graphs），
用于数值计算的开源软件库。节点（Nodes）在图中表示 数学操作，图中的线（edges）则表示在节点间相互联系 的多维数据数组，即张量（tensor）。它灵活的架构让你 可以在多种平台上展开计算，例如台式计算机中的一个或 多个CPU（或GPU），服务器，移动设备等等。
卷积神经网络
卷积神经网络（Convolutional Neural Network, CNN） 是一种前馈神经网络，它的人工神经元可以响应一部分 覆盖范围内的周围单元，对于大型图像处理有出色表现。
一般包括卷积层(convolutional layer)、池化层
(pooling layer)和全连接层(dense layer)。
FIVE 扩展及实际运用
对算法的进行实际运用性的扩展，以及实际运用。
01
研究意义
神经网络识别文字研究的意义，目的，识别文字能够进行的相关工作。
SR
SIGNIFICANCE OF RESEARCH
研究意义
简化文字输入
字符识别能够将字符高速、
车牌号码识别
车牌智能自动识别作为智能
快递信息录入
快递信息录入能够极大地减
ONE 研究意义
神经网络识别文字研究的意义，目的，识 别文字能够进行的相关工作。
THREE 研究结果
到目前为止，研究的结果，使用神经网络对字 符进行识别能达到的效果。
TWO 研究相关
研究主要涉及的领域、研究中所使用的相 关理论、以及研究所使用的技术和方法。
FOUR 算法改进
对前面所述的研究进行创新性的改进，使得能 够更高效地识别，主要有四种改进。
集成学习
深度学习
行表征学习的方法。观测值（例如一幅图像）可以使用多种方 式来表示，如每个像素强度值的向量，或者更抽象地表示成一
系列边、特定形状的区域等。
集成学习(ensemble learning)集成学习是使用一系列学习器进 行学习，并使用某种规则把各个学习结果进行整合从而获得比 单个学习器更好的学习效果的一种机器学习方法。。
MR
THE TWO NEURAL NETWORK OF RECGNIZATION
两种神经网络
反向传播神经网络
向传播(back propagation, BP)算法是1986年由
Hinton和McClelland为首的科学家提出的概念。BP 神经网络是一种采用这种算法进行高效训练的多层前 馈神经网络，是目前应用最强大最广泛的神经网络之 一。
1. 在参数空间中，随机采样（比如）100 个点 2.对每个点计算低度数傅里叶基的特征向量， 捕捉参数之间的相关性 3.对于计算好的 100 个特征向量，跑拉锁算法， 得到（比如） 5 个重要的特征，以及这些特征
对应的参数
4.固定这些参数的值，得到了新的调参数问题 （参数个数减少，搜索空间降低）。 5. 回到第一步。重复若干轮之后，固定了很多
入的工作，使得工作人员能 够从辛苦、单一无聊的工作 中解放出来，有效地加速中 国快递业的发展。
邮件的分类主要靠人工阅读
并分类，再往各个地区发送， 整个过程费时耗力。近年来， 着计算机理论与技术为背景 的人工智能运用的不断普及，
价值。
集等许多系统中都需要识别
车牌号码。
使得机器录入成为现实。
02
研究相关
尽管是很简单的思想，但其所带来的效果令人
惊叹。(Error: 0.9% -> 0.6%） 因为单一模型的就已经足够优秀，所以数字上 反应并不明显
HA
Harmonica
调参算法
论文：《Hyperparameter Optimization: A Spectral Approach》 https://arxiv.org/abs/1706.00764
mapping is recast into F(x)+x.
并不通过简单的stack的方式把网络的深度增加就可以提高 performance(因为梯度消失/弥散问题、神经退化问题(神经元或其他失效))。 假设原本期望的映射函数为H(x)，我们让堆叠的非线性层去拟合另一个映射 F(x):H(x)- x，而原来函数映射则变为F(x)+ x。学习到的F(x)即为残差。 残差：残差在数理统计中是指实际观察值与估计值（拟合值）之间的 差。“残差”蕴含了有关模型基本假设的重要信息。如果回归模型正确的话， 我们可以将残差看作误差的观测值。
BN
BP-NN
BP神经网络
BN
CONVOLUTIONAL NEURAL NETWORK
卷积神经网络
CN
COMMITTEE OF NEURAL NETWORKS
神经网络集成
ER
THE CURVE OF ERROR
误差曲线(mnist)
ER
THE ERROR RATE OF RECOGNITION
of all preceding layers are treated
as separate inputs whereas its own feature maps are passed on as inputs to all subsequent layers. 一个词概括就是：Dense，多层神 经网络组合成一个Dense Block， 每一个Dense Block都紧密相连。
05
算法扩展及运用
对算法的进行实际运用性的扩展，以及实际运用。
紧接卷积神经网络(Densely Connected Convolutional Networks,DenseNet)，可
类的效果也是令人十分满意。
以看做是ResNet的一个特例，
通过紧密连接，能够减轻梯 度消失。
尽管是很简单的思想，但
其所带来的效果令人惊叹。
CM
CONBINATION CLASSIFICATION MODEL
止，还没有一台计算机能产生“自我”的意识。 机器学习(Machine Learning, ML)是一门多领域交叉学科，涉
机器学习
及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门 学科。专门研究计算机怎样模拟或实现人类的学习行为，以获 取新的知识或技能，重新组织已有的知识结构使之不断改善自 身的性能。它是人工智能的核心。 深度学习(Deep Learning, DL)是机器学习中一种基于对数据进
邮件文字录入
在传统模式邮件寄送过程中，
快效的输入到计算机系统，
实现人机交互，减轻人们的 劳动，将人力从枯燥冗杂的 工作中解放出来，提高处理 效率，因而具有重要的研究
交通管理系统中的重要组成
部分，应用非常广泛，高速 公路收费管理、超速违章自 动拍照、停车场管理、小区 进出车辆管理、交通数据采
轻快递工作人员文字信息录
DN
DENSELY CONNECTED CONVOLUTION NETWORK
紧接卷积网络
论文：《Densely Connected Convolutional Networks》 CPVR2017最佳论文 https://arxiv.org/abs/1608.06993
For each layer, the feature maps
优化层
在传统CNN上添加了 DropOut、 Regularization、Batch Normalization 优化层。
Momentum，采用
Adam优化器进行神经网 络的优化
IA
IMPROVEMENT OF ALGORITHM
算法改进
01
Bagging
Bagging算法是一种集成
学习算法。因为单一模型 具有局限性，任何一种模 型，都有其缺陷，通过多 模型组合能够趋近完美。
02
Harmonica
Harmonica算法是优秀 一种调参算法，十分高效， 并且能够适应于几乎一切 场景。在机器学习里面， 调参尤其重要。
03
ResNet
残差网络(residual network, ResNet)，通过残差网络，可 以把网络层弄的很深，现在达 到了1000多层，最终的网络分
04
DenseNet
Keras
Keras 是一种高度模块化，使用简单上手快，合适深度 学习初学者使用的深度学习框架。Keras由纯Python编 写而成并以Tensorflow、Theano以及CNTK为后端。
Keras为支持快速实验而生，能够把你的idea迅速转换
为结果。
03
研究结果
到目前为止，研究的结果，使用神经网络对字符进行识别能达到的效 果。
误差率(mnist)
97.3
%
98.3
%
99.1
Input ->
%
99.4
%
搭建BP-NN
Input(Batch_size*28*28) -> Dense(1024) ->
搭建组合BP-NN
Multi-(Input -> Dense(1024) -> Relu activation -> Dense(10) -> Softmax activation -> Output(10) ) -> Combination -> Final output
搭建CNN+调参
搭建组合CNN
Multi-(Input -> Conv2d -> Pooling -> relu ->
Conv2d -> Pooling -> relu ->
Relu activation ->
Dense(10) -> Softmax activation -> Output(10)
Conv2d -> Pooling -> relu ->
Flat -> dense -> dense -> Output
Conv2d -> Pooling -> relu ->
Flat -> dense -> dense -> Output) -> Combination -> Final output
研究主要涉及的领域、研究中所使用的相关理论、以及研究所使用的 技术和方法。
DK
DOMAIN OF KNOWLEDGE
领域
人工智能(Artificial Intelligence, AI)，是研究、开发用于模拟、 延伸和扩展人的智能的理论、方法、技术及应用系统的一门新
人工智能
的技术科学。21 世纪，已经取得了长足的进步，但是到目前为