卷积的深度信念网络
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Convolutional Deep Belief Network for Scable Unsupervised Learning of Hierarchical Representations
组员：
背景
深度信念网络 概念，结构，缺点
卷积的深度信念网络
关键方法，优点
Background
人们对于类似深度信念网络的无监督式分层生成 模型具有极大的兴趣。
模型最下面一层为可视层V，中间一
层为检测层H，上面一层为池层。其中 检测层和池层都有K单元
相比于深度信念网络（DBN），卷积
的深度信念网络（CDBN）具有以下的 不同： （1）对高维图像做全尺寸衡量 （2）特征表示对输入的局部变换
具有不变性
（3）该方法的关键是加入了概率最 大池（probabilistic max-pooling）
Pooling
为了描述大的图像，一个很自然的想法就是对不同位置的 聚合特征进行聚合统计，例如，人们可以计算图像一个区 域上的某个特定特征值的最大值，这些概要统计特征不仅 具有低得多的维度，同时还会改善结果（不容易过拟合）。 这种聚合的操作就叫做池化，下图为一般的池化过程：
左侧是20*20的矩阵要进行大小为
AdvantΒιβλιοθήκη Baiduge
DBN 是一种生成模型，通过训练其神经元间的权重，我们 可以让整个神经网络按照最大概率来生成训练数据。我们 不仅可以使用 DBN 识别特征、分类数据，还可以用它来 生成数据。如下图识别手写数字
Disadvantage
传统的多层生成模型DBN有两个方面的挑战
（ 1 ）图像时很高维度的，算法要能够合理的建模，且计算 简便；
。最大概率池模型降低了图像的
维度，减少了计算量。
Advantage of CDBN
一种概率的降维技术
手段 ,网络的第一、二和
三层能够学习到边缘检
测、对象局部和对象。
谢谢！
（ 2 ）对象常常分布在图像的局部，要求特征表示对输入的 局部变换具有不变性。
由于以上两个原因使得对高维图像做全尺寸衡量 (scaling such models to full-sized)很困难
CRBN的引入
卷积的深度信念网络（CDBN）的
组成元件是卷积的受限玻尔兹曼 机（CRBM）。
右图是卷积的受限玻尔兹曼机（CRBM）
10*10的池化，那么左侧图中的红色
就是10*10的大小，对应到右侧的矩 阵，右侧每个元素的值，是左侧红色 矩阵每个元素的值取最大值。
Probabilistically Max-Pooling
最大概率池模型是一个如图的
前向结构模型，检测层和池层都 含有K组单元，池层每组都有Np*Np 个二进制单元，K属于{1,2……k}, 检测层到池层相当于C*C的块映射，
深度信念网络已经在语音识别，图像识别以及自 然语言处理等领域取得前所未有的成功。 DBN对于扩展图像到原尺寸还有困难，以及图像特
征表示会因输入局部变换而变换
DBN的构成
DBN 由多层神经元构成，这些神经元又分为显性神经元和 隐性神经元（以下简称显元和隐元）。显元用于接受输入， 隐元用于提取特征（特征检测器）。 DBN 的 组 成 元 件 是 受 限 玻 尔 兹 曼 机 (Restricted Boltzmann Machines, RBM) 。训练 DBN 的过程是一层一 层地进行的。在每一层中，用数据向量来推断隐层，再把 这一隐层当作下一层 (高一层) 的数据向量（一种多层生 成模型）RBM的结构如图所示:
组员：
背景
深度信念网络 概念，结构，缺点
卷积的深度信念网络
关键方法，优点
Background
人们对于类似深度信念网络的无监督式分层生成 模型具有极大的兴趣。
模型最下面一层为可视层V，中间一
层为检测层H，上面一层为池层。其中 检测层和池层都有K单元
相比于深度信念网络（DBN），卷积
的深度信念网络（CDBN）具有以下的 不同： （1）对高维图像做全尺寸衡量 （2）特征表示对输入的局部变换
具有不变性
（3）该方法的关键是加入了概率最 大池（probabilistic max-pooling）
Pooling
为了描述大的图像，一个很自然的想法就是对不同位置的 聚合特征进行聚合统计，例如，人们可以计算图像一个区 域上的某个特定特征值的最大值，这些概要统计特征不仅 具有低得多的维度，同时还会改善结果（不容易过拟合）。 这种聚合的操作就叫做池化，下图为一般的池化过程：
左侧是20*20的矩阵要进行大小为
AdvantΒιβλιοθήκη Baiduge
DBN 是一种生成模型，通过训练其神经元间的权重，我们 可以让整个神经网络按照最大概率来生成训练数据。我们 不仅可以使用 DBN 识别特征、分类数据，还可以用它来 生成数据。如下图识别手写数字
Disadvantage
传统的多层生成模型DBN有两个方面的挑战
（ 1 ）图像时很高维度的，算法要能够合理的建模，且计算 简便；
。最大概率池模型降低了图像的
维度，减少了计算量。
Advantage of CDBN
一种概率的降维技术
手段 ,网络的第一、二和
三层能够学习到边缘检
测、对象局部和对象。
谢谢！
（ 2 ）对象常常分布在图像的局部，要求特征表示对输入的 局部变换具有不变性。
由于以上两个原因使得对高维图像做全尺寸衡量 (scaling such models to full-sized)很困难
CRBN的引入
卷积的深度信念网络（CDBN）的
组成元件是卷积的受限玻尔兹曼 机（CRBM）。
右图是卷积的受限玻尔兹曼机（CRBM）
10*10的池化，那么左侧图中的红色
就是10*10的大小，对应到右侧的矩 阵，右侧每个元素的值，是左侧红色 矩阵每个元素的值取最大值。
Probabilistically Max-Pooling
最大概率池模型是一个如图的
前向结构模型，检测层和池层都 含有K组单元，池层每组都有Np*Np 个二进制单元，K属于{1,2……k}, 检测层到池层相当于C*C的块映射，
深度信念网络已经在语音识别，图像识别以及自 然语言处理等领域取得前所未有的成功。 DBN对于扩展图像到原尺寸还有困难，以及图像特
征表示会因输入局部变换而变换
DBN的构成
DBN 由多层神经元构成，这些神经元又分为显性神经元和 隐性神经元（以下简称显元和隐元）。显元用于接受输入， 隐元用于提取特征（特征检测器）。 DBN 的 组 成 元 件 是 受 限 玻 尔 兹 曼 机 (Restricted Boltzmann Machines, RBM) 。训练 DBN 的过程是一层一 层地进行的。在每一层中，用数据向量来推断隐层，再把 这一隐层当作下一层 (高一层) 的数据向量（一种多层生 成模型）RBM的结构如图所示: