Caffe卷积神经网络CNN
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
假如局部感受区域是10x10，那么1百 万个隐层神经元就只产生10^8个权重参数。
Sisansiy
4.12 卷积权值共享
100种滤波器，每种大小为10x10，即产生100 个权重参数。每种滤波器都共享100个权重参数， 共产生100x100=1万个参数。 隐层的参数个数和隐层的神经元个数无关，只 和滤波器的大小和滤波器种类的多少有关。
Convolutional Neural Network
Sisansiy
卷积神经网络
2 神经网络
单层结构
通过训练把各权 重估计出来，即 可构造出一个模 糊人脸数学模型
重权参数
1 j , 2 j , ..., nj
Sisansiy
3 BP神经网络
多层结构
特点： 1 数据正向传播，计算输出层误差 2 误差反向传播，逐层修正各层权重 3 采用梯度下降法加快收敛速度
利用上一层结果，计算误差函数对隐层各神经元 重权的偏导数：
Sisansiy
3.2 误差反向传播
计算各神经元重权偏移量，并更新隐层重权：
Sisansiy
4 卷积神经网络
多层结构
特点： 1 继承BP神经网络的优点
2 权值共享 3 加入卷积层 4 加入池化层
Sisansiy
4.11 局部权值共享
1000x1000的图像，有1百万个隐层神 经元，那么他们全连接的话将产生10^12个 权重参数。
convert_image.exe -backend=数据库类型 训练图像路径 Label.txt路径 输出图像数据库路径
compute_image_mean.exe -backend=数据库类型 训练图像数据库路径 输出文件路径
caffe.exe train --solver=solver.prototxt路径 --gpu=0
top blob
bottom blob
5个卷积池化层，3个 全连接层，大约5千万 个可调参数
LeNet →
AlexNet 2012 →
Sisansiy
Models from the BMVC2014 paper "Return of the Devil in the Details: Delving Deep into Convolutional Nets"
Sisansiy
5 AlexNet
Sisansiy
5 AlexNet
name: “AlexNet" layer { name: "data" …} layer { name: "conv" …} layer { name: "pool" …} … more layers … layer { name: "loss" …}
பைடு நூலகம்
Sisansiy
Sisansiy
ImageNet测试结果
Sisansiy
6 训练自己的数据
Protocal
convert_ imageset. exe
© kaggle.com
DB compu te_ima ge_me an.exe
caffe.e xe
Train
Image_mean
Sisansiy
6 命令调用格式
Sisansiy
4.2 卷积层与池化层
输入图像相应的邻域与可训练的5x5特征块fx 卷积后，加偏置求和，生成卷积层特征图Cx。 Cx中每2x2邻域像素加权相加，再乘以一个可 训练的权重Wx+1，再加上一个可训练偏置bx+1， 最后通过非线性限幅函数得到压缩层特征图Sx+1。
Sisansiy
5 Caffe开源库
The training data, the subset of ImageNet containing the 1000 categories and 1.2 million images, will be packaged for easy downloading. The validation and test data for this competition are not contained in the ImageNet training data (we will remove any duplicates).
Sisansiy
4.2 卷积层与池化层
LeNet-5
LeNet-5是一种典型的用来识别数字的卷积网络，共有7层，每层 都包含可训练参数，输入图像大小为32x32。 C1层是一个卷积层，由6个特征图Feature Map构成。特征图中 每个神经元与输入中5x5的邻域相连。特征图的大小为28x28，C1有 156个可训练参数，共156*(28*28)=122,304个连接。
特点：
1 C++/CUDA框架 2 提供Matlab和Python接口 3 高效稳定，网络设计简单 4 CPU与GPU无缝链接
Sisansiy
5 ImageNet ILSVRC2012
Data
The validation and test data for this competition will consist of 150,000 photographs, collected from flickr and other search engines, hand labeled with the presence or absence of 1000 object categories. The 1000 object categories contain both internal nodes and leaf nodes of ImageNet, but do not overlap with each other. A random subset of 50,000 of the images with labels will be released as validation data included in the development kit along with a list of the 1000 categories. The remaining images will be used for evaluation and will be released without labels at test time.
Sisansiy
3.1 梯度下降法
两层结构
选取第k个样本：
Sisansiy
3.1梯度下降法
计算隐层各神经元的输入和输出：
Sisansiy
3.1梯度下降法
计算误差函数对输出层各神经元重权偏导数：
Sisansiy
3.1梯度下降法
计算各神经元重权偏移量，并更新输出层重权：
Sisansiy
3.2 误差反向传播
Sisansiy
4.12 卷积权值共享
100种滤波器，每种大小为10x10，即产生100 个权重参数。每种滤波器都共享100个权重参数， 共产生100x100=1万个参数。 隐层的参数个数和隐层的神经元个数无关，只 和滤波器的大小和滤波器种类的多少有关。
Convolutional Neural Network
Sisansiy
卷积神经网络
2 神经网络
单层结构
通过训练把各权 重估计出来，即 可构造出一个模 糊人脸数学模型
重权参数
1 j , 2 j , ..., nj
Sisansiy
3 BP神经网络
多层结构
特点： 1 数据正向传播，计算输出层误差 2 误差反向传播，逐层修正各层权重 3 采用梯度下降法加快收敛速度
利用上一层结果，计算误差函数对隐层各神经元 重权的偏导数：
Sisansiy
3.2 误差反向传播
计算各神经元重权偏移量，并更新隐层重权：
Sisansiy
4 卷积神经网络
多层结构
特点： 1 继承BP神经网络的优点
2 权值共享 3 加入卷积层 4 加入池化层
Sisansiy
4.11 局部权值共享
1000x1000的图像，有1百万个隐层神 经元，那么他们全连接的话将产生10^12个 权重参数。
convert_image.exe -backend=数据库类型 训练图像路径 Label.txt路径 输出图像数据库路径
compute_image_mean.exe -backend=数据库类型 训练图像数据库路径 输出文件路径
caffe.exe train --solver=solver.prototxt路径 --gpu=0
top blob
bottom blob
5个卷积池化层，3个 全连接层，大约5千万 个可调参数
LeNet →
AlexNet 2012 →
Sisansiy
Models from the BMVC2014 paper "Return of the Devil in the Details: Delving Deep into Convolutional Nets"
Sisansiy
5 AlexNet
Sisansiy
5 AlexNet
name: “AlexNet" layer { name: "data" …} layer { name: "conv" …} layer { name: "pool" …} … more layers … layer { name: "loss" …}
பைடு நூலகம்
Sisansiy
Sisansiy
ImageNet测试结果
Sisansiy
6 训练自己的数据
Protocal
convert_ imageset. exe
© kaggle.com
DB compu te_ima ge_me an.exe
caffe.e xe
Train
Image_mean
Sisansiy
6 命令调用格式
Sisansiy
4.2 卷积层与池化层
输入图像相应的邻域与可训练的5x5特征块fx 卷积后，加偏置求和，生成卷积层特征图Cx。 Cx中每2x2邻域像素加权相加，再乘以一个可 训练的权重Wx+1，再加上一个可训练偏置bx+1， 最后通过非线性限幅函数得到压缩层特征图Sx+1。
Sisansiy
5 Caffe开源库
The training data, the subset of ImageNet containing the 1000 categories and 1.2 million images, will be packaged for easy downloading. The validation and test data for this competition are not contained in the ImageNet training data (we will remove any duplicates).
Sisansiy
4.2 卷积层与池化层
LeNet-5
LeNet-5是一种典型的用来识别数字的卷积网络，共有7层，每层 都包含可训练参数，输入图像大小为32x32。 C1层是一个卷积层，由6个特征图Feature Map构成。特征图中 每个神经元与输入中5x5的邻域相连。特征图的大小为28x28，C1有 156个可训练参数，共156*(28*28)=122,304个连接。
特点：
1 C++/CUDA框架 2 提供Matlab和Python接口 3 高效稳定，网络设计简单 4 CPU与GPU无缝链接
Sisansiy
5 ImageNet ILSVRC2012
Data
The validation and test data for this competition will consist of 150,000 photographs, collected from flickr and other search engines, hand labeled with the presence or absence of 1000 object categories. The 1000 object categories contain both internal nodes and leaf nodes of ImageNet, but do not overlap with each other. A random subset of 50,000 of the images with labels will be released as validation data included in the development kit along with a list of the 1000 categories. The remaining images will be used for evaluation and will be released without labels at test time.
Sisansiy
3.1 梯度下降法
两层结构
选取第k个样本：
Sisansiy
3.1梯度下降法
计算隐层各神经元的输入和输出：
Sisansiy
3.1梯度下降法
计算误差函数对输出层各神经元重权偏导数：
Sisansiy
3.1梯度下降法
计算各神经元重权偏移量，并更新输出层重权：
Sisansiy
3.2 误差反向传播