一文读懂卷积神经网络

合集下载

深度学习中的卷积神经网络和递归神经网络

深度学习中的卷积神经网络和递归神经网络

深度学习中的卷积神经网络和递归神经网络最近几年,随着人工智能技术快速发展,深度学习成为了热门话题。

在深度学习算法家族中,卷积神经网络(Convolutional Neural Network,CNN)和递归神经网络(Recurrent Neural Network,RNN)是最常用的两种神经网络。

本文主要探讨这两种神经网络的工作原理、优缺点以及应用场景。

一、卷积神经网络卷积神经网络是一种专门用于处理图像和语音等大型二维或多维数据的神经网络。

它的核心思想是卷积操作,通过反复的卷积、池化等操作,逐步提取出数据的特征,最终得到对数据的分类或识别结果。

卷积神经网络的工作原理可以简单地描述为:首先输入数据被送入卷积层,卷积层中有若干个卷积核,每个卷积核对输入数据做出一次卷积操作,产生一个特征图。

接着特征图会经过激活函数进行非线性处理。

经过卷积、池化、激活等若干层处理后,最终通过全连接层得到分类或识别结果。

卷积神经网络的优点主要体现在以下方面:1. 可以有效地提取出数据的局部特征,比如提取出一张图片中的边缘、纹理等特征。

2. 卷积神经网络的参数共享机制可以大幅度降低训练模型的复杂度,减小过拟合。

3. 卷积网络中的池化操作可以进一步简化特征图,减小计算量,同时也有防止过拟合的效果。

卷积神经网络的应用场景非常广泛,比如图像分类、目标检测、物体识别等。

二、递归神经网络递归神经网络是一种专门处理序列数据的神经网络,它具有记忆功能,能够处理任意长度的输入数据,并且在处理过程中可以保留之前的状态信息。

递归神经网络的工作原理可以简单地描述为:在处理输入序列的过程中,每个时刻输入一个数据点,同时还输入上一个时刻的状态,根据输入数据和状态计算出当前时刻的状态并输出一个结果。

新的状态又会被送入下一个时刻的计算中。

这种递归的计算方式使得递归神经网络具有很强的记忆性和时间序列处理能力。

递归神经网络的优点主要体现在以下方面:1. 递归神经网络比较适用于处理序列数据,比如语音、文本、股票价格等数据。

简述卷积神经网络(CNN)和循环神经网络(RNN)的原理及应用场景

简述卷积神经网络(CNN)和循环神经网络(RNN)的原理及应用场景

简述卷积神经网络(CNN)和循环神经网络(RNN)的原理及应用场景卷积神经网络(CNN)和循环神经网络(RNN)是当前深度学习领域最为重要和广泛应用的两种神经网络模型。

它们分别在计算机视觉和自然语言处理等领域取得了巨大的成功。

本文将从原理和应用场景两个方面进行详细介绍。

一、卷积神经网络(CNN)的原理及应用场景卷积神经网络(CNN)是一种专门用于处理具有网格结构数据的深度学习模型。

它最初是为了解决计算机视觉中的图像分类问题而提出的,但现在已经广泛应用于图像识别、目标检测、语义分割等多个领域。

1.1 原理卷积神经网络(CNN)主要由卷积层、池化层和全连接层组成。

其中,卷积层是CNN最重要的组成部分,它通过一系列滤波器对输入数据进行特征提取。

滤波器通过与输入数据进行点乘操作,得到特征图(feature map),从而捕捉到输入数据中的局部特征。

池化层用于减小特征图的尺寸,并保留重要特征。

常见的池化操作有最大池化和平均池化。

最大池化选择每个区域中的最大值作为输出,平均池化则选择每个区域的平均值作为输出。

这样可以减小特征图的尺寸,减少参数数量,从而降低计算复杂度。

全连接层将特征图转换为一维向量,并通过一系列全连接层进行分类或回归等任务。

全连接层中的每个神经元都与上一层中所有神经元相连,这样可以充分利用上一层提取到的特征进行分类。

1.2 应用场景卷积神经网络(CNN)在计算机视觉领域有着广泛应用。

其中最典型的应用场景是图像分类和目标检测。

在图像分类任务中,CNN可以通过学习到的特征提取器将输入图像分为不同类别。

例如,在ImageNet数据集上进行分类任务时,CNN可以实现对1000个不同类别进行准确分类。

在目标检测任务中,CNN可以识别并定位输入图像中存在的多个目标。

通过在卷积网络之后加入额外的回归和分类层,可以实现对目标位置和类别进行同时预测。

此外,在语义分割、人脸识别、图像生成等领域,CNN也有着广泛的应用。

神经网络中的卷积神经网络算法

神经网络中的卷积神经网络算法

神经网络中的卷积神经网络算法神经网络是一种非常有用的机器学习工具,可以用于分类和回归等各种任务。

其中,卷积神经网络算法是神经网络的一个分支,可以用于图像识别、自然语言处理等很多领域。

本文将详细介绍卷积神经网络算法的原理和应用。

一、卷积神经网络算法的原理卷积神经网络算法是模仿生物学中视觉皮层的工作原理,将图像像素看作神经元,通过不断降采样和卷积操作将图像特征提取出来。

卷积操作是指用一个固定大小的滤波器对输入进行滤波,得到一个特征图。

滤波器在输入上滑动,对每个相邻的区域进行卷积操作,并输出一个值。

卷积神经网络算法有多个层,每个层都有不同的功能。

其中,卷积层用于提取图像的特征,降低特征维度;池化层则用于降采样,减少特征图的尺寸,加快计算速度。

最后是全连接层,将特征图转换为分类结果。

二、卷积神经网络算法的应用1.图像识别卷积神经网络算法可以用于图像分类、目标检测等领域。

例如,使用卷积神经网络算法对猫和狗的图像进行分类,不仅可以判断出猫和狗的种类,还可以精准地定位和识别图像中的猫和狗。

2.自然语言处理卷积神经网络算法也可以用于自然语言处理领域。

例如,通过将词向量进行卷积操作,可以得到单词或短语的特征,进而将这些特征输入到全连接层中进行分类或预测等任务。

这种方法可以帮助我们更好地理解文本的含义,更准确地进行分类和预测。

三、卷积神经网络算法的优势1.参数共享卷积神经网络算法中的卷积操作具有参数共享的特点。

即,在同一层的卷积核中,每个卷积核的参数是一样的,这样可以大幅减少卷积层的参数量,提高训练效率,并且对于数据的小变化具有很好的适应性和鲁棒性。

2.稀疏连接卷积神经网络算法中的卷积操作是针对局部区域进行的,这意味着输入数据中的大部分像素不会对输出数据产生影响。

这种稀疏连接的方式可以帮助我们减少运算量和存储空间,提高计算速度。

3.层次化结构卷积神经网络算法会将图像分层处理,每一层都会从上一层中提取出一些有用的特征信息,并且针对这些特征信息进行处理。

一文看懂卷积神经网络-CNN(基本原理独特价值实际应用)

一文看懂卷积神经网络-CNN(基本原理独特价值实际应用)

⼀⽂看懂卷积神经⽹络-CNN(基本原理独特价值实际应⽤)卷积神经⽹络 – CNN 最擅长的就是图⽚的处理。

它受到⼈类视觉神经系统的启发。

CNN 有2⼤特点:能够有效的将⼤数据量的图⽚降维成⼩数据量能够有效的保留图⽚特征,符合图⽚处理的原则⽬前 CNN 已经得到了⼴泛的应⽤,⽐如:⼈脸识别、⾃动驾驶、美图秀秀、安防等很多领域。

CNN 解决了什么问题?在 CNN 出现之前,图像对于⼈⼯智能来说是⼀个难题,有2个原因:图像需要处理的数据量太⼤,导致成本很⾼,效率很低图像在数字化的过程中很难保留原有的特征,导致图像处理的准确率不⾼下⾯就详细说明⼀下这2个问题:需要处理的数据量太⼤图像是由像素构成的,每个像素⼜是由颜⾊构成的。

现在随随便便⼀张图⽚都是 1000×1000 像素以上的,每个像素都有RGB 3个参数来表⽰颜⾊信息。

假如我们处理⼀张 1000×1000 像素的图⽚,我们就需要处理3百万个参数!1000×1000×3=3,000,000这么⼤量的数据处理起来是⾮常消耗资源的,⽽且这只是⼀张不算太⼤的图⽚!卷积神经⽹络 – CNN 解决的第⼀个问题就是「将复杂问题简化」,把⼤量参数降维成少量参数,再做处理。

更重要的是:我们在⼤部分场景下,降维并不会影响结果。

⽐如1000像素的图⽚缩⼩成200像素,并不影响⾁眼认出来图⽚中是⼀只猫还是⼀只狗,机器也是如此。

保留图像特征图⽚数字化的传统⽅式我们简化⼀下,就类似下图的过程:图像简单数字化⽆法保留图像特征图像的内容假如有圆形是1,没有圆形是0,那么圆形的位置不同就会产⽣完全不同的数据表达。

但是从视觉的⾓度来看,图像的内容(本质)并没有发⽣变化,只是位置发⽣了变化。

(本质)并没有发⽣变化,只是位置发⽣了变化所以当我们移动图像中的物体,⽤传统的⽅式的得出来的参数会差异很⼤!这是不符合图像处理的要求的。

⽽ CNN 解决了这个问题,他⽤类似视觉的⽅式保留了图像的特征,当图像做翻转,旋转或者变换位置时,它也能有效的识别出来是类似的图像。

卷积神经网络(CNN)介绍

卷积神经网络(CNN)介绍

卷积神经网络(CNN)介绍一、基本概念CNN是卷积神经网络(Convolutional Neural Network)的缩写,是目前深度学习中应用广泛的一种神经网络型号,它是一种能够处理序列数据的深度学习模型,如语音识别、自然语言处理等在许多应用中被广泛使用。

CNN是一种前馈神经网络,每个神经元只与与其之前一段距离之内的神经元相连。

它具有强大的特征提取能力和权值共享机制,可以帮助识别出图像、音频和文本中的重要特征。

CNN将输入图像分成若干个子区域,每个子区域被称为卷积核,每个卷积核由若干个神经元组成。

每个卷积核得出一个特征图,这些特征图被拼接起来形成下一层的输入。

CNN在应用中通常包含卷积层、池化层、全连接层和Softmax 层等。

卷积层用于提取图像特征,池化层用于减少特征数量,全连接层用于分类,Softmax层用于输出最终分类结果。

然而,就像其他的技术一样,CNN在实践中也会遇到各种问题。

人工智能工程师在设计和调试CNN时,经常遇到的问题包括过拟合、欠拟合、梯度消失、训练速度慢等。

此外,当CNN 不起作用时,如何快速而准确地诊断相关问题也是一个极其重要的挑战。

二、故障分析与解决方案面对CNN故障,我们可以通过以下几个方面来进行诊断,并尝试找到解决方案。

1. 数据集问题CNN模型需要大量的数据才能训练出准确的模型。

如果训练集不够大,其结果可能会出现不准确的情况。

同时,过拟合也可能出现在训练集数据少,但是特征比较多时。

解决方案:增加训练集,尽可能丰富数据覆盖的范围。

此外,有效的数据预处理方法,如旋转、翻转、缩放等,也能有效地增加训练集的样本。

2. 设计问题CNN模型的设计非常重要,关系到CNN在应用中的准确性。

解决方案:对于CNN的设计,可以采用预训练模型,或选择较好的网络结构和优化算法。

3. 训练问题CNN模型需要进行“拟合”和“调整”,使其能够正确的分类图像。

解决方案:可以尝试增加训练次数或者采用其他的优化方法,如随机梯度下降(SGD)。

一文带你了解CNN(卷积神经网络)

一文带你了解CNN(卷积神经网络)

⼀⽂带你了解CNN(卷积神经⽹络)⽬录前⾔⼀、CNN解决了什么问题?⼆、CNN⽹络的结构2.1 卷积层 - 提取特征卷积运算权重共享稀疏连接总结:标准的卷积操作卷积的意义1x1卷积的重⼤意义2.2 激活函数2.3 池化层(下采样) - 数据降维,避免过拟合2.4 全连接层 - 分类,输出结果三、Pytorch实现LeNet⽹络3.1 模型定义3.2 模型训练(使⽤GPU训练)3.3 训练和评估模型前⾔ 在学计算机视觉的这段时间⾥整理了不少的笔记,想着就把这些笔记再重新整理出来,然后写成Blog和⼤家⼀起分享。

⽬前的计划如下(以下⽹络全部使⽤Pytorch搭建):专题⼀:计算机视觉基础介绍CNN⽹络(计算机视觉的基础)浅谈VGG⽹络,介绍ResNet⽹络(⽹络特点是越来越深)介绍GoogLeNet⽹络(⽹络特点是越来越宽)介绍DenseNet⽹络(⼀个看似⼗分NB但是却实际上⽤得不多的⽹络)整理期间还会分享⼀些⾃⼰正在参加的⽐赛的Baseline专题⼆:GAN⽹络搭建普通的GAN⽹络卷积GAN条件GAN模式崩溃的问题及⽹络优化 以上会有相关代码实践,代码是基于Pytorch框架。

话不多说,我们先进⾏专题⼀的第⼀部分介绍,卷积神经⽹络。

⼀、CNN解决了什么问题? 在CNN出现之前,对于图像的处理⼀直都是⼀个很⼤的问题,⼀⽅⾯因为图像处理的数据量太⼤,⽐如⼀张512 x 512的灰度图,它的输⼊参数就已经达到了252144个,更别说1024x1024x3之类的彩⾊图,这也导致了它的处理成本⼗分昂贵且效率极低。

另⼀⽅⾯,图像在数字化的过程中很难保证原有的特征,这也导致了图像处理的准确率不⾼。

⽽CNN⽹络能够很好的解决以上两个问题。

对于第⼀个问题,CNN⽹络它能够很好的将复杂的问题简单化,将⼤量的参数降维成少量的参数再做处理。

也就是说,在⼤部分的场景下,我们使⽤降维不会影响结果。

⽐如在⽇常⽣活中,我们⽤⼀张1024x1024x3表⽰鸟的彩⾊图和⼀张100x100x3表⽰鸟的彩⾊图,我们基本上都能够⽤⾁眼辨别出这是⼀只鸟⽽不是⼀只狗。

神经网络与卷积神经网络(CNN)

神经网络与卷积神经网络(CNN)

神经网络与卷积神经网络(CNN)神经网络和卷积神经网络(Convolutional Neural Network, CNN)是两种常用的深度学习模型,被广泛应用于图像识别、语音识别、自然语言处理等领域。

本文将介绍神经网络和CNN的原理、应用以及优缺点。

一、神经网络神经网络是一种模拟人脑神经元间连接的计算模型,由输入层、隐藏层和输出层组成。

每个神经元接收上一层神经元传递的信息,并通过激活函数进行非线性变换,最终计算出输出结果。

通过不断调整神经元之间的连接权重,神经网络能够学习并逼近复杂的非线性函数。

神经网络的训练通常基于梯度下降算法,通过最小化损失函数,反向传播误差更新权重。

训练完成后,神经网络可以用于预测和分类任务。

神经网络的优点在于可以处理非线性关系,具有强大的逼近能力。

然而,它在图像处理任务上的表现并不理想,主要因为传统的神经网络无法充分利用图像的空间结构信息。

二、卷积神经网络(CNN)卷积神经网络是一种专门用于处理二维结构数据(如图像)的深度学习模型。

与传统神经网络不同的是,CNN引入了卷积层和池化层,通过局部感知和参数共享的方式提取图像的特征。

卷积层利用一组可学习的卷积核对输入数据进行卷积操作,提取出不同位置的特征。

卷积核的参数共享使得CNN对输入数据的平移不变性更强,可以减少模型的复杂性。

池化层则负责对卷积结果进行下采样,减小特征图的尺寸。

常用的池化操作有最大池化和平均池化,能够提取更具有鲁棒性的特征。

除了卷积层和池化层,CNN通常还包括全连接层和激活函数。

全连接层用于将特征图转化为分类结果,激活函数引入非线性变换。

CNN在图像处理任务上具有突出优势。

通过卷积和池化操作,CNN能够自动提取出图像的局部特征和整体形状,并且具有一定的平移不变性和尺度不变性。

三、神经网络与CNN的应用比较1. 图像识别:神经网络在图像识别上的表现相对较差,因为它不能有效利用图像的空间结构信息。

而CNN能够通过卷积和池化操作提取图像特征,具有更好的识别准确率。

卷积神经网络的工作原理

卷积神经网络的工作原理

卷积神经网络的工作原理卷积神经网络(ConvolutionalNeuralNetwork,简称CNN)是一种流行的深度学习架构,用于大规模图像识别和分类。

它主要是利用卷积运算来提取图像特征,提高图像分类精度。

本文主要介绍卷积神经网络的工作原理。

首先,要理解卷积神经网络,需要简要地介绍一下神经网络。

神经网络可以通过模拟大脑的神经元来处理信息,使计算机能够学习特定的任务。

它通过调整连接权重来训练模型,以完成任务。

接下来,要讨论卷积神经网络,需要介绍一下卷积运算。

卷积运算是一种机器学习中经常使用的运算,它对图像进行特征提取。

卷积层包括卷积核,它是一组图像处理光栅,用于抽取图像特征。

这些特征提取的结果会被放入网络中,与其他层进行组合,使得深度学习能够获得高准确率的预测结果。

最后,卷积神经网络可以利用这些特征输入进行有效的图像识别,有效的图像分类。

通过以上的介绍,可以总结出卷积神经网络的工作原理如下:首先,卷积神经网络通过卷积运算来提取图像的特征;接着,这些特征被放入多层网络中,与其他层结合,以输出预测结果;最后,卷积神经网络可以利用输入的特征来进行有效的图像识别和分类。

因此,卷积神经网络是一种有效的深度学习架构,能够利用卷积运算提取图像特征,从而达到高准确率的图像识别和分类任务的预测结果。

它的工作原理如前所述,使用卷积运算来提取图像特征,进而输出预测结果,实现图像识别和分类任务。

卷积神经网络已经广泛应用于计算机视觉任务,例如人脸识别、图像分类等。

它能够更好地提高同类任务的准确率,并大大提高了计算机的性能。

它的发展前景令人期待,它有望成为人工智能领域的一个指标。

未来,卷积神经网络还可以应用于各种其他领域,例如语音识别和自然语言处理等领域。

同时,它也将在改进算法和拓展应用等方面继续取得重大进展。

总之,卷积神经网络具有广泛的应用前景,并且在提高识别和分类任务的准确率方面具有显著优势。

它也有望在其他领域,比如语音识别和自然语言处理等领域,发挥更广泛的作用,并在今后的发展中取得更大的进步。

卷积神经网络CNN

卷积神经网络CNN

卷积神经网络CNN一、引言卷积神经网络(Convolutional Neural Network, CNN)是一种常用的深度学习算法,特别适合于处理图像、语音、自然语言等多维度数据。

其重要特点是局部感知和参数共享,这使得它能够快速准确地识别图像特征,并在不同的任务和场景中取得良好的表现。

本文主要介绍卷积神经网络的基本结构、原理和应用。

二、卷积神经网络结构卷积神经网络的基本结构包括输入层、卷积层、池化层、全连接层和输出层等部分。

其中,输入层用来接收原始图像或数据,卷积层和池化层用来提取图像特征,全连接层用来进行分类和回归等任务,输出层则表示最终的输出结果。

下面详细介绍每个部分的作用和特点。

1. 输入层输入层是卷积神经网络的第一层,主要用来接收原始图像或数据。

通常情况下,输入层的数据是二维图像,即图像的宽度、高度和颜色通道。

例如,一张彩色图片的宽度和高度都是像素的数量,而颜色通道就是RGB三个通道。

2. 卷积层卷积层是卷积神经网络的核心层,负责提取图像特征。

它主要通过卷积运算的方式,对输入层的数据进行处理,产生新的特征图。

卷积操作的核心思想是权重共享,即同一个卷积核在不同的位置上进行卷积操作,得到的特征图是一样的,这样能够大大减少网络参数量,防止过拟合现象出现。

卷积操作的数学表达式如下:$$Y = W*X + b$$其中,$W$是卷积核,$X$是输入特征图,$b$是偏置项,$Y$是输出特征图。

在卷积操作中,卷积核的参数是需要学习的参数,它的大小通常为$K*K$($K$是卷积核的大小),步幅通常为$S$。

卷积操作的结果是一个二维数组,它被称为输出特征图。

在实际应用中,卷积核的大小和步幅需要根据不同的数据类型和任务而定。

3. 池化层池化层是卷积神经网络的一个可选层,主要用来减少特征图的大小和数量,从而提高网络性能。

它通常有两种类型:最大池化和平均池化。

最大池化是取一个特征图中的最大值作为输出,而平均池化是取一个特征图中的平均值作为输出。

卷积神经网络入门教程

卷积神经网络入门教程

卷积神经网络入门教程随着人工智能的快速发展,卷积神经网络(Convolutional Neural Network,简称CNN)已经成为图像识别、语音识别等领域中最常用的深度学习模型之一。

本文将为大家介绍卷积神经网络的基本原理、结构和训练方法。

一、卷积神经网络的基本原理卷积神经网络是一种受到生物视觉系统启发的深度学习模型,其核心思想是通过卷积操作和池化操作来提取图像的特征。

在卷积层中,网络通过滑动一个卷积核在输入图像上进行卷积操作,提取图像的局部特征。

卷积操作可以有效地减少参数数量,提高计算效率,并且具有平移不变性的特点。

在池化层中,网络通过降采样操作来减小特征图的尺寸,同时保留主要特征。

通过多次堆叠卷积层和池化层,网络可以逐渐提取出图像的高级特征。

二、卷积神经网络的结构卷积神经网络通常由卷积层、池化层、全连接层和输出层组成。

卷积层和池化层用于提取图像的特征,全连接层用于将提取到的特征映射到具体的类别上,输出层用于输出分类结果。

网络的结构可以根据任务的复杂程度进行设计,常见的结构有LeNet-5、AlexNet、VGG、GoogLeNet和ResNet等。

这些结构在深度和参数数量上有所不同,但都遵循了卷积神经网络的基本原理。

三、卷积神经网络的训练方法卷积神经网络的训练通常使用反向传播算法和梯度下降法。

首先,网络通过前向传播计算出预测结果,并计算出预测结果与真实标签之间的误差。

然后,通过反向传播算法计算出每个参数对误差的贡献,并使用梯度下降法来更新参数。

这个过程不断迭代,直到网络的预测结果与真实标签的误差达到一个接受的范围。

在训练过程中,还可以采用一些技巧来提高网络的性能。

例如,可以使用批量归一化(Batch Normalization)来加速网络的收敛速度,减少梯度消失的问题。

还可以使用dropout来防止过拟合,提高网络的泛化能力。

此外,还可以使用数据增强(Data Augmentation)来增加训练集的多样性,提高网络的鲁棒性。

cnn是什么意思

cnn是什么意思

cnn是什么意思CNN是什么意思?——深入解析卷积神经网络引言:在当今互联网高速发展的时代,人工智能技术已经成为各行各业的热门话题,它以其强大的数据处理能力和智能决策能力,正逐渐改变着我们生活的方方面面。

而在人工智能领域中,卷积神经网络(Convolutional Neural Network,简称CNN)作为一种深度学习模型,占据着重要的地位。

本文将详细介绍CNN是什么意思,以及其基本原理、工作原理和应用场景等内容。

一、基本概念卷积神经网络(CNN)是一种人工神经网络,通过模拟人脑中神经元之间的连接关系,实现对图像、音频等非结构化数据的处理和分析。

相对于传统的全连接神经网络,CNN具有处理图像任务的优势,能够提取图像中的局部特征,并通过层层处理得到更高层次的抽象特征。

二、基本原理1. 卷积层卷积层是CNN的核心组成部分,它通过滑动窗口的方式,对输入数据进行卷积运算,从而提取特征。

在卷积运算过程中,使用一组称为卷积核或过滤器的小矩阵,通过对输入数据进行滑动和相乘累加的操作,得到卷积特征图。

2. 池化层池化层是CNN中的另一个重要组成部分,它通过降采样的方式,减少特征图的尺寸和参数数量,从而提高模型的鲁棒性和计算效率。

常见的池化方式有最大池化和平均池化,它们分别选取特征图中最大值和平均值作为输出。

3. 激活函数激活函数是CNN中用于引入非线性的一环,它对卷积层输出的结果进行非线性变换,增加网络的表达能力。

常用的激活函数有ReLU、Sigmoid和Tanh等,它们分别在不同场景下表现出不同的性能。

三、工作原理CNN的工作原理可以简单概括为:输入数据经过一系列的卷积层、池化层和全连接层的处理,最终得到输出结果。

具体流程如下:1. 输入层:接收原始数据,通常是图像或音频。

2. 卷积层:提取输入数据的局部特征。

3. 激活函数:引入非线性变换,增加网络的表达能力。

4. 池化层:减少特征图的尺寸和参数数量。

5. 全连接层:将池化层输出的特征进行分类或预测。

CNN(卷积神经网络)详解

CNN(卷积神经网络)详解

CNN(卷积神经网络)详解卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络,用于处理具有类似网格结构的数据。

这种网络结构在计算机视觉领域中应用非常广泛,包括图像识别、语音识别等领域。

CNN采用卷积层、池化层和全连接层等多种不同的层来提取特征。

一、卷积层卷积层是CNN的核心,也是最基本的层,它可以检测不同的特征,比如边缘、颜色和纹理等。

通常情况下,卷积层的输入是一个彩色或者灰度的图像,输出则是不同数量的“特征图”。

每个特征图对应一个特定的特征。

卷积层有一个非常重要的参数,叫做卷积核(Kernel),也就是滤波器。

卷积核是一个小的矩阵,它在输入数据的二维平面上滑动,将每个位置的像素值与卷积核的对应位置上的值相乘,然后将结果相加得到卷积层的输出。

通过不同的卷积核可以检测出不同的特征。

二、池化层池化层是CNN中的另一种重要层,它可以对卷积层的输出做降维处理,并且能够保留特征信息。

池化层通常是在卷积层之后加上的,其作用是将附近几个像素点合并成一个像素点。

这样做的好处是可以减小数据量,同时也可以使特征更加鲁棒。

池化层通常有两种类型,分别是最大池化和平均池化。

最大池化是从相邻的像素中寻找最大值,即将一个矩阵划分成多个小矩阵,然后寻找每个小矩阵中的最大值,最后将每个小矩阵中的最大值组成的矩阵作为输出。

平均池化则是简单地取相邻像素的平均值作为输出。

三、全连接层全连接层,也叫做密集连接层,是CNN中的最后一层,它将池化层输出的结果转化成一个一维的向量,并将其送入神经网络中进行分类或者回归预测。

全连接层通常使用softmax或者sigmoid等激活函数来输出分类结果。

四、CNN的应用CNN在计算机视觉领域有着广泛的应用,比如图像分类、物体检测、人脸识别、文字识别等。

其中最常见的应用就是图像分类,即将一张图片分为不同的目标类别。

通过卷积层和池化层不断地提取出图像的特征,然后送进全连接层对不同的类别进行分类。

卷积神经网络原理与应用

卷积神经网络原理与应用

卷积神经网络原理与应用卷积神经网络(Convolutional Neural Network,简称CNN)是一种深度学习模型,广泛应用于图像识别、计算机视觉和自然语言处理等领域。

本文将介绍卷积神经网络的原理和应用,并探讨其在实际场景中的价值。

一、卷积神经网络的原理卷积神经网络是由多个卷积层、池化层和全连接层组成的神经网络。

它的核心思想是通过卷积操作和池化操作来提取图像的特征,再通过全连接层进行分类或回归。

1. 卷积操作卷积操作是卷积神经网络的核心操作之一。

它通过滑动一个卷积核在输入图像上进行特征提取。

卷积核是一个小矩阵,可以学习到不同的特征。

卷积操作可以有效地减少参数数量,提取图像的局部特征。

2. 池化操作池化操作是为了降低特征图的空间分辨率,减少模型的计算量。

常见的池化操作有最大池化和平均池化。

最大池化选择局部区域中的最大值作为输出,平均池化计算局部区域的平均值作为输出。

池化操作可以保留图像的主要特征,并且具有一定的平移不变性。

3. 全连接层全连接层是卷积神经网络的最后一层,用于分类或回归任务。

全连接层将卷积操作和池化操作提取到的特征进行组合,并输出最终的分类结果。

全连接层的参数数量较大,容易导致过拟合问题。

二、卷积神经网络的应用卷积神经网络在图像识别、计算机视觉和自然语言处理等领域有广泛的应用。

以下是一些典型的应用场景。

1. 图像识别卷积神经网络在图像识别中取得了重大突破。

通过训练大量的图像数据,卷积神经网络可以自动学习到图像的特征,并实现对不同物体的准确识别。

例如,在人脸识别领域,卷积神经网络可以实现对人脸的关键点定位、表情识别等任务。

2. 目标检测目标检测是计算机视觉中的一个重要任务,也是卷积神经网络的应用之一。

通过卷积神经网络,可以实现对图像中目标的定位和分类。

目标检测在智能驾驶、视频监控等领域有着广泛的应用。

3. 自然语言处理卷积神经网络在自然语言处理中也有一定的应用。

通过将文本转化为向量表示,卷积神经网络可以实现对文本的分类、情感分析等任务。

卷积神经网络(CNN,ConvNet)及其原理详解

卷积神经网络(CNN,ConvNet)及其原理详解

卷积神经网络(CNN,ConvNet)及其原理详解卷积神经网络(CNN,有时被称为ConvNet)是很吸引人的。

在短时间内,它们变成了一种颠覆性的技术,打破了从文本、视频到语音等多个领域所有最先进的算法,远远超出了其最初在图像处理的应用范围。

CNN 由许多神经网络层组成。

卷积和池化这两种不同类型的层通常是交替的。

网络中每个滤波器的深度从左到右增加。

最后通常由一个或多个全连接的层组成:图1 卷积神经网络的一个例子Convnets 背后有三个关键动机:局部感受野、共享权重和池化。

让我们一起看一下。

局部感受野如果想保留图像中的空间信息,那么用像素矩阵表示每个图像是很方便的。

然后,编码局部结构的简单方法是将相邻输入神经元的子矩阵连接成属于下一层的单隐藏层神经元。

这个单隐藏层神经元代表一个局部感受野。

请注意,此操作名为“卷积”,此类网络也因此而得名。

当然,可以通过重叠的子矩阵来编码更多的信息。

例如,假设每个子矩阵的大小是5×5,并且将这些子矩阵应用到28×28 像素的MNIST 图像。

然后,就能够在下一隐藏层中生成23×23 的局部感受野。

事实上,在触及图像的边界之前,只需要滑动子矩阵23 个位置。

定义从一层到另一层的特征图。

当然,可以有多个独立从每个隐藏层学习的特征映射。

例如,可以从28×28 输入神经元开始处理MNIST 图像,然后(还是以5×5 的步幅)在下一个隐藏层中得到每个大小为23×23 的神经元的k 个特征图。

共享权重和偏置假设想要从原始像素表示中获得移除与输入图像中位置信息无关的相同特征的能力。

一个简单的直觉就是对隐藏层中的所有神经元使用相同的权重和偏置。

通过这种方式,每层将从图像中学习到独立于位置信息的潜在特征。

理解卷积的一个简单方法是考虑作用于矩阵的滑动窗函数。

在下面的例子中,给定输入矩阵I 和核K,得到卷积输出。

将3×3 核K(有时称为滤波器或特征检测器)与输入矩阵逐元素地相乘以得到输出卷积矩阵中的一个元素。

深度学习知识:卷积神经网络与循环神经网络的比较

深度学习知识:卷积神经网络与循环神经网络的比较

深度学习知识:卷积神经网络与循环神经网络的比较深度学习是人工智能领域的一个重要分支,它以神经网络为基础,致力于模拟人脑的学习和认知过程,以实现机器自主学习、自主认知和自主决策。

卷积神经网络(Convolutional Neural Network,CNN)和循环神经网络(Recurrent Neural Network,RNN)是深度学习中两个重要的网络模型,分别适用于不同的任务和场景。

本文将对它们进行比较,分析它们的特点、优势和劣势,以及在不同领域中的应用。

一、卷积神经网络卷积神经网络是一种专门用于处理具有类似网格结构的数据的神经网络,如图像、视频和声音。

与传统的全连接神经网络相比,卷积神经网络具有很强的局部感知能力和参数共享机制,使其在处理图像等大规模数据时表现出色。

卷积神经网络的核心思想是通过卷积运算和池化操作来逐步提取输入数据的特征,从而实现对输入数据的高效抽象和识别。

1.卷积运算卷积运算是卷积神经网络的核心操作,它通过卷积核对输入数据进行卷积计算,从而提取输入数据的特征。

卷积操作可以有效捕获输入数据的空间关系和局部模式,使得卷积神经网络在处理图像等具有空间结构的数据时表现出色。

2.参数共享在卷积神经网络中,卷积核的参数是共享的,即不同位置的相同特征都使用相同的卷积核进行提取。

这种参数共享机制大大减少了网络参数的数量,降低了网络的复杂度,提高了网络的泛化能力。

3.池化操作池化操作是卷积神经网络中的另一个重要操作,它通过对输入数据进行下采样,从而减少数据的维度和参数数量,同时保持数据的特征不变性。

池化操作能够有效减少网络对输入数据的敏感度,提高网络的稳定性和鲁棒性。

卷积神经网络广泛应用于图像识别、目标检测、语义分割等领域,已取得了许多重要的成果,如ImageNet图像识别挑战赛的冠军就是基于卷积神经网络的模型。

二、循环神经网络循环神经网络是一种专门用于处理序列数据的神经网络,如文本、语音和时间序列数据。

通俗理解卷积神经网络

通俗理解卷积神经网络

通俗理解卷积神经⽹络1 前⾔2012年我在北京组织过8期machine learning读书会,那时“”⾮常⽕,很多⼈都对其抱有巨⼤的热情。

当我2013年再次来到北京时,有⼀个词似乎⽐“机器学习”更⽕,那就是“深度学习”。

本博客内写过⼀些机器学习相关的⽂章,但上⼀篇技术⽂章“LDA主题模型”还是写于2014年11⽉份,毕竟⾃2015年开始创业做在线教育后,太多的杂事、琐碎事,让我⼀直想再写点技术性⽂章但每每恨时间抽不开。

然由于公司在不断开机器学习、深度学习等相关的在线课程,⽿濡⽬染中,总会顺带学习学习。

我虽不参与讲任何课程(公司的所有在线课程都是由⽬前讲师团队的17位讲师讲),但依然可以⽤最最⼩⽩的⽅式把⼀些初看复杂的东西抽丝剥茧的通俗写出来。

这算重写技术博客的价值所在。

在dl中,有⼀个很重要的概念,就是卷积神经⽹络CNN,基本是⼊门dl必须搞懂的东西。

本⽂基本根据斯坦福的机器学习公开课、cs231n、与七⽉在线寒⽼师讲的5⽉dl班第4次课CNN与常⽤框架视频所写,是⼀篇课程笔记。

本只是想把重点放在其卷积计算具体是怎么计算怎么操作的,但后⾯不断补充,故写成了关于卷积神经⽹络的通俗导论性的⽂章。

有何问题,欢迎不吝指正。

2 ⼈⼯神经⽹络2.1 神经元神经⽹络由⼤量的节点(或称“神经元”、“单元”)和相互连接⽽成。

每个神经元接受输⼊的线性组合,进⾏⾮线性变换(亦称激活函数activation function)后输出。

每两个节点之间的连接代表加权值,称之为权重(weight)。

不同的权重和激活函数,则会导致神经⽹络不同的输出。

举个⼿写识别的例⼦,给定⼀个未知数字,让神经⽹络识别是什么数字。

此时的神经⽹络的输⼊由⼀组被输⼊图像的像素所激活的输⼊神经元所定义。

在通过激活函数进⾏⾮线性变换后,神经元被激活然后被传递到其他神经元。

重复这⼀过程,直到最后⼀个输出神经元被激活。

从⽽识别当前数字是什么字。

神经⽹络的每个神经元/单元如下类似wx + b的形式,其中a1~an为输⼊向量,当然,也常⽤x1~xn表⽰输⼊w1~wn为权重b为偏置biasf 为激活函数t 为输出如果只是上⾯这样⼀说,估计以前没接触过的⼗有⼋九⼜必定迷糊了。

深度学习——带你通俗理解卷积神经网络(CNN)

深度学习——带你通俗理解卷积神经网络(CNN)

深度学习——带你通俗理解卷积神经⽹络(CNN)卷积神经⽹络(CNN)基础知识⽂章⽬录1.前⾔ 如果说深度神经⽹络模型中的“明星”是谁?那么⾮卷积神经⽹络莫属。

下⾯给⼤家简单介绍⼀下CNN的基础知识。

其中CNN基础主要涉及卷积层、池化层、全连接层在卷积神经⽹络扮演的⾓⾊、实现的具体的功能和⼯作原理。

2.卷积层 1.主要作⽤:对输⼊的数据进⾏特征提取。

2.⼯具:卷积核——完成对数据提取的功能。

3.卷积核是怎么处理数据数据的呢?我们知道卷积核其实是⼀个指定窗⼝⼤⼩的扫描器,通过⼀次⼜⼀次地扫描输⼊的数据,来提取数据中的特征。

那么在通过卷积核处理后,就可以识别出图像中的重要特征了。

4.下⾯讲解卷积核的定义:⼀、 假定有⼀张32* 32*3的输⼊图像,其中32 * 32是图像的⾼度和宽度,3是指图像具有R,G,B三个⾊彩通道。

⼆、我们定义⼀个5 * 5 * 3的卷积核 ,其中3是指卷积核的深度,对应之前输⼊图像的三个彩⾊通道。

(⽬的:当卷积核窗⼝在输⼊图像上滑动时,能够⼀次在三个彩⾊通道上同时进⾏卷积操作)三、 常⽤的卷积核5 *5和3 *3我们知道了卷积核后,那么怎么进⾏卷积操作呢? 现在我们定义步长为对卷积核的窗⼝进⾏滑动 下图为⼀个步长为2的卷积核经过⼀次滑动窗⼝位置变化情况 仔细观察不难发现,在上⾯的输⼊图像的最外界多了⼀圈全为0的像素,这其实就是⼀种⽤于提升卷积效果的边界像素扩充的⽅法共有两种⽅式进⾏填充Same和Valid1.Same在输⼊图像的最外界加上指定层数的值全为0的像素边界:为了让输⼊图像的全部像素能被滑动窗⼝捕捉。

2.Valid直接对输⼊图像进⾏卷积,不对输⼊图像进⾏任何的前期处理和图像填充。

缺点就是会导致部分像素点不嫩被滑动窗⼝捕捉。

通过对卷积过程的计算,可以得出卷积通⽤公式⽤于计算输⼊图像经过⼀轮卷积操作后的输出图像的宽度和⾼度的参数 其中W,H分别代表图像的宽度和⾼度的值;下标input代表输⼊图像的相关参数;下标output表⽰输出图像的相关参数,filter代表卷积核的相关参数,S代表卷积的步长,P(padding)代表在图像边缘增加的边界像素层数。

简述卷积神经网络(CNN)和循环神经网络(RNN)的原理及应用场景

简述卷积神经网络(CNN)和循环神经网络(RNN)的原理及应用场景

简述卷积神经网络(CNN)和循环神经网络(RNN)的原理及应用场景卷积神经网络(CNN)和循环神经网络(RNN)是当前深度学习领域中最热门的两个神经网络架构。

本论文将从两个方面分别介绍CNN和RNN的原理及应用场景。

一、卷积神经网络(CNN)1. 原理卷积神经网络是一种使用卷积操作的深度神经网络,其网络结构主要由卷积层、池化层和全连接层构成。

其中,卷积层和池化层主要用于提取图像的特征信息,而全连接层则用于进行分类或回归等任务。

具体而言,卷积层利用卷积核对输入数据进行卷积计算,以提取输入数据中的关键信息。

池化层则用于缩小特征图的空间大小,减少模型参数数量,提高模型的泛化能力。

全连接层将卷积层和池化层的输出进行flatten操作后,再进行全连接计算,以得出最终的分类或回归结果。

2. 应用场景卷积神经网络在图像识别、目标检测、人脸识别、自然语言处理等领域有着广泛的应用。

其中,图像识别是其主要应用场景之一。

例如,利用卷积神经网络可以对图像进行分类、分割、检测等任务。

此外,卷积神经网络还可以用于文本特征提取、语音识别等任务。

二、循环神经网络(RNN)1. 原理循环神经网络是一种具有记忆功能的神经网络,其主要特点是能够处理序列数据。

循环神经网络通过循环连接将上一时刻的输出作为本时刻的输入,以便学习上下文信息。

其网络结构主要由输入层、隐藏层和输出层构成。

其中,隐藏层包含循环单元,用于存储前面输入的信息。

具体而言,循环神经网络通过隐藏层单元的记忆功能,能够将上下文信息融合到当前的计算中,从而在序列数据的预测和生成任务上取得优异的效果。

2. 应用场景循环神经网络主要应用于序列任务,如文本生成、语音识别、机器翻译、时间序列预测等。

例如,在机器翻译中,可以将源语言序列作为输入序列,目标语言序列作为输出序列,利用循环神经网络进行学习和预测,从而实现机器翻译的自动化。

结论本论文从原理和应用场景两个方面介绍了卷积神经网络和循环神经网络。

卷积神经网络(CNN)详解

卷积神经网络(CNN)详解

卷积神经⽹络(CNN)详解⼀、卷积神经⽹络的基本概念卷积神经⽹络与普通神经⽹络的区别在于,卷积神经⽹络包含了⼀个由卷积层和⼦采样层(池化层)构成的特征抽取器。

在卷积神经⽹络的卷积层中,⼀个神经元只与部分邻层神经元连接。

在CNN的⼀个卷积层中,通常包含若⼲个特征图(featureMap),每个特征图由⼀些矩形排列的的神经元组成,同⼀特征图的神经元共享权值,这⾥共享的权值就是卷积核。

卷积核⼀般以随机⼩数矩阵的形式初始化,在⽹络的训练过程中卷积核将学习得到合理的权值。

共享权值(卷积核)带来的直接好处是减少⽹络各层之间的连接,同时⼜降低了过拟合的风险。

⼦采样也叫做池化(pooling),通常有均值⼦采样(mean pooling)和最⼤值⼦采样(max pooling)两种形式。

⼦采样可以看作⼀种特殊的卷积过程。

卷积和⼦采样⼤⼤简化了模型复杂度,减少了模型的参数。

⼆、卷积神经⽹络的基本原理2.1 神经⽹络⾸先介绍神经⽹络,神经⽹络的每个单元如下:其对应的公式如下:其中,该单元也可以被称作是Logistic回归模型。

当将多个单元组合起来并具有分层结构时,就形成了神经⽹络模型。

下图展⽰了⼀个具有⼀个隐含层的神经⽹络。

其对应的公式如下:⽐较类似的,可以拓展到有2,3,4,5,…个隐含层。

2.2 卷积神经⽹络⾸先,我们先获取⼀个感性认识,下图是⼀个卷积神经⽹络的实例:卷积神经⽹络通常包含以下⼏种层:卷积层(Convolutional layer),卷积神经⽹路中每层卷积层由若⼲卷积单元组成,每个卷积单元的参数都是通过反向传播算法优化得到的。

卷积运算的⽬的是提取输⼊的不同特征,第⼀层卷积层可能只能提取⼀些低级的特征如边缘、线条和⾓等层级,更多层的⽹络能从低级特征中迭代提取更复杂的特征。

线性整流层(Rectified Linear Units layer, ReLU layer),这⼀层神经的活性化函数(Activation function)使⽤线性整流(Rectified Linear Units,ReLU)f(x)=max(0,x)f(x)=max(0,x)。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

一文读懂卷积神经网络
自今年七月份以来,一直在实验室负责卷积神经网络(Convolutional Neural Network,CNN),期间配置和使用过theano和cuda-convnet、
cuda-convnet2。

为了增进CNN的理解和使用,特写此博文,以其与人交流,互有增益。

正文之前,先说几点自己对于CNN的感触。

先明确一点就是,Deep Learning是全部深度学习算法的总称,CNN是深度学习算法在图像处理领域的一个应用。

第一点,在学习Deep learning和CNN之前,总以为它们是很了不得的知识,总以为它们能解决很多问题,学习了之后,才知道它们不过与其他机器学习算法如svm等相似,仍然可以把它当做一个分类器,仍然可以像使用一个黑盒子那样使用它。

第二点,Deep Learning强大的地方就是可以利用网络中间某一层的输出当做是数据的另一种表达,从而可以将其认为是经过网络学习到的特征。

基于该特征,可以进行进一步的相似度比较等。

第三点,Deep Learning算法能够有效的关键其实是大规模的数据,这一点原因在于每个DL都有众多的参数,少量数据无法将参数训练充分。

接下来话不多说,直接奔入主题开始CNN之旅。

卷积神经网络简介(Convolutional Neural Networks,简称CNN)
卷积神经网络是近年发展起来,并引起广泛重视的一种高效识别方法。

20世纪60年代,Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网络的复杂性,继而提出了卷积神经网络(Convolutional Neural Networks-简称CNN)。

现在,CNN已经成为众多科学领域的研究热点之一,特别是在模式分类领域,由于该网络避免了对图像的复杂前期预处理,可以直接输入原始图像,因而得到了更为广泛的应用。

K.Fukushima在1980年提出的新识别机是卷积神经网络的第一个实现网络。

随后,更多的科研工作者对该网络进行了改进。

其中,具有代表性的研究成果是Alexander和Taylor提出的“改进认知机”,该方法综合了各种改进方法的优点并避免了耗时的误差反向传播。

一般地,CNN的基本结构包括两层,其一为特征提取层,每个神经元的输入与前一层的局部接受域相连,并提取该局部的特征。

一旦该局部特征被提取后,它与其它特征间的位置关系也随之确定下来;其二是特征映射层,网络的每个计算层由多个特征映射组成,每个特征映射是一个平面,平面上所有神经元的权值相等。

特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数,使得特征映射具有位移不变性。

此外,由于一个映射面上的神经元共享权值,因而减少了网络自由参数的个数。

卷积神经网络中的每一个卷积层都紧跟着一个
用来求局部平均与二次提取的计算层,这种特有的两次特征提取结构减小了特征分辨率。

CNN主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。

由于CNN的特征检测层通过训练数据进行学习,所以在使用CNN时,避免了显示的特征抽取,而隐式地从训练数据中进行学习;再者由于同一特征映射面上的神经元权值相同,所以网络可以并行学习,这也是卷积网络相对于神经元彼此相连网络的一大优势。

卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性,其布局更接近于实际的生物神经网络,权值共享降低了网络的复杂性,特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度。

1. 神经网络
首先介绍神经网络,这一步的详细可以参考资源1。

简要介绍下。

神经网络的每个单元如下:
其对应的公式如下:
其中,该单元也可以被称作是Logistic回归模型。

当将多个单元组合起来并具有分层结构时,就形成了神经网络模型。

下图展示了一个具有一个隐含层的神经网络。

其对应的公式如下:
比较类似的,可以拓展到有2,3,4,5,…个隐含层。

神经网络的训练方法也同Logistic类似,不过由于其多层性,还需要利用链式求导法则对隐含层的节点进行求导,即梯度下降+链式求导法则,专业名称为反向传播。

关于训练算法,本文暂不涉及。

2 卷积神经网络
在图像处理中,往往把图像表示为像素的向量,比如一个1000×1000的图像,可以表示为一个1000000的向量。

在上一节中提到的神经网络中,如果隐含层数目与输入层一样,即也是1000000时,那么输入层到隐含层的参数数据为1000000×1000000=10^12,这样就太多了,基本没法训练。

所以图像处理要想练成神经网络大法,必先减少参数加快速度。

就跟辟邪剑谱似的,普通人练得很挫,一旦自宫后内力变强剑法变快,就变的很牛了。

2.1 局部感知
卷积神经网络有两种神器可以降低参数数目,第一种神器叫做局部感知野。

一般认为人对外界的认知是从局部到全局的,而图像的空间联系也是局部的像素联系较为紧密,而距离较远的像素相关性则较弱。

因而,每个神经元其实没有必要
对全局图像进行感知,只需要对局部进行感知,然后在更高层将局部的信息综合起来就得到了全局的信息。

网络部分连通的思想,也是受启发于生物学里面的视觉系统结构。

视觉皮层的神经元就是局部接受信息的(即这些神经元只响应某些特定区域的刺激)。

如下图所示:左图为全连接,右图为局部连接。

在上右图中,假如每个神经元只和10×10个像素值相连,那么权值数据为1000000×100个参数,减少为原来的千分之一。

而那10×10个像素值对应的
10×10个参数,其实就相当于卷积操作。

2.2 参数共享
但其实这样的话参数仍然过多,那么就启动第二级神器,即权值共享。

在上面的局部连接中,每个神经元都对应100个参数,一共1000000个神经元,如果这1000000个神经元的100个参数都是相等的,那么参数数目就变为100了。

怎么理解权值共享呢?我们可以这100个参数(也就是卷积操作)看成是提取特征的方式,该方式与位置无关。

这其中隐含的原理则是:图像的一部分的统计特性与其他部分是一样的。

这也意味着我们在这一部分学习的特征也能用在另一部分上,所以对于这个图像上的所有位置,我们都能使用同样的学习特征。

更直观一些,当从一个大尺寸图像中随机选取一小块,比如说8×8 作为样本,并且从这个小块样本中学习到了一些特征,这时我们可以把从这个8×8 样本中学习到的特征作为探测器,应用到这个图像的任意地方中去。

特别是,我们可以用从8×8 样本中所学习到的特征跟原本的大尺寸图像作卷积,从而对这个大尺寸图像上的任一位置获得一个不同特征的激活值。

如下图所示,展示了一个33的卷积核在55的图像上做卷积的过程。

每个卷积都是一种特征提取方式,就像一个筛子,将图像中符合条件(激活值越大越符合条件)的部分筛选出来。

相关文档
最新文档