人工智能技术介绍

ij * xi
ij

(d j

yj)
f
(S j )[ A B
f
(S j )]
倒数第二层权值偏导：
E(w, b) wki
ki
* xk
ki

n
ij * wij *
j 1
f (Si )[ A Si ] B
根据梯度下降法，权值调整如下：
w ij wij *ij * xi wki wki *ki * xk
•Page 17
深圳市讯方技术股份有限公司
梯度下降算法背后的原理：目标函数J(θ)关于参数θ的梯度将是目标函数上升 最快的方向。对于最小化优化问题，只需要将参数沿着梯度相反的方向前进 一个步长
•Page 6
神经网络基本概念
五、网络训练原理二
偏差：
E(w,b)
1 2
n
(d j
j 1

yj )2
最后一层权值偏导：
E(w, b) wij
•Page 14
深度神经网络搭建
3，relu激活函数
线性整流函数（Rectified Linear Unit ）,又称修正线性单元。其数学形式如 下：
y=max(0, x) 作用：
可以有效防止梯度衰减的问题出现 。
•Page 15
深度神经网络搭建
三、网络搭建原则
1、在保证正确率的的前提下，参数越少越好。 2、在保证梯度不衰减、参数规模相同前提下，网络越深越好。 3、对参数调整加入Dropout、正则化干预措施等措施防止过拟合。
深圳讯方教学资源部
内容目录
1、神经网络基本概念 2、搭建第一个神经网络 3、深度学习神经网路搭建
•Page 2
神经网络基本概念
一、基本结构
下图所示，为一个神经网络的基本结构。它由一个输入层，一个输出 层，以及多个隐藏层构成。其中每一层都由多个神经元节点所组成。
•Page 3
神经网络基本概念
Tensorflow的特点是可以支持多重设备，大到GPU、CPU，小到平板和手机 都可以跑起来Tensorflow。而且Tensorflow的使用非常的方便。几行代码就能够 开始跑模型，这样使得神源自文库网络的入门变得非常的简单。
•Page 8
搭建第一个神经网络
二、环境搭建
安装tensorflow 编写程序实现矩阵运算
•Page 9
搭建第一个神经网络
三、MNIST数据集介绍
MNIST 数据集来自美国国家标准与技术研究所, National Institute of Standards and Technology (NIST). 训练集 (training set) 由来自 250 个不同人手写的数字构成, 其中 50% 是高中学生, 50% 来自人口 普查局 (the Census Bureau) 的工作人员. 测试集(test set) 也是同样 比例的手写数字数据
•Page 7
搭建第一个神经网络
一、环境介绍
Tensorflow是谷歌2015年开源的一个人工智能平台。其命名来源于本身的运 行原理。Tensor的意思是张量，代表N维数组；Flow的意思是流，代表基于数据 流图的计算。把N维数字从流图的一端流动到另一端的过程，就是人工智能神经网 络进行分析和处理的过程。
•Page 16
深度神经网络搭建
四、LeNet-5模型介绍
LeNet-5模型是Yann LeCun教授于1998年在论文Gradient-based learning applied to document recognition中提出的，它是第一个成功应用于数字识别问题 的卷积神经网络。LeNet-5模型一共有7层，下图展示了LeNet-5模型的架构：
•Page 13
深度神经网络搭建
2，池化
池化的过程和卷积的过程有些类似 ，同样采用过滤器方式，但计算方式 不同，池化层中采用最大池化和平均 池化的操作，也就是说在一个过滤器 尺寸内求矩阵的最大值或者平均值。
在池化层中，可以有效的缩小特征 图矩阵的大小，但深度一般不会改变 ，从而有效减少全连接神经网络中的 参数，以达到加快计算速度和防止过 拟合问题出现的效果。
二、神经元节点
n
s j w ij *xi b j i 1
设激活函数如下：
yj

f
(s
j
)

1
A es j
/B
•Page 4
神经网络基本概念
三、万能近似定理
万能近似定理（universal approximation theorem）(Hornik et al., 1989;Cybenko, 1989) 表明，一个前馈神经网络如果具有线性输出层和至少一 层具有任何一种‘‘挤压’’ 性质的激活函数（例如logistic sigmoid激活函 数）的隐藏层，只要给予网络足够数量的隐藏单元，它可以以任意的精度来 近似任何从一个有限维空间到另一个有限维空间的Borel 可测函数。
万能近似定理意味着无论我们试图学习什么函数，只要神经网络具备有足够 多的网路节点就一定能够表示这个函数。
•Page 5
神经网络基本概念
四、网络训练原理一
widrow-Hoff学习规则：通过沿着误差平方和快速下降方向，连续调整网络 的权值和阈值。并且根据梯度下降法，权值矢量的修正正比于当前位置上对 偏差的梯度。
•Page 10
搭建第一个神经网络
三、单层神经网络构建
分两步： 1、输入接口定义 2、使用全连接函数实现对输入10分类。
•Page 11
深度神经网络搭建
一、深度神经网络介绍
深度神经网络的深度是指隐藏层的层数。
二、主要涉及技术
1、卷积 2、池化 3、relu激活函数 4、Dropout
•Page 12
深度神经网络搭建
1，卷积
右图演示了一个在 2维数据上的卷积运算的过 程。我们限制只对核完全处在图像中的位置进行 输出，这通常被称为有效(valid)卷积。我们用画 有箭头的方框来说明输出的左上角元素是如何通 过对输入相应的左上角区域应用核进行卷积得到 的。
卷积操作可以使特征提取效果不降低的前提 下，大大减少了参数数量，有效防止了过拟合问 题。