从线性分类器到人工神经网络

43/54
julyedu.com
神经网络之 BP算法
o BP算法，也叫δ算法 o 以3层的感知器为例
11月深度学习班
44/54
julyedu.com
神经网络之 BP算法
o 输出层 o 误差展开至至隐层
o 展开至至输入入层
11月深度学习班
45/54
j来自百度文库lyedu.com
神经网络之 SGD
11月深度学习班
17/54
julyedu.com
一点基础:线性分类器
o 损失函数1:hinge loss/支持向量机损失
Ø Ø Ø Ø 对于训练集中的第i张图片数据xi 在W下会有一个得分结果向量f(xi,W) 第j类的得分为我们记作f(xi,W)j 则在该样本上的损失我们由下列公式计算得到
11月深度学习班 2/54 julyedu.com
深度学习与应用
o 图像上的应用
11月深度学习班
3/54
julyedu.com
深度学习与应用
o 图像上的应用
11月深度学习班
4/54
julyedu.com
深度学习与应用
o 图像上的应用
11月深度学习班
5/54
julyedu.com
深度学习与应用
37/54
julyedu.com
神经网络之 为什么
11月深度学习班
38/54
julyedu.com
神经网络表达力与过拟合
o 理论上说单隐层神经网络可以逼近任何连续函数（只要隐层 的神经元个数足够多）。 o 虽然从数学上看表达能力一致，但是多隐藏层的神经网络比 单隐藏层的神经网络工程效果好很多。 o 对于一些分类数据（比如CTR预估里），3层神经网络效果优 于2层神经网络，但是如果把层数再不断增加(4,5,6层)，对 最后结果的帮助就没有那么大的跳变了。 o 图像数据比较特殊，是一种深层(多层次)的结构化数据，深 层次的卷积神经网络，能够更充分和准确地把这些层级信息 表达出来。
o 误差E有了，怎么调整权重让误差不断减小？ o E是权重w的函数，我们需要找到使得函数值最小的w
11月深度学习班
46/54
julyedu.com
BP算法例子
11月深度学习班
47/54
julyedu.com
前向运算
11月深度学习班
48/54
julyedu.com
反向传播
11月深度学习班
11月深度学习班
56/54
julyedu.com
感谢大家！ 恳请大家批评指正！
11月深度学习班
57/54
julyedu.com
julyedu.com
一点基础:线性分类器
o 损失函数2:交叉熵损失(softmax分类器)
Ø 对于训练集中的第i张图片数据xi Ø 在W下会有一个得分结果向量fyi Ø 则损失函数记作
或者
实际工程中一般这么算：
11月深度学习班
21/54
julyedu.com
一点基础:线性分类器
神经网络 结构
11月深度学习班
41/54
julyedu.com
神经网络之 传递函数
o S函数(sigmoid) VS 双S函数
11月深度学习班
42/54
julyedu.com
神经网络之 BP算法
o “正向传播”求损失，“反向传播”回传误差 o 根据误差信号修正每层的权重
11月深度学习班
11月深度学习班
29/54
julyedu.com
神经网络之 是什么
增多中间层 => 深度神经网络(DNN)
11月深度学习班
30/54
julyedu.com
神经网络之 为什么
o 神经网络应用在分类问题中效果好 o LR或者linear SVM，线性分割
11月深度学习班
31/54
julyedu.com
11月深度学习班
18/54
julyedu.com
一点基础:线性分类器
o 损失函数1:hinge loss/支持向量机损失
Ø 因为是线性模型，因此可以简化成
Ø 加正则化项
11月深度学习班
19/54
julyedu.com
一点基础:线性分类器
o 线性分类器得分函数
11月深度学习班
20/54
o 线性分类器得分函数
11月深度学习班
15/54
julyedu.com
一点基础:线性分类器
o 线性分类器的理解（2）：模板匹配
Ø W的每一行可以看做是其中一个类别的模板。 Ø 每类得分，实际上是像素点和模板匹配度。 Ø 模板匹配的方式是内积计算。 模板示例：
飞机 小汽车 鸟 猫 鹿
狗
青蛙
马
船
卡车
11月深度学习班
16/54
julyedu.com
一点基础:线性分类器
o 损失函数
Ø 给定W，可以由像素映射到类目得分 Ø 可以调整参数/权重W，使得映射的结果和实际类别吻合 Ø 损失函数是用来衡量吻合度的 Ø 别的称呼 l 『代价函数/cost function』 l 『客观度/objective』
49/54
julyedu.com
反向传播与参数更新
11月深度学习班
50/54
julyedu.com
反向传播与参数更新
11月深度学习班
51/54
julyedu.com
神经网络之 示例
o Tensorflow与多层感知器完成样本分类
11月深度学习班
52/54
julyedu.com
神经网络之 示例
39/54 julyedu.com
11月深度学习班
神经网络表达力与过拟合
o 提升隐层层数或者隐层神经元个数，神经网络“容量”会变 大，空间表达力会变强。
o 过多的隐层和神经元节点，会带来过拟合问题。 o 不要试图通过降低神经网络参数量来减缓过拟合，用正则化 或者dropout。
11月深度学习班 40/54 julyedu.com
o 2种损失函数的理解
11月深度学习班
22/54
julyedu.com
神经网络之 从哪来
一个学习算法的假设
Auditory Cortex
听觉皮质学习去“看”
11月深度学习班 23/54
[Roe et al., 1992]
julyedu.com
神经网络之 从哪来
一个学习算法的假设
Somatosensory Cortex
深度学习背景与人工神经网络
主要内容
n 背景介绍
1.深度学习应用
n 神经网络
1.起源 2.基本结构
n 神奇的分类能力与背后的原理
1.感知器与逻辑门 2.强大的空间非线性切分能力 3.网络表达力与过拟合问题 4.BP算法与SGD
n 代码与示例
1.Tensorflow多层感知器非线性切分 2.神经网络分类(非线性)示例 3.CIFAR-10多层感知器切分
julyedu.com
深度学习与应用
o 综合应用
11月深度学习班
10/54
julyedu.com
一点基础:线性分类器
o 线性分类器得分函数 o o o o
CIFAR-10中 的10个类别 的得分向量
11月深度学习班
11/54
julyedu.com
一点基础:线性分类器
o 线性分类器得分函数
感知皮层学习去“看”
11月深度学习班 24/54
[Roe et al., 1992] julyedu.com
神经网络之 从哪来
一个学习算法的假设
[BrainPort; Welsh & Blasch, 1997 etc]
用舌头看
人体声呐
方向识别带 11月深度学习班
25/54
植入第三只眼
julyedu.com
11月深度学习班
12/54
julyedu.com
一点基础:线性分类器
o 线性分类器得分函数
11月深度学习班
13/54
julyedu.com
一点基础:线性分类器
o 线性分类器的理解（1）：空间划分
o Wx+b是空间的点
11月深度学习班
14/54
julyedu.com
一点基础:线性分类器
o 图像上的应用
11月深度学习班
6/54
julyedu.com
深度学习与应用
o NLP上的应用
l 模仿小四的文笔
11月深度学习班
7/54
julyedu.com
深度学习与应用
o NLP上的应用
11月深度学习班
8/54
julyedu.com
深度学习与应用
o 综合应用
11月深度学习班
9/54
神经网络之 为什么
o LR和SVM对于非线性可分，怎么处理的？ o 为什么不用它们？
11月深度学习班
32/54
julyedu.com
神经网络之 为什么
o 非线性可分，怎么办？
11月深度学习班
33/54
julyedu.com
神经网络之 为什么
o 神经元完成『逻辑与』
11月深度学习班
34/54
julyedu.com
神经网络之 为什么
11月深度学习班
35/54
julyedu.com
神经网络之 为什么
o 神经元完成『逻辑或』
11月深度学习班
36/54
julyedu.com
神经网络之 为什么
o 对线性分类器的『与』和『或』的组合 o 完美对平面样本点分布进行分类
11月深度学习班
o 详见ipython notebook
11月深度学习班
53/54
julyedu.com
神经网络之 示例
11月深度学习班
54/54
julyedu.com
神经网络之 示例
11月深度学习班
55/54
julyedu.com
多层神经网络与图像识别
详见ipython notebook 与 GPU云平台案例
通用的学习框架
11月深度学习班
26/54
julyedu.com
神经网络之 是什么
神经网络结构大概如下…
11月深度学习班
27/54
julyedu.com
神经网络之 是什么
从逻辑回归到神经元『感知器』
11月深度学习班
28/54
julyedu.com
神经网络之 是什么
添加少量隐层 => 浅层神经网络