神经网络与深度学习讲义20151211
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
R 015 2.3 矩阵的基本运算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ：2 2.3.1 常见的矩阵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . D 时间 2.3.2 矩阵的范数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
T 0 第二章 数学基础 F 2:0 2.1 向量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2 2.1.1 向量的模 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
D 时间 总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
22 26 27
28 29 29 30 32 34 35 36
译
编 第五章 人工神经网络
38
5.1 神经元 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
5.6 经验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
邱锡鹏：《神经网络与深度学习》讲义
http://nlp.fudan.edu.cn/dl-book/
目录
III
5.7 总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
4.1.1 感知器学习算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
A -11 4.1.2 收敛性证明 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
-12 多类感知器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.2.1 前馈计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
5.3 反向传播算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
6.1.2 两维场合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
6.2 卷积层：用卷积来代替全连接 . . . . . . . . . . . . . . . . . . . . . . . . . 49
6.3 子采样层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
6.4 6.5
6.6 第七章
7.1
7.2 7.3 7.4
卷积神经网络示例：LeNet-5 . . . . . . . . . . . . . . . . . . . . . . . . . . 梯度计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.5.1 logistic 函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.5.2 softmax 函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
T 6.5.1 卷积层的梯度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
0 6.5.2 子采样层的梯度 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
F 2:0 总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.6 总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
第三章 机器学习概述
10
3.1 机器学习概述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
5.1.1 激活函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
5.2 前馈神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
II
目录
3.1.1 损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.1.2 机器学习算法的类型 . . . . . . . . . . . . . . . . . . . . . . . . . . 13
第六章 卷积神经网络
48
6.1 卷积 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
6.1.1 一维场合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
T 0 感知器 F 22:0 两类感知器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1 2 循环神经网络
A 2-1 简单循环网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5-1 7.1.1 梯度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
第一章 绪论
6 6
2.4.2 导数法则 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.5 常用函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
编译 总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
53 54 55 56 56
57 58 59 60 61 61 62
参考文献
63
索引
65
邱锡鹏：《神经网络与深度学习》讲义
http://nlp.fudan.edu.cn/dl-book/
3.1.3 机器学习中的一些概念 . . . . . . . . . . . . . . . . . . . . . . . . . 14
3.1.4 参数学习算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
3.2 线性回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1 2
3 3 3 3 4 4 5 5
பைடு நூலகம்
译 2.4 导数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 编 2.4.1 常见的向量导数 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
R 201 7.1.2 改进方案 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
： 长短时记忆神经网络：LSTM . . . . . . . . . . . . . . . . . . . . . . . . .
D 时间 门限循环单元：GRU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.4 梯度消失问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
5.5 训练方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.3 线性分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
3.3.1 两类分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
3.4 3.5 第四章 4.1
4.2
4.3 4.4
3.3.2 多类线性分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
评价方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
R 015 4.2.1 多类感知器的收敛性 . . . . . . . . . . . . . . . . . . . . . . . . . .
：2 投票感知器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
A -11 2.1.2 向量的范数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
-12 2.2 矩阵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
《神经网络与深度学习》讲义
Notes on Artificial Neural Networks and Deep Learning
FT 邱锡鹏
xpqiu@fudan.edu.cn
22:00
DRA 2015 年时1间2 月：21011日5-12-11
编译
目录
第一章 绪论 1.1 总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
T 0 第二章 数学基础 F 2:0 2.1 向量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2 2.1.1 向量的模 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
D 时间 总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
22 26 27
28 29 29 30 32 34 35 36
译
编 第五章 人工神经网络
38
5.1 神经元 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
5.6 经验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
邱锡鹏：《神经网络与深度学习》讲义
http://nlp.fudan.edu.cn/dl-book/
目录
III
5.7 总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
4.1.1 感知器学习算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
A -11 4.1.2 收敛性证明 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
-12 多类感知器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.2.1 前馈计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
5.3 反向传播算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
6.1.2 两维场合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
6.2 卷积层：用卷积来代替全连接 . . . . . . . . . . . . . . . . . . . . . . . . . 49
6.3 子采样层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
6.4 6.5
6.6 第七章
7.1
7.2 7.3 7.4
卷积神经网络示例：LeNet-5 . . . . . . . . . . . . . . . . . . . . . . . . . . 梯度计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.5.1 logistic 函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.5.2 softmax 函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
T 6.5.1 卷积层的梯度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
0 6.5.2 子采样层的梯度 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
F 2:0 总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.6 总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
第三章 机器学习概述
10
3.1 机器学习概述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
5.1.1 激活函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
5.2 前馈神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
II
目录
3.1.1 损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.1.2 机器学习算法的类型 . . . . . . . . . . . . . . . . . . . . . . . . . . 13
第六章 卷积神经网络
48
6.1 卷积 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
6.1.1 一维场合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
T 0 感知器 F 22:0 两类感知器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1 2 循环神经网络
A 2-1 简单循环网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5-1 7.1.1 梯度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
第一章 绪论
6 6
2.4.2 导数法则 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.5 常用函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
编译 总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
53 54 55 56 56
57 58 59 60 61 61 62
参考文献
63
索引
65
邱锡鹏：《神经网络与深度学习》讲义
http://nlp.fudan.edu.cn/dl-book/
3.1.3 机器学习中的一些概念 . . . . . . . . . . . . . . . . . . . . . . . . . 14
3.1.4 参数学习算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
3.2 线性回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1 2
3 3 3 3 4 4 5 5
பைடு நூலகம்
译 2.4 导数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 编 2.4.1 常见的向量导数 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
R 201 7.1.2 改进方案 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
： 长短时记忆神经网络：LSTM . . . . . . . . . . . . . . . . . . . . . . . . .
D 时间 门限循环单元：GRU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.4 梯度消失问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
5.5 训练方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.3 线性分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
3.3.1 两类分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
3.4 3.5 第四章 4.1
4.2
4.3 4.4
3.3.2 多类线性分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
评价方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
R 015 4.2.1 多类感知器的收敛性 . . . . . . . . . . . . . . . . . . . . . . . . . .
：2 投票感知器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
A -11 2.1.2 向量的范数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
-12 2.2 矩阵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
《神经网络与深度学习》讲义
Notes on Artificial Neural Networks and Deep Learning
FT 邱锡鹏
xpqiu@fudan.edu.cn
22:00
DRA 2015 年时1间2 月：21011日5-12-11
编译
目录
第一章 绪论 1.1 总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .