深度学习基础知识整理

深度学习基础知识整理

，（不偏离常规，就无法取得进步）

第一课：数学分析与概率论

展式及其应用、凸函数、不等式、常见分布与共轭分布

第二课：数理统计与参数估计

不等式、大数定理、小数定理、中心极值定理、矩阵计算、最大似然估计

第三课:矩阵和线性代数

从马尔克夫模型看矩阵、特征向量、对称矩阵、线性方程

第四课:凸优化

凸函数、共轭函数、凸优化、对偶函数

第五课：回归

高斯分布、回归、梯度下降、特征选择与过拟合欠拟合关系应用方向：线性回归、回归实现和分析

第六课：梯度下降与拟牛顿法

梯度下降算法、自适应学习率、拟牛顿、

应用方向：自适应学习率代码实现和参数调试分析

第七课：最大熵模型

熵、相对熵、信息增益、最大熵模型、回归

应用方向：独立成分分析求解盲源分离问题

第八课：决策树和随机森林（蒙特卡罗）3、C4.5、、

研究方向:使用随机森林进行数据分类（蒙特卡洛）

第九课：

线性可分支持向量机、软间隔、核函数、

研究方向：使用进行数据分类

第十课：聚类

、密度聚类、谱聚类、

应用方向：、谱聚类代码实现和参数调试分析

第十一课：推荐系统

相似度量方案、协同过滤（）、、随机游走

应用方向：协同过滤用于商品推荐、隐变量的推荐

第十二课：提升

梯度提升决策树、、前向分步算法

应用方向：与随机森林（蒙特卡洛）结合、用于数据分类

第十三课：算法和

算法、、主题模型

应用方向：分解部分观测数据的男女身高、图像分解

第十四课：普斯贝叶斯和贝叶斯网络初步

有向分离、（隐）马尔科夫模型

第十五课：主题模型用算法计算、分布、、采样

应用方向：使用采样计算给语料的主题

第十六课：采样

（）、算法、采样

第十七课：变分

()与（）分析、平均场理论

第十八课：隐马尔科夫模型

概率计算问题、参数学习问题、状态预测问题应用方向：使用进行中文分词

第十九课：条件随机场

无向图模型、、前向-后向算法

第二十课：深度学习

全连接网络、链式法则与算法、卷积网络、残差网络、

应用方向：使用网络对样本分类

第十三课：深度学习总体介绍

1.神经网络；传统到现代

2.深度学习应用特定

3.深度学习发展方向

4.深度学习框架比较：用进行课程学习

第十四课：传统神经网络

1. 线性回归

2. 非线性激励函数

3. 函数，常见问题：过拟合，正则化，

实例：传统神经网络络实现

第十五课反向反馈：深度学习模型优化基础

1. 梯度下降介绍

2. 神经网络的梯度优化

3. 神经网络训练

实例：反向梯度优化对比

第十六课卷积神经网络

1. 卷积核以及卷积层

2. 最早的现代神经网络

3. ，,，. 近期的高级网络

实例：利用已有模型进行物体分类／特征提取

第十七课迁移学习

1. 理论分析

2. 迁移模型&原始训练模型

3. 如何设计新的的网络

实例：表情识别／人脸识别／动物识别

第十八课与时域信息相关的深度学习

1.

2.

3. 图片标题生成

4. 视频处理

实例：用于图片标题生成

第十九课自然语言处理

1. 处理之前：

2. 词语表达，2

3. 语句生成

实例：根据上下文回答问题

第二十课给予深度学习的目标检测

1. 传统的目标检测方法

2. 初代算法：

3. 升级：，，

4. 深度学习另辟蹊径：和

实例：自动驾驶的核心：实时目标检测

第二十一课深度卷积神经偶的重要应用

1. 图片问答

2. 图像模式转换

3. 图像高清化

4. 围棋程序，

5. 自动游戏机器人，

实例：图片艺术风格转化

第二十二课无监督学习：对抗网络

1. 传统无监督学习，K ，

2. 限制博斯曼机，深度学习的另一支

3. 生成对抗网络

实例：机器生成图片，以假乱真

第二十三课：迁移学习

第二十四课：增强学习

记忆模型，远超过的

第二十五课：二值神经网络

普通二值神经网络，，

如何让机器学习在上提升速度

第二十六课：对偶学习

纳米神经网络

A （选自自然杂志意味流行算法解决群体智慧中缺陷）

语义理解（目前自然语言界最大难关）使用解决

像素卷积神经网络（）可将图像生成速度提高183倍

（深度学习与强化学习暑期学校）机器与大脑学习项目

课程计划

2

1

常见问题：

Q：会有实际上机演示和动手操作吗？

A：有，几乎每节课，老师均会准备上机演示部分，学员可以学习老师的实践经验。

Q：参加本门课程有什么要求？

A：有一定编程能力，有几本大学数学基础。

Q：本课程怎么答疑？

A：会有专门的班级群，同学们可以针对课上知识的问题，或者自己学习与动手实践中的问题，向老师提问，老师会进行相应解答。也推荐大家到小象问答社