深度学习基础地的知识整理

深度学习基础知识整理

Without deviation from the norm，progress is not possible（不偏离常规，就无法取得进步-Frank Zappa）

第一课：数学分析与概率论

Taylor展式及其应用、凸函数、jensen不等式、常见分布与共轭分布

第二课：数理统计与参数估计

Chebyshev不等式、大数定理、小数定理、中心极值定理、矩阵计算、最大似然估计

第三课:矩阵和线性代数

从马尔克夫模型看矩阵、特征向量、对称矩阵、线性方程

第四课:凸优化

凸函数、共轭函数、凸优化、Lagrange对偶函数

第五课：回归

高斯分布、Logistic回归、梯度下降、特征选择与过拟合欠拟合关系

应用方向：线性回归、Logistic回归实现和分析

第六课：梯度下降与拟牛顿法

梯度下降算法、自适应学习率、拟牛顿、LBFGS

应用方向：自适应学习率代码实现和参数调试分析

第七课：最大熵模型

熵、相对熵、信息增益、最大熵模型、Softmax回归

应用方向：独立成分分析ICA求解盲源分离BBS问题

第八课：决策树和随机森林（蒙特卡罗）ID3、C4.5、CART、Bagging

研究方向:使用随机森林进行数据分类（蒙特卡洛）

第九课：SVM

线性可分支持向量机、软间隔、核函数、SMO

研究方向：使用SVM进行数据分类

第十课：聚类

K-means/K-Medoids、密度聚类、谱聚类、

应用方向：K-means、谱聚类代码实现和参数调试分析

第十一课：推荐系统

相似度量方案、协同过滤（User-based/ltem-based）、PCA/SVD、随机游走

应用方向：协同过滤用于商品推荐、SVD隐变量的推荐

第十二课：提升

梯度提升决策树GBDT、Adaboost、前向分步算法

应用方向：Adaboost与随机森林（蒙特卡洛）结合、用于数据分类

第十三课：EM算法和GMM

EMM算法、GMM、主题模型pLSA

应用方向：分解部分观测数据的男女身高、图像分解

第十四课：普斯贝叶斯和贝叶斯网络初步

有向分离、（隐）马尔科夫模型HMM

第十五课：主题模型用EM算法计算pLSA、Dirichiet分布、LDA、Gibbs采样

应用方向：使用Gibbs采样计算给语料的主题

第十六课：采样

MCMC（Markov chain Monte Carlo）、Metropolis-Hastings 算法、Gibbs采样

第十七课：变分

KL(pllq)与KL（qllp）分析、平均场理论

第十八课：隐马尔科夫模型HMM

概率计算问题、HMM参数学习问题、状态预测问题

应用方向：使用HMM进行中文分词

第十九课：条件随机场CRF

无向图模型、MRF、前向-后向算法

第二十课：深度学习

全连接网络、链式法则与BP算法、卷积网络、残差网络、应用方向：使用BP网络对样本分类

第十三课：深度学习总体介绍

1.神经网络；传统到现代

2.深度学习应用特定

3.深度学习发展方向

4.深度学习框架比较：用Tensorflow进行课程学习

第十四课：传统神经网络

1. 线性回归

2. 非线性激励函数

3. loss 函数，常见问题：过拟合，正则化，dropout

实例：传统神经网络络实现

第十五课反向反馈：深度学习模型优化基础

1. SGD 梯度下降介绍

2. 神经网络的梯度优化

3. 神经网络训练

实例：反向梯度优化对比

第十六课卷积神经网络

1. 卷积核以及卷积层

2. AlexNet 最早的现代神经网络

3. VGG，GoogleNet,，ResNet. 近期的高级网络LeNet

实例：利用已有模型进行物体分类／特征提取

第十七课迁移学习

1. 理论分析

2. 迁移模型&原始训练模型

3. 如何设计新的的网络

实例：表情识别／人脸识别／动物识别

第十八课与时域信息相关的深度学习

1. RNN

2. LSTM

3. 图片标题生成

4. 视频处理

实例：LSTM用于图片标题生成

第十九课自然语言处理

1. 处理之前：speech to text

2. 词语表达，word2vect

3. 语句生成LSTM

实例：根据上下文回答问题

第二十课给予深度学习的目标检测

1. 传统的目标检测方法

2. 初代算法： Region CNN

3. 升级： SPP Net， Fast RCNN， Faster RCNN

4. 深度学习另辟蹊径： YoLo 和SSD

实例：自动驾驶的核心：实时目标检测

第二十一课深度卷积神经偶的重要应用

1. 图片问答

2. 图像模式转换

3. 图像高清化

4. 围棋程序， Alpha go

5. 自动游戏机器人，DeepMind Atari

实例：图片艺术风格转化

第二十二课无监督学习：对抗网络GAN

1. 传统无监督学习 Autoencode，K Means，Sparse Coding

2. RBM 限制博斯曼机，深度学习的另一支

3. 生成对抗网络 GAN

实例：机器生成图片，以假乱真

第二十三课：迁移学习

第二十四课：增强学习

记忆模型，远超过RNN的GTMM