循环神经网络思维导图-高清简单脑图模板-知犀思维导图

循环神经网络
为什么选择序列模型
为了更好地处理序列数据
循环神经网络模型
传统神经网络无法处理序列数据
RNN特征
前一层激励会被传递到后一层
每个时间步共享参数
RNN学习
前向传播
通过时间的反向传播
RNN类型
一对一一对多多对一
多对多（长度相同）多对多（长度不同）
语言模型和序列生成
语言模型的作用是计算某个句子的概率
基于词语
基于字符
可以通过序列采样了解模型学习的成果
RNN的梯度问题
梯度消失
反向传播时梯度指数性下降
导致传统RNN难以处理长期依赖
梯度爆炸
反向传播时梯度指数性上升
通过梯度修剪解决
传统RNN的改进
门控循环单元（GRU）长短期记忆（LSTM）
双向RNN 深层RNN。