东营建设信息网招标网_原来神马电影网在线观看高清免费_整合营销传播方案_seo优化易下拉排名

目录

第一章 神经网络基础

3 循环神经网络

▲ 循环神经网络简介

标准RNN结构

多层双向循环神经网络

BPTT反向传播求导

标准RNN结构的问题

▲ 循环神经网络应用

▲ 循环神经网络变种

长短期记忆网络

GRU

---

---

第一章 神经网络基础

3 循环神经网络

▲ 循环神经网络简介

循环神经网络（ Recurrent Neural Network ，简称 RNN ）是一种通过隐藏层节点周期性的连接，来捕捉序列化数据中动态信息的神经网络，可以对序列化的数据进行分类。

标准RNN结构

多层双向循环神经网络

BPTT反向传播求导

标准RNN结构的问题

解决了信息记忆的问题，但是对长时间记忆的信息会衰减。很多任务需要保存长时间的记忆信息。

基本的循环神经网络存在梯度爆炸和梯度消失问题，并不能真正的处理好长距离的依赖。如下：

▲ 循环神经网络应用

循环神经网络的应用

▲ 循环神经网络变种

长短期记忆网络

长短期记忆网络（ Long Short Term Memory ， LSTM ）：一种特殊的 RNN 类型，可以学习长期依赖信息。

LSTM 的记忆单元和标准 RNN 一样，负责记录之前的信息 。

遗忘门结构通过分析上一时刻的输出，和当前时刻的输入，计算出遗忘系数 。

输入门结构通过分析上一时刻的输出，和当前时刻的输入，计算出输入系数和需要新记忆的内容。

信息更新

输出门

GRU

门控循环单元（ Gated Recurrent Unit ， GRU ）是简化版的 LSTM 。因为 LSTM 中，遗忘门和输入门的关系互补，所以 GRU 用一个门代替。

在 LSTM 中引入了三个门函数：输入门、遗忘门和输出门来控制输入值、记忆值和输出值。

在GRU 模型中只有两个门：分别是更新门和重置门。

说明：本文内容来源于网络，仅作为学习用途，如有侵权，请联系作者删除。