ThinkChat2.0新版上线,更智能更精彩,支持会话、画图、阅读、搜索等,送10W Token,即刻开启你的AI之旅 广告
# GRU 网络 LSTM 网络的计算成本很高,因此,研究人员发现了一种几乎同样有效的 RNN 配置,称为**门控递归单元**( **GRU** )架构。 在 GRU 中,不使用工作和长期记忆,只使用一种记忆,用 _**h**_(隐藏状态)表示。 GRU 单元通过**复位**和**更新**门将信息添加到此状态存储器或从该状态存储器中删除信息。 下图描绘了 GRU 单元(说明如下图): ![](https://img.kancloud.cn/15/9d/159d9a967f41dc73fe775808a432ac9c_367x295.png)The GRU Cell GRU 单元中通过门的内部流量如下: 1. **更新门`u()`**:输入`h[t-1]`和`x[t]`按照以下公式流向`u()`门: ![](https://img.kancloud.cn/15/a9/15a9e40cb90b47037bb48a82abcc31a1_3120x250.png) 2. **复位门`r()`**:输入`h[t-1]`和`x[t]`按照以下公式流向`r()`门: ![](https://img.kancloud.cn/8b/e9/8be9f122f2bc514ab1158b26dcb0d74b_3050x250.png) 1. **候选状态记忆**:候选长期记忆是根据`r()`门,`h[t-1]`和`x[t]`的输出计算出来的,按照下列公式: ![](https://img.kancloud.cn/b5/fa/b5fa80aadfa8816c89cfd326e85a433d_3830x270.png) 2. 接下来,组合前面的三个计算以得到更新的状态存储器,由`h[t]`,表示,如下式所示: ![](https://img.kancloud.cn/89/6e/896e27b367dda345bf3df35c60e8ff17_2530x240.png) 阅读以下研究论文以探索 GRU 的更多细节: ``` K. Cho, B. van Merrienboer, C. Gulcehre, D. Bahdanau, F. Bougares, H. Schwenk, and Y. Bengio, Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation, 2014. https://arxiv.org/abs/1406.1078 J. Chung, C. Gulcehre, K. Cho, and Y. Bengio, Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling, pp. 1–9, 2014. https://arxiv.org/abs/1412.3555 ```