lstm神经网络原理 从RNN到LSTM，性能良好的神经网络到底是如何工作的？
从RNN到LSTM，性能良好的神经网络到底是如何工作的？RNN（递归神经网络），顾名思义，以先前的输出（隐藏状态）作为输入，形成一个循环。（RNN扩展，图像源：colah.github.io文件)上面
从RNN到LSTM，性能良好的神经网络到底是如何工作的？
RNN（递归神经网络），顾名思义，以先前的输出（隐藏状态）作为输入，形成一个循环。
（RNN扩展，图像源：colah.github.io文件)
上面的展开图清楚地显示了RNN的结构。不难发现RNN的结构与序列化数据是一致的。实际上，RNN实际上主要用于处理序列化数据。
基本上，不使用原始RNN，而是使用RNN的变体。
渐变裁剪可以缓解渐变爆炸，而RNN变体（如主流LSTM和Gru）可以缓解渐变消失。
（一般是sigmoid层）建模输入、输出和遗忘。
（图片来源：中新网/@左上角的蓝色是输入门，右上角的绿色是输出门，底部的红色是遗忘门。