卷积神经网络 为什么要使用relu激活函数？
为什么要使用relu激活函数？增加了网络的非线性能力，以适应更多的非线性过程。在一定程度上，relu可以防止梯度的消失，但这并不是使用它的主要原因。主要原因是很容易找到导数。在一定程度上，这意味着右端
为什么要使用relu激活函数？
增加了网络的非线性能力，以适应更多的非线性过程。在一定程度上，relu可以防止梯度的消失，但这并不是使用它的主要原因。主要原因是很容易找到导数。在一定程度上，这意味着右端不会接近饱和。当我们计算导数时，导数不会为零，所以梯度不会消失。但是左端问题仍然存在，如果我们掉进去梯度就会消失。所以有很多改进的relu。
深度学习难吗？
有毅力不难思考，有毅力不难思考，有毅力不难坚持
在训练LSTM的时候使用除了Tanh/Sigmoid以外的激活函数效果都很差，是为什么？
LSTM中使用的所有Sigmoid都是门，其输出必须在0.1之间，所以relu不能确定
elliotsig也很难饱和。LSTM应该需要饱和门来记住或忘记信息。不饱和门会使过去和现在的记忆一直重叠，从而导致记忆障碍