lstm的激活函数在训练LSTM的时候使用除了Tanh/Sigmoid以外的激活函数效果都很差，是为什么？

2021-03-18

1658

在训练LSTM的时候使用除了Tanh/Sigmoid以外的激活函数效果都很差，是为什么？LSTM中使用的所有Sigmoid都是门，其输出必须在0.1之间，所以relu不能确定elliotsig也很难饱

在训练LSTM的时候使用除了Tanh/Sigmoid以外的激活函数效果都很差，是为什么？

LSTM中使用的所有Sigmoid都是门，其输出必须在0.1之间，所以relu不能确定

elliotsig也很难饱和。LSTM应该需要饱和门来记住或忘记信息。不饱和门会使过去和现在的记忆一直重叠，这会导致记忆混乱

rank（）有不连续的数字，如按1，2，2，3的值计算的数字，出现的次数是1，2，2，4密度例如，数据值1，2，2，3的个数是1，2，2，3