softmax交叉熵损失函数 深度学习难吗?
深度学习难吗?想起来有毅力不难,想起来不坚持就难请问神经网络有多个输出的回归问题,损失函数如何定义比较合理?在我看来,多重输出和损失函数的类型选择没有直接关系。一般来说,使用交叉熵是没有问题的,即使是
深度学习难吗?
想起来有毅力不难,想起来不坚持就难
请问神经网络有多个输出的回归问题,损失函数如何定义比较合理?
在我看来,多重输出和损失函数的类型选择没有直接关系。一般来说,使用交叉熵是没有问题的,即使是最小均方误差也不会产生显著的影响。但是,最好添加一个带有范数的正则化因子(计算量较少)。但是,输出量有多大是影响算法收敛性的关键因素,因为如果输出量太大,比如一千多,需要合并的话,那么可以试试分层softmax。有关代码,请参阅word2vec。希望对你有帮助