。

不同的激活函数适用于不同的场景#xff0c;选择合适的激活函数可以显著影响模型的性能和训练效率。

以下是三种常见的激活函数#xff1a;Sigmoid、T…激活函数在神经网络中起着至关重要的作用它们决定了神经元的输出是否应该被激活以及如何非线性地转换输入信号。

不同的激活函数适用于不同的场景选择合适的激活函数可以显著影响模型的性能和训练效率。

以下是三种常见的激活函数Sigmoid、Tanh

ReLU

1)将输入压缩到0到1之间。

用途常用于二分类问题中的输出层因为它的输出可以解释为概率值0表示负类1表示正类。

优点

函数的导数接近于0导致反向传播时梯度几乎为零使得权重更新非常缓慢甚至停止更新。

这在深度网络中尤为严重。

非零中心化Sigmoid

函数的输出不是以0为中心的这会导致后续层的权重更新方向不一致影响训练效率。

应用场景

1)将输入压缩到-1到1之间。

用途常用于隐藏层尤其是在早期的神经网络中。

它比

Sigmoid

的输出是零中心化的这有助于加速收敛因为后续层的权重更新方向更加一致。

更好的梯度传播相比

SigmoidTanh

∞)当输入为正时输出等于输入当输入为负时输出为0。

用途广泛应用于现代深度学习模型的隐藏层尤其是在卷积神经网络CNN和全连接网络中。

优点

避免梯度消失问题对于正输入ReLU

的计算非常简单只需判断输入是否大于0因此计算效率高。

稀疏性ReLU

ReLU

的导数为0导致该神经元在反向传播时不再更新权重。

如果大量神经元进入“死亡”状态模型可能会失去表达能力。

为了解决这个问题通常使用改进版的

ReLU如

隐藏层尤其是深度神经网络DNN、卷积神经网络CNN和生成对抗网络GAN。

由于其出色的性能和计算效率ReLU

1)输出具有概率意义梯度消失非零中心化二分类问题的输出层逻辑回归Tanh(-1,

中ReLU[0,

Sigmoid主要用于二分类问题的输出层尤其是在需要概率输出的情况下。

Tanh适用于隐藏层尤其是浅层网络或

RNN

更加对称有助于加速收敛。

ReLU是现代深度学习模型中最常用的激活函数尤其适用于隐藏层。

如果你遇到死亡

ReLU