Activation

Function——在卷积神经网络中的激活函数是一个什么样的角色

文章目录

Function——在卷积神经网络中的激活函数是一个什么样的角色激活函数CNN中为什么必须要用激活函数呢激活函数的主要作用

函数2.Tanh

Function是深度学习中将输入信号的加权和转化为输出信号的非线性变换。

激活函数的引入解决了线性模型中无法处理复杂模式的问题确保神经网络具有表达复杂函数、捕捉非线性关系的能力。

CNN中为什么必须要用激活函数呢

如果不使用激活函数神经网络层与层之间的输出将是线性的组合等效于单一的线性模型。

无论网络多么深最终的输出都是输入的线性变换无法解决复杂的模式识别问题。

因此激活函数引入了非线性使神经网络能够拟合复杂的高维数据。

引入非线性神经网络通过激活函数引入非线性能够拟合复杂的非线性函数解决复杂问题。

保证梯度传播通过适当的激活函数可以使得梯度能够良好地反向传播从而有效地进行参数更新。

特征压缩与选择激活函数通常可以对输入信号进行压缩抑制不重要的信号并突出关键的特征。

1.Sigmoid

优点常用于二分类问题的输出层。

缺点当输入值绝对值过大时梯度趋于

代码示例

优点零中心化更适合处理有负数输入的特征。

缺点同样存在梯度消失问题当输入值很大或很小时梯度趋近于

代码示例

深度卷积神经网络CNN、全连接网络FCN等几乎所有深度学习模型中。

4.Leaky

ReLU对于负值它的输出为指数衰减而非零这样可以让网络学习负数特征同时保持梯度流动。

优缺点

ReLU有更好的训练表现减少了偏差。

缺点计算稍复杂训练速度略慢于

代码示例

优点用于分类问题时能够很好地提供归一化概率。

缺点仅适用于分类任务的输出层。

代码示例

ReLU在深层网络中能够避免死神经元和梯度消失。

自然语言处理或时间序列处理常见激活函数为

Tanh

激活函数为神经网络引入了非线性特性使得网络能够拟合复杂的数据模式和关系。

选择合适的激活函数不仅能提升模型的表现还能有效解决训练中的一些问题如梯度消失和死神经元问题。

不同的激活函数在不同场景下有各自的优势和适用性因此在实际应用中需要根据具体任务和数据来合理选择。