神经网络结构#xff1a;

深度学习使用多层次的神经网络#xff0c;包括输入层、隐藏层和输出层。

这些网络结构允许模型自动学习…深度学习的核心思想是通过多层次的神经网络结构逐步抽取和表示数据中的高级特征从而实现对复杂数据模式的学习和识别。

神经网络结构

深度学习使用多层次的神经网络包括输入层、隐藏层和输出层。

这些网络结构允许模型自动学习数据中的特征层次。

反向传播算法

反向传播是一种优化算法用于调整神经网络中连接权重以使模型的预测结果更加准确。

它通过计算损失函数对权重的梯度并使用梯度信息来更新权重。

大规模数据和计算能力

深度学习模型通常需要大量的数据来训练以及强大的计算资源来进行复杂的计算。

随着大数据和GPU等硬件的发展深度学习在实际应用中取得了显著的进展。

预训练和迁移学习

预训练模型可以在大规模数据上进行预训练然后在特定任务上进行微调从而加速模型训练和提高性能。

这种迁移学习的方法在很多领域都取得了良好的效果。

激活函数是神经网络中的一个关键组件它决定了神经元是否被激活激活值大于某个阈值并传递信息给下一层。

激活函数引入非线性性质使得神经网络能够表示更加复杂的函数关系。

Sigmoid

之间曲线形状平滑适合用于较浅的网络层或二元分类问题。

然而Sigmoid

函数在输入较大或较小的情况下容易出现梯度消失的问题限制了其在深层网络中的应用。

f(x)1e−x1​

在输入较大或较小的区域Sigmoid函数的梯度接近于零这会导致反向传播时梯度逐渐消失影响深层网络的训练。

输出不是零中心

Sigmoid函数的输出在大部分情况下是正的这可能导致在网络训练过程中的参数更新不均匀。

计算代价高

计算Sigmoid函数的指数运算较为昂贵可能影响网络的计算效率。

2.ReLU函数Rectified

ReLU函数在输入大于零时输出输入值本身否则输出0。

它简单且计算高效在深度学习中广泛使用。

但是ReLU函数在负数区域输出为0可能导致神经元“死亡”即不再激活从而影响网络的训练。

max

尽管ReLU在负数区域输出为零但在正数区域仍然是非线性的能够引入神经网络的非线性能力使其能够表示更加复杂的函数关系。

计算高效

ReLU的计算非常简单只需要比较输入值和零的大小相对于其他一些激活函数计算成本更低。

避免梯度消失

在正数区域ReLU函数的梯度为1不会出现梯度消失问题有助于在深层网络中传播梯度。

死亡神经元问题

当某个神经元在训练过程中始终输出为负数其梯度为零导致它的权重无法更新即死亡。

这种情况下神经元将不再对网络的学习产生影响不是零中心

当输入为负数时ReLU的输出为零这可能导致网络的激活分布不是零中心可能对训练造成一些影响。

3.Leaky

的变体允许负数区域的斜率不为零从而避免了死亡神经元问题。

Leaky

Leaky

的超参数通常在训练过程中固定为一个较小的正数如0.01。

具有如下特点

大于等于零时

aa使得在负数区域仍然具有非零的输出从而减轻了死亡神经元问题。

计算简单

Leaky

ReLU的计算非常简单与ReLU相似只需要比较输入值和零的大小。

Leaky

需要手动设定虽然通常取较小的值如0.01能够在大多数情况下工作但仍然需要调参。

不自适应

ReLU的斜率在负数区域是固定的而PReLU则能够通过学习自适应地确定斜率

4.PReLUParametric

的一种扩展形式它引入了一个可学习的参数允许网络自动学习在负数区域的斜率从而更好地适应不同的数据分布。

f(x)

时PReLU在负数区域引入了一个斜率使得负数值也能够有非零的输出从而避免死亡神经元问题。

自适应斜率

来自适应地确定负数区域的斜率可以根据数据的分布和任务的需求来调整激活函数的形状。

减轻死亡神经元问题

通过在负数区域引入斜率PReLU有助于激活那些在训练过程中可能变得非激活的神经元从而减轻了死亡神经元问题。

提高模型表达能力

PReLU的自适应斜率使得神经网络能够学习更加复杂的函数关系提高了模型的表达能力。

Leaky

都在负数区域引入了斜率从而在一定程度上改进了ReLU的问题。

Leaky

ReLU的斜率通常是固定的超参数而PReLU则通过学习参数来自适应地确定斜率。

选择使用哪种激活函数取决于具体问题的需求和实验结果。

5.Tanh函数双曲正切函数

之间类似于Sigmoid函数但范围更大。

它在某些情况下能够更好地处理输入数据的对称性但也会存在梯度消失问题。

f(x)\frac{e^x

Tanh函数的输出在大部分情况下是零中心的相对于ReLU等激活函数更有助于训练稳定性;非线性

Tanh函数是非线性的能够引入神经网络的非线性能力使其能够表示更加复杂的函数关系。

梯度消失

在输入较大或较小的区域Tanh函数的梯度接近于零可能导致梯度消失问题特别是在深层网络中。

Swish函数

是一个可调参数。

Swish函数通过在输入值上引入Sigmoid函数实现了在正数区域保留线性特性同时在负数区域引入非线性的特性。

非线性性质

函数的输出呈现非线性特性有助于引入神经网络的非线性能力使其能够表示更加复杂的函数关系。

自动缩放

函数趋近于线性不会出现梯度爆炸问题。

这有助于模型的稳定性。

适用范围广

Swish

函数在一些任务中表现出色尤其在较大的模型中如深度神经网络可能表现良好。

计算开销

Swish函数的计算相对于ReLU等简单激活函数更复杂需要涉及Sigmoid函数的计算。

不适用于所有情况

尽管在某些情况下表现出色Swish函数并不一定在所有任务和网络结构中都能取得最佳性能。

ELUExponential

ELU是一种具有平滑非线性特性的激活函数。

在正数区域ELU函数与ReLU相似而在负数区域它的曲线更平滑有助于减轻梯度消失问题。

此外ELU在负数区域的输出不仅不是0还具有一个负值有助于缓解神经元死亡问题。

exp

是一个可调参数通常取一个较大的正数如1。

ELU函数通过在负数区域引入指数函数实现了在负数区域具有非线性的平滑特性。

平滑非线性性质

在负数区域ELU函数的输出是平滑的非线性特性相对于ReLU等函数能够更好地拟合复杂的函数关系。

避免死亡神经元问题

ELU在负数区域不会输出零因此能够避免死亡神经元问题。

零中心性

ELU函数在大部分情况下是零中心的有助于训练稳定性。

自适应斜率

的值可以自适应地调整负数区域的斜率使得ELU能够适应不同的数据分布和任务需求。

ELU

ELU函数的计算相对于ReLU等简单激活函数较为复杂涉及指数函数的计算。

参数调整

8.SELUScaled

SELU是ELU的扩展它在一定条件下能够使得网络在前向传播时自我规范化。

这意味着在使用SELU激活函数时网络的每一层的输出的均值和方差能够保持稳定。

这一性质有助于训练更深的网络而无需过多的批标准化等技巧。

exp

是一个超参数通常设置为1.0507。

SELU函数通过引入尺度参数

自我规范化

在一定条件下使用SELU激活函数可以使得每一层的输出的均值和方差保持稳定从而减轻梯度爆炸和梯度消失问题。

允许深层网络

由于自我规范化的特性SELU函数允许构建更深的神经网络无需使用复杂的正则化技巧如批标准化。

默认初始化

在一些特定条件下SELU激活函数使用零均值和单位方差的初始化可以保持自我规范化的特性。

SELU函数

SELU函数在某些情况下表现出色但并不一定在所有任务和网络结构中都能取得最佳性能。

需要满足条件

自我规范化的特性需要满足一定的条件包括输入数据的分布和权重的初始化方式等。

9.Maxout

Maxout函数是一种通用的激活函数它不是像ReLU或Sigmoid那样固定的形式而是一种更为灵活的结构。

Maxout函数的主要思想是让每个神经元学习多个线性函数的最大值从而能够逼近更加复杂的非线性函数。

Maxout可以视为ReLU和线性激活函数的泛化它可以学习各种形状的非线性函数。

然而Maxout的参数量较大可能需要更多的参数调整。

max

是偏置。

。

Maxout函数中有两个分支每个分支都由一个线性变换

w^Txb

组成然后选择两者中的最大值作为输出。

Maxout函数可以扩展到具有更多分支的情况。

灵活性

Maxout函数允许每个神经元学习多个线性函数的最大值因此在逼近各种不同形状的非线性函数时具有灵活性。

适应性

每个分支都可以学习数据的不同特征从而在不同的输入区域自适应地选择最佳的线性函数。

抗过拟合

Maxout网络通常具有更多的参数这有助于防止过拟合尤其是在训练数据有限的情况下。

Maxout

Maxout网络的参数量较大可能需要更多的训练数据和计算资源来训练。

计算成本

Maxout函数的计算成本较高因为每个神经元有多个分支每个分支都需要进行线性变换和比较操作。

复杂性

Maxout网络的结构较为复杂可能需要更多的调参和实验来找到最佳的网络结构。

10.Softmax函数

Softmax函数常用于多分类问题的输出层将一组原始分数也称为“logits”转化为表示各类别概率的概率分布。

Softmax函数能够将任意实数值映射到一个范围在0到1之间并且保证所有类别的概率之和为1。

softmax

\text{softmax}{(x_i)}\frac{e^{x_{i}}}{\sum_{j1}^{N}e^{x_j}}

x_i

是自然对数的底。

Softmax函数将每个原始分数进行指数化并将指数化后的值除以所有指数化值的和以获得每个类别的概率。

概率分布

Softmax函数的输出是一个概率分布对于多类别分类问题每个类别的输出表示为属于该类别的概率。

归一化

Softmax函数将原始分数进行指数化和归一化使得网络的输出具有一定的可解释性和意义。

多类别分类

Softmax函数通常用于多类别分类问题例如图像识别、文本分类等。

数值稳定性

当原始分数较大时指数运算可能导致数值溢出问题。

为了提高数值稳定性通常会在计算Softmax时减去分数中的最大值。

互斥假设

Softmax函数假设每个样本只属于一个类别不适用于多标签分类问题。

类别数限制

Softmax函数在处理大量类别时可能会引入计算和存储的问题特别是在输出层的类别数量较大时。

11.GELU

在一些任务上表现出色并且相对简单没有额外的超参数。

结合了线性和非线性特性同时在计算效率和性能之间取得了一定的平衡。

GELU函数的设计旨在尝试克服ReLU等函数的一些问题如梯度饱和和死亡神经元问题。

GELU

\text{GELU}(x)\frac{1}{2}x(1\tanh

(\sqrt{\frac{2}{\pi}}(x0.044715x^{3})))

​(x0.044715x3)))其中

是双曲正切函数。

GELU函数的形式结合了线性函数和双曲正切函数使得在输入的正负两个区域都有非线性的输出。

平滑非线性性质

GELU函数在整个输入范围内都有非线性的输出相对于ReLU等函数能够更好地拟合复杂的函数关系。

减轻梯度饱和问题

GELU函数在输入为正数区域具有线性的输出能够减轻梯度饱和问题有助于提高训练效率。

避免死亡神经元问题

GELU函数在负数区域也具有非零输出能够避免死亡神经元问题。

计算效率

相对于一些复杂的激活函数GELU的计算相对较快特别是与Sigmoid和双曲正切等函数相比。

可能在某些情况下不如其他激活函数表现出色具体效果可能会因问题的性质和数据分布而有所不同。