咱就是说你懂的，深度学习啊，这玩意儿，咱有时候就觉得，越往深走，就越容易遇到问题。特别是那些深层网络，感觉就像一座高楼大厦，每一层dou往上建，但有时候就容易出现一些“跑偏”的情况。

说到这里咱们得先聊聊深层网络。大家基本dou知道，深层网络就是指那些拥有hen多层的神经网络。比如现在的ResNet、Transformer等等。这些深层网络在hen多领域dou表现出了惊人的Neng力，比如图像识别、自然语言处理等等。不过呢，在训练这些深层网络的时候，也经常会遇到一些问题。其中一个比较常见的问题就是“梯度消失”。

什么是梯度消失呢？简单来说就是当网络层数增加时,反向传播过程中计算的梯度会随着链式法则连续相乘而指数级减小,导致深层网络参数无法有效geng新。

你可Neng想问：“那为什么不Neng把所有层dou直接连接起来呢？” 听着好像hen简单吧？ 咱就是说啊… 这可不是那么回事儿。

咱先说说梯度消失问题的根源吧。 深度学习的一个核心挑战在于如何有效地传递梯度。在反向传播的过程中,我们希望将损失函数对每个参数的梯度传递到对应的权重上,以便进行参数geng新。

但是呢,当网络层数越来越深的时候,这个梯度就会逐渐衰减。就像你扔一个球一样,越往远的地方扔,球飞得越慢。 这种现象就被称为“梯度消失”。

Ru果所有的神经元之间dou直接连接起来的话,那整个网络就会变得非常复杂,而且训练起来也会非常困难。 就像你想把所有东西dou串起来一样,成本太高了。

好家伙！这时候咱们就要来了解一下“残差连接”了。残差连接是一种非常重要的技术手段，它被广泛应用于深层网络的训练中。

简单来说残差连接就是在每一层的输入和输出之间添加一个“跳跃连接”，也就是直接将输入信息绕过一层再加到输出上。

y = F + x

跳跃连接Ke以保证信息Neng够绕过几层神经元

减少了模型中的非线性变换

提高了模型的训练速度和稳定性

ResNet系列是使用残差块进行深度学习的一个代表性例子

Transformer系列也广泛应用了残差结构

6.