假难辨​编辑

前向传播通过输入层输入一路向前通过输出层输出的一个结果。

如图指的是1

x1、x2、xn、与权重weights相乘并且加上偏置值b0然后进行总的求和同时通过激活函数激活之后算出结果。

这个过程就是前向传播。

反向传播通过输出反向更新权重的过程。

具体的说输出位置会产生一个模型的输出通过这个输出以及原数据计算一个差值。

将前向计算过程反过来计算。

通过差值和学习率更新权重。

前向传播forward

简单理解就是将上一层的输出作为下一层的输入并计算下一层的输出一直到运算到输出层为止。

接下来我们用数学公式描述一下

wjkl

a1(2)σ(z1(2))σ(w11(2)x1w12(2)x2w13(2)x3b1(2))

a2(2)σ(z2(2))σ(w21(2)x1w22(2)x2w23(2)x3b2(2))

a3(2)σ(z3(2))σ(w31(2)x1w32(2)x2w33(2)x3b3(2))

对于Layer

a1(3)σ(z1(3))σ(w11(3)a1(2)w12(3)a2(2)w13(3)a3(2)b1(3))

a2(3)σ(z2(3))σ(w21(3)a1(2)w22(3)a2(2)w23(3)a3(2)b2(3))

从上面可以看出使用代数法一个个的表示输出比较复杂而如果使用矩阵法则比较的简洁。

将上面的例子一般化并写成矩阵乘法的形式

z(l)W(l)a(l−1)b(l)

实际上反向传播仅指用于计算梯度的方法。

而另一种算法例如随机梯度下降法才是使用该梯度来进行学习。

原则上反向传播可以计算任何函数的到导数。

微积分中的链式法则为了不与概率中的链式法则相混淆用于计复合函数的导数。

反向传播是一种计算链式法则的算法使用高效的特定运输顺序。

yg(x)

和∂C∂b。

这些表达式描述了代价函数值C随权重W或偏置b变化而变化的程度。

BP算法的简单理解如果当前代价函数值距离预期值较远那么我们通过调整权重W或偏置b的值使新的代价函数值更接近预期值和预期值相差越大则权重W或偏置b调整的幅度就越大。

一直重复该过程直到最终的代价函数值在误差范围内则算法停止。

BP算法可以告诉我们神经网络在每次迭代中网络的参数是如何变化的理解这个过程对于我们分析网络性能或优化过程是非常有帮助的所以还是尽可能搞透这个点。

∂C/∂W

这个假设的意义在于因为反向传播过程中我们只能计算单个训练样本的∂Cx/∂Wx

和∂C/∂b在这个假设下我们可以通过计算所有样本的平均来得到总体的∂C/∂W

LossC(aL)

是理解反向传播的关键。

最终这意味着我们需要计算出每个的∂C/∂Wjkl

如上图所示假设有个小恶魔在第

。

现在这个小恶魔改过自新它想帮助我们尽可能减小代价函数的值使网络输出更符合预期。

假设

∂C∂zjl

方向相反的Δzjl使代价函数更小这就是我们熟知的梯度下降法。

随着迭代的进行

∂C/∂zjl

会逐渐趋向于0那么Δzjl对于代价函数的改进效果就微乎其微了这时小恶魔就一脸骄傲的告诉你“俺已经找到了最优解了局部最优”。

这启发我们可以用

∂C/∂zjl