我相信大家尤其是新手入门都看过不少“5min入门CNN”、“一张图搞定CNN”…等等之类的文章虽然这种文章确实能够帮助我们快速理解CNN的特点但是这种“过于轻松”的方式也可能会让我们丢掉许多卷积神经网络实现的细节问题很难对CNN有更加深入的理解。

作为一个鉴定信仰“Math

first”的人写这篇文章的目的就在于帮助大家怎样用公式表达/推导这样一种更加严谨老派的方式解释CNN训练过程目的就在于1通过这种“辛苦”的脑力劳动帮助大家更加深刻具体的理解数据、结构、参数、损失、函数训练这些要素怎样在一起工作运转起来的2而来也是为了帮助大家以后能够更好地阅读前沿文献不至于看到公式就皱眉头。

好了接下来就让我们一起愉快地学习吧

1、前向传播

z_j^{l}\sum_{i1}^{M}a_{i}^{l-1}

w_{i

j}^{l}b_j^{l},a_j^{l}\sigma\left(z_j^{l}\right)

zjl​i1∑M​ail−1​∗wijl​bjl​,ajl​σ(zjl​)

z_j^l

M⋅N;在结构确定的情况下反向传播算法需要更新的就是卷积核的值和偏置;

1.2池化层前向传播

池化操作并改变输出节点或者说特征图个数即输入多少张特征图经池化后输出多少张特征图

1.3全连接层前向传播

j}^{l}b_j^{l},a_j^{l}\sigma\left(z_j^{l}\right)

zjl​i1∑M​ail−1​∗wijl​bjl​,ajl​σ(zjl​)

全连接层的公式基本和卷积层一样因为形式上可以把全连接层看成一种卷积核尺寸和输入节点或者特征图尺寸一样的卷积

M*N

在结构确定的情况下反向传播算法需要更新的就是卷积核的值和偏置。

2、损失函数

\{x^0,y^0\},\{x^1,y^1\},...,\{x^P,y^P\}

p表示第

aL我们处理的是一个多元分类问题比如说判断一张图片中的数字是0~9中哪一个数字那么任意一组训练输出节点就是一个

1*10

\sum_{k1}^10\left({x_k-y_k}\right)^2

J21​∣∣aL−y∣∣2k1∑1​0(xk​−yk​)2而总的误差也就应为

\sum_{p0}^PJ_p

J表示总的误差当然了物产函数有很多种大家根据需要灵活挑选就行啦至此数据变经过层层处理最总形成了我们的目标函数

因为我们构造神经网络的目的就是为了找到一种网络结构能够在给定输入的情况下能够让输出和目标想匹配也就是说让

J最小想要让

(W,b)argmin(J(w,b,x,y))这里就需要引入梯度下降法来不断更新卷积核权值和偏置

(W,b)^{n1}

(W,b)n1(W,b)n−r⋅grad(J(W,b)n)这里r就是学习速率的意思通过不断调整权重和偏置的权值从而使得

3、反向传播

既然我们要求误差对(W,b)的偏导值那么我们首先要明确一下几点内容

我们要首先明白在整个神经网络结构确定的情况下我们需要动态调整的参数主要有:1)卷积层的权重w和偏置2)因为池化层只有一个反向池化操作不存在偏置和激活函数的问题所以我们基本可以说不存在调整参数的问题3)因为从形式上看全连接层可以看成一种特俗结构的卷积神经网络(即卷积核大小和输入的特征节点或者特征图尺寸相同)所以即使假设存在多层的全连接层具体的处理过程参照卷积层推导即可为了确定

\frac{\partial

∂W∂J(W,b)​,∂b∂J(W,b)​,我们需要引入一个间接量

\delta

那么我们基本就可以明白接下来的任务就主要分为三类1)已知池化层

\delta^l

因为池化层不存在激活函数这一说而常见的池化操作有两种maxpooling和average

\delta

⎝⎜⎜⎛​0.50.511​0.50.511​221.51.5​221.51.5​⎠⎟⎟⎞​,如果池化操作为max

pooling,则

δil−1​∂zl−1∂J(W,b)​δjl​(∂zil−1​∂zjl​​)δjl​∗rot180(Wijl​)⊙σ′(zil−1​)这一步的推导很难也很抽象尤其是像

180

rot180这种操作不过大家不要慌怎么推导的我会给大家解释的清清楚楚在次之前首先要明确几点概念和问题

∗代表卷积

⊙代表的是矩阵的点积的意思接下来的描述很重要很重要很重要希望大家认真品一品我们的任务是什么就是已知误差函数J对卷积层输出z的偏导(或者说J对卷积层输出矩阵

z^{l}

z,zl−1是矩阵标量对矩阵求偏导很好表示无非就是标量对矩阵每一个元素求导那矩阵对矩阵求导呢就比如上式中

\frac{\partial

∂zil−1​∂zjl​​是一个矩阵对矩阵求导的过程该怎么处理呢答案是

\frac{\partial

∂zil−1​∂zjl​​只是一个表示方法严格来讲这种写法是不准确的并不能直接用来使用推导公式那上面公式最右端的式子是怎么推导出来的在上式中注意

\delta_i^{l-1}

好的接下来我会慢慢分析来帮助大家理解上面内容或问题首先先回顾一下链式求导法则对于函数

h(x)f(g(x))则h′(x)f′(g(x))g′(x)那么假设第

l-1

\end{array}\right)\left(\begin{array}{ll}

b_{11}

\end{array}\right)\left(\begin{array}{cc}

Z_{11}

⎝⎛​a11​a21​a31​​a12​a22​a32​​a13​a23​a33​​⎠⎞​∗(W11​W21​​W12​W22​​)(b11​b21​​b12​b22​​)(Z11​221​​Z12​Z22​​)而且

z_{11}

z11​a11​w11​a12​w12​a21​w21​a22​w22​b11​

z_{12}

z12​a12​w11​a13​w12​a22​w21​a23​w22​b12​

z_{21}

z21​a21​w11​a22​w12​a31​w21​a32​w22​b21​

z_{22}

z22​a22​w11​a23​w12​a32​w21​a33​w22​b22​那我们现在已经都知道

\delta_l

∂z11l​∂J​,∂z12l​∂J​,∂z21l​∂J​,∂z22l​∂J​也已知那要求

\frac{\partial

∂a11l​∂J​,∂a12l​∂J​,∂a13l​∂J​.....,那根据链式求导法则就需要看

a11​,a12​,a13​...和

z11​,z12​,z21​...之间的关系了首先根据上面的一列式子我们发现和

a_{11}

​∂a111−1​∂J(w,b)​∂z112​∂J(w,b)​w11​δ11​w11​∂a12​∂J(w,b)​∂z11​∂J(w,b)​w12​∂z12​∂J(w,b)​w11​δ11​w12​δ12​w11​∂a13​∂J(W,b)​∂z12​∂J(w,b)​w12​δ12​w12​∂a21​∂J(W,b)​∂z11​∂J(w⋅b)​w21​dz21​∂J(w1​b)​w11​δ11​w21​δ21​w11​da22​∂J(w,b)​∂z11​∂J(w,b)​w22​∂z12​∂J(w,b)​w21​∂z21​∂J(w,b)​w12​∂z22​∂J(w,b)​w11​∂a23​∂J(w,b)​∂z12​∂J(w,b)​w22​∂z22​∂J(w,b)​w12​δ12​w22​δ22​w12​∂a31​∂J(w,b)​∂z21​∂J(w,b)​w21​δ21​w21​∂a32​∂J(w1​b)​∂z21​∂J(w,b)​w22​∂z22​∂J(w,b)​W21​δ21​w22​δ22​w21​∂a33​∂J(w,b)​∂z22​∂J(w,b)​W22​δ22​⋅w22​​

\begin{array}{c}

\end{array}\right)\left(\begin{array}{cccc}

\delta_{11}

⎝⎛​∂a11​∂J​∂a21​∂J​∂a31​∂J​​∂a12​∂J​∂a22​∂J​∂a32​∂J​​∂a13​∂J​∂a23​∂J​∂a33​∂J​​⎠⎞​⎝⎜⎜⎛​0000​0δ11​δ21​0​0δ12​δ22​0​0000​⎠⎟⎟⎞​∗(w22​w12​​w21​w11​​)​这也就解释了卷积核反转180的原因除此之外对于任意的

l层卷积层输出节点或者说特征图

∂ail−1​∂J(W,b)​∂zjl​∂J(W,b)​∗rot180(Wijl​)进一步推导

180

∂zil−1​∂J(W,b)​∂ail−1​∂J(W,b)​⊙σ′(zil−1​)∂zjl​∂J(W,b)​∗rot180(Wijl​)⊙σ′(zil−1​)

3.3

因为池化层并不存在参数问题而形式上全连接层可以理解成一种结构较为特殊的卷积层或者参照深度神经网络反向传播算法的推导过程DNN反向传播算法所以我们比较关系但也是最重要的参数求导过程就是卷积层权重和偏置的求导过程。

推导公式如下

\frac{\partial

\sum\limits_{u,v}(\delta^l)_{u,v}

∂bl∂J(W,b)​u,v∑​(δl)u,v​同样参照链式求导法则假设第

l-1

\end{array}\right)\left(\begin{array}{ll}

b_{11}

\end{array}\right)\left(\begin{array}{cc}

Z_{11}

⎝⎛​a11​a21​a31​​a12​a22​a32​​a13​a23​a33​​⎠⎞​∗(W11​W21​​W12​W22​​)(b11​b21​​b12​b22​​)(Z11​221​​Z12​Z22​​)

z_{11}

z11​a11​w11​a12​w12​a21​w21​a22​w22​b11​

z_{12}

z12​a12​w11​a13​w12​a22​w21​a23​w22​b12​

z_{21}

z21​a21​w11​a22​w12​a31​w21​a32​w22​b21​

z_{22}

z22​a22​w11​a23​w12​a32​w21​a33​w22​b22​

\frac{\partial

∂W11​∂J(W,b)​∂z11​∂J(W,b)​⋅∂W11​∂z11​​∂z12​∂J(W,b)​⋅∂W11​∂z12​​∂z21​∂J(W,b)​⋅∂W11​∂z21​​∂z22​∂J(W,b)​⋅∂W11​∂z22​​

a11​δ11​a12​δ12​a21​δ21​a22​δ22​同理可得

\\\frac{\partial

∂W12l​∂J(W,b)​a12​δ11​a13​δ12​a22​δ21​a23​δ22​∂W13l​∂J(W,b)​a13​δ11​a14​δ12​a23​δ21​a24​δ22​∂W21l​∂J(W,b)​a21​δ11​a22​δ12​a31​δ21​a32​δ22​,进一步整理

\frac{\partial

∂Wl∂J(W,b)​⎝⎜⎜⎛​a11​a21​a31​a41​​a12​a22​a32​a42​​a13​a23​a33​a43​​a14​a24​a34​a44​​⎠⎟⎟⎞​∗(δ11​δ21​​δ12​δ22​​)al−1∗δl

相对而言

∂bl∂J(W,b)​δl至此有关反向传播的所有环节就已经结束了。

在整个神经网络架构已经清晰明确且训练数据确定的情况下我们就可以编写代码来训练我们的神经网络了步骤如下

初始化网络中所有权值

(W,b)i1(W,b)i−r⋅∂(W,b)∂J​返回至步骤2直至损失函数小于我们的预设值

参考资料