。

你可以选择直接骑到目的地#xff0c;也可以选择在途中设置几个“中转站”#xff0c;每个中转站都会告诉你如何朝着目的地前进。

在传统的神经网络中#xff0c;就好比只…一.举例通俗解释ResNet思想

假设你正在学习如何骑自行车并且想要骑到一个遥远的目的地。

你可以选择直接骑到目的地也可以选择在途中设置几个“中转站”每个中转站都会告诉你如何朝着目的地前进。

在传统的神经网络中就好比只能选择直接骑到目的地。

当你的目的地很远时可能会出现骑不到目的地的情况因为网络在训练过程中无法有效地传递信息导致梯度消失或梯度爆炸。

而ResNet则是在途中设置多个**“残差块”作为中转站**。

每个残差块相当于一个中转站。

二.ResNet网络结构

假设f(x)是最终求得的函数。

ResNet把函数拆成了f(x)

g(x).

四.为什么ResNet非要设计成先求一个中转的函数g(x)然后再加上x呢

4.1

假如输入的x已经是最好的结果如果加深网络效果会变差即把最好的结果x输入到新一层的网络g(x)中效果会变差。

那么我们直接令g(x)0,相当于舍弃掉影响最优结果的网络块。

最终得到的f(x)

对yF(x)x求偏导发现会出现画圈的地方梯度消失是累积的乘积中出现接近0的数影响梯度的结果梯度爆炸是累积乘积结果出现指数级增长。

多了画圈地方的操作就打破了累乘结果不容易出现梯度消失与爆炸。

五.代码实现

__init__(self,input_channels,num_channels,use_1x1convFalse,strides1):super().__init__()self.conv1

nn.Conv2d(input_channels,num_channels,kernel_size3,padding1,stridestrides)self.conv2

nn.Conv2d(num_channels,num_channels,kernel_size3,padding1)if

use_1x1conv:

nn.Conv2d(input_channels,num_channels,kernel_size1,stridestrides)else:self.conv3

Noneself.bn1

nn.BatchNorm2d(num_channels)self.bn2

nn.BatchNorm2d(num_channels)def

forward(self,X):Y

F.relu(self.bn1(self.conv1(X)))Y

self.conv3:

此代码生成两种类型的网络:一种是当use_1x1convFalse时,应用ReLU非线性函数之前,

将输入添加到输出。

另一种是当use_1x1convTrue时,添加通过1

blk

Residual(input_channels3,num_channels3)

torch.rand(4,

使用1x1卷积控制通道数使用strides2减半输出的高和宽,num_channels是输出的通道数

blk

Residual(input_channels3,num_channels6,

use_1x1convTrue,

num_residuals,first_blockFalse):blk

[]for

first_block:blk.append(Residual(input_channels,

strides2))else:blk.append(Residual(num_channels,

num_channels))return

接着在ResNet加入所有残差块,这里每个模块使用2个残差块。

nn.Sequential(*resnet_block(64,

64,

nn.Sequential(*resnet_block(64,

128,

nn.Sequential(*resnet_block(128,

256,

nn.Sequential(*resnet_block(256,

512,

最后,与GoogLeNet一样,在ResNet中加入全局平均汇聚层,以及全连接层输出。

7卷积层和最后一个全连接层,共有18层。

因此,这种模型通常被称为ResNet-18。

net

b5,nn.AdaptiveAvgPool2d((1,1)),nn.Flatten(),

nn.Linear(512,

观察一下ResNet中不同模块的输入形状是如何变化的。

在之前所有架构中,分辨率降低,通道数量增加,直到全局平均汇聚层聚集所有特征。

torch.rand(size(1,

layer(X)print(layer.__class__.__name__,output

shape:\t,

nn.Conv2d:nn.init.xavier_uniform_(m.weight)net.apply(init_weights)print(training

on,

torch.optim.SGD(net.parameters(),

lrlr)loss

d2l.Accumulator(3)net.train()for

(X,

enumerate(train_iter):timer.start()optimizer.zero_grad()X,

X.to(device),

y)l.backward()optimizer.step()with

X.shape[0],

test_accbest_test_acc:best_test_acc

(None,

d2l.load_data_fashion_mnist(batch_size,

resize96)

int(run_time)60:print(f{round(run_time,2)}s)

else:print(f{round(run_time/60,2)}minutes)牛逼比之前所有的模型准确率都高。

参考文章与视频

https://www.bilibili.com/video/BV1cM4y117ob/?spm_id_from333.337.search-card.all.clickvd_sourceebc47f36e62b223817b8e0edff181613

https://blog.csdn.net/sunny_yeah_/article/details/89430124