叠加层#xff0c;

之前的学习#xff0c;已经学习到了很多东西#xff0c;比如构成神经网络的各种层、参数优化方法、误差反向传播法#xff0c;…2023.2.13

深度学习

是加深了层的深度神经网络的学习过程。

基于之前介绍的网络只需要通过

叠加层

之前的学习已经学习到了很多东西比如构成神经网络的各种层、参数优化方法、误差反向传播法卷积神经网络

现在将这些技术结合起来构建一个深度网络去完成MNIST识别任务。

这个网络使用He初始值作为权重初始值使用Adam作为权重参数的更新

“深度学习”学习日记。

与学习有关的技巧--权重的初始值_Anthony陪你度过漫长岁月的博客-CSDN博客权重的初始值https://blog.csdn.net/m0_72675651/article/details/128748314

Adam的相关内容可以参考“深度学习”学习日记。

与学习相关的技巧

参数的更新_Anthony陪你度过漫长岁月的博客-CSDN博客_深度学习参数更新SGD函数的缺点由于权重偏置参数更新的Momentum函数AdaGrad函数Adam函数https://blog.csdn.net/m0_72675651/article/details/128737715

实验代码这里的epoch设置为20可能神经网络训练学习耗时会在5小时以上epoch可以减小或增大以缩减或增加雪莲时长当然对正确率也有影响。

import

OrderedDictsys.path.append(os.pardir)#

MNIST数据导入

http://yann.lecun.com/exdb/mnist/

key_file

train-images-idx3-ubyte.gz,train_label:

train-labels-idx1-ubyte.gz,test_img:

t10k-images-idx3-ubyte.gz,test_label:

}dataset_dir

os.path.dirname(os.path.abspath(__file__))

save_file

os.path.exists(file_path):returnprint(Downloading

file_name

)urllib.request.urlretrieve(url_base

file_name,

key_file.values():_download(v)def

_load_label(file_name):file_path

dataset_dir

_load_img(key_file[train_img])dataset[train_label]

_load_label(key_file[train_label])dataset[test_img]

_load_img(key_file[test_img])dataset[test_label]

_load_label(key_file[test_label])return

datasetdef

init_mnist():download_mnist()dataset

pickle

os.path.exists(save_file):init_mnist()with

open(save_file,

dataset[key].astype(np.float32)dataset[key]

255.0if

one_hot_label:dataset[train_label]

_change_one_hot_label(dataset[train_label])dataset[test_label]

_change_one_hot_label(dataset[test_label])if

not

-np.sum(np.log(y[np.arange(batch_size),

1e-7))

dx.reshape(*self.original_x_shape)

dx#

self.y.copy()dx[np.arange(batch_size),

self.t]

dropout_ratio0.5):self.dropout_ratio

Nonedef

pool_size))dmax[np.arange(self.arg_max.size),

dout.flatten()dmax

各层的神经元平均与前一层的几个神经元有连接TODO:自动计算pre_node_nums

np.array([1

np.random.randn(conv_param[filter_num],pre_channel_num,conv_param[filter_size],conv_param[filter_size])self.params[b

str(idx

np.zeros(conv_param[filter_num])pre_channel_num

conv_param[filter_num]self.params[W7]

wight_init_scales[6]

np.zeros(hidden_size)self.params[W8]

wight_init_scales[7]

[]self.layers.append(Convolution(self.params[W1],

self.params[b1],conv_param_1[stride],

conv_param_1[pad]))self.layers.append(Relu())self.layers.append(Convolution(self.params[W2],

self.params[b2],conv_param_2[stride],

conv_param_2[pad]))self.layers.append(Relu())self.layers.append(Pooling(pool_h2,

pool_w2,

stride2))self.layers.append(Convolution(self.params[W3],

self.params[b3],conv_param_3[stride],

conv_param_3[pad]))self.layers.append(Relu())self.layers.append(Convolution(self.params[W4],

self.params[b4],conv_param_4[stride],

conv_param_4[pad]))self.layers.append(Relu())self.layers.append(Pooling(pool_h2,

pool_w2,

stride2))self.layers.append(Convolution(self.params[W5],

self.params[b5],conv_param_5[stride],

conv_param_5[pad]))self.layers.append(Relu())self.layers.append(Convolution(self.params[W6],

self.params[b6],conv_param_6[stride],

conv_param_6[pad]))self.layers.append(Relu())self.layers.append(Pooling(pool_h2,

pool_w2,

stride2))self.layers.append(Affine(self.params[W7],

self.params[b7]))self.layers.append(Relu())self.layers.append(Dropout(0.5))self.layers.append(Affine(self.params[W8],

self.params[b8]))self.layers.append(Dropout(0.5))self.last_layer

SoftmaxWithLoss()def

self.last_layer.backward(dout)tmp_layers

self.layers.copy()tmp_layers.reverse()for

layer

self.layers[layer_idx].dWgrads[b

str(i

self.layers[layer_idx].dbreturn

gradsdef

self.params.items():params[key]

valwith

params.items():self.params[key]

valfor

mini_batch_size100,optimizerSGD,

optimizer_param{lr:

0.01},evaluate_sample_num_per_epochNone,

networkself.verbose

mini_batch_sizeself.evaluate_sample_num_per_epoch

{sgd:

optimizer_class_dict[optimizer.lower()](**optimizer_param)self.train_size

x_train.shape[0]self.iter_per_epoch

max(self.train_size

self.iter_per_epoch)self.current_iter

0self.current_epoch

np.random.choice(self.train_size,

self.x_train[batch_mask]t_batch

t_batch)self.optimizer.update(self.network.params,

grads)loss

t_batch)self.train_loss_list.append(loss)if

self.verbose:

self.evaluate_sample_num_per_epoch

None:t

self.evaluate_sample_num_per_epochx_train_sample,

t_train_sample

self.network.accuracy(x_train_sample,

self.network.accuracy(x_test_sample,

t_test_sample)self.train_acc_list.append(train_acc)self.test_acc_list.append(test_acc)if

self.verbose:

range(self.max_iter):self.train_step()test_acc

self.network.accuracy(self.x_test,

self.t_test)if

load_mnist(flattenFalse)network

DeepConvNet()

mini_batch_size100,optimizerAdam,

optimizer_param{lr:

0.001},evaluate_sample_num_per_epoch1000)

trainer.train()#

network.save_params(deep_convnet_params.pkl)

print(Saved

“深度学习”学习日记。

卷积神经网络--用CNN的实现MINIST识别任务_Anthony陪你度过漫长岁月的博客-CSDN博客搭建CNN去实现MNIST数据集的识别任务https://blog.csdn.net/m0_72675651/article/details/128980999

二进一步提高识别精度

世界上有许多用于完成MNIST的神经网络模型截至2016年6月对MNIST数据集的最高识别精度是0.9979该方发也是以CNN为基础的。

不过他用的CNN并不是特别深层的网络两层卷积层、两层全连接层

集成学习、学习衰减、Data

Augmentation是基于算法“人为地”扩充输入图像训练图像相当于把训练集图像通过施加旋转、垂直、平移或水平方向上的移动等微小变化增加图像数量。

根据教材的实验结果表示性能优良的神经网络有有逐渐加深网络的层趋势。

也就是说可以看到的层越深识别性能也越高。

加深层有一个优点就是可以减少神经网络的参数数量。

等价于用更少的参数权重去达到同等水平或者更强的表现力

关于卷积运算参考文章“深度学习”学习日记。

卷积神经网络--卷积层_Anthony陪你度过漫长岁月的博客-CSDN博客卷积层https://blog.csdn.net/m0_72675651/article/details/128861606

输入数据的形状大小为H,W,滤波器卷积核的大小为FH,FW,输出大小为OH,OF

当一个形状为55输入数据只有一层卷积层将结果经过卷积运算变成一个11则需要一个5×5的卷积核一共25个参数

当我们有两层卷积层可以在第一层先通过一个3×3的卷积核第二层再通过一个3×3的卷积核这时我们值需要18的参数

像这样通过叠加小型滤波器来加深神经网络的好处就是可以减少参数的设置扩大

感受视野

field给神经元施加变化的某个局部空间区域。

并且通过叠加层将ReLU层将ReLU的激活函数夹在卷积层的中见进一步提高了网络的表现力。

这是因为像网络添加了基于激活函数的“非线性”表现力通过非线性函数的叠加可以表现更加复杂的东西。

这篇文章讲到

“深度学习”学习日记。

卷积神经网络--用CNN的实现MINIST识别任务_Anthony陪你度过漫长岁月的博客-CSDN博客搭建CNN去实现MNIST数据集的识别任务https://blog.csdn.net/m0_72675651/article/details/128980999

根据深度学习的可视化相关研究随着层次的加深提取的信息反应强烈的神经元也会缘来缘抽象。

最开始是对简单的边缘有相应接下来的层对纹理有反应再后面的层会对更加复杂的物体部件有反应。

也就是说随着层次的加深神经元从简单的形状向“高级”信息变化。

如果我们想要写一个识别“狗”的神经网络那我使用浅层神经网络的话我们就需要在每一层神经网络中考虑很多参数权重导致耗时很长正确率也差强人意

如果通过加深网络去实现的化就可以分层次地分解需要学习的问题。

因此在每一层卷积层中索要解决的问题就会变得简单。

比如最开始的层值要专注与学习边缘只用较少的数据就可以高效的学习通过加深层可以使用上一次提取的边缘信息。

不够要注意的是深层化是由大数据、计算能力等即便加深层也能正确地进行学习的新技术与环境支撑的。