数据中并不包含这些测试数据

采用简单的三层全连接神经网络包括输入层(wi)中间层(wm)和输出层(wo)这里暂时不使用卷积层,下次替换后进行比较

输入层:

一共20个神经元每一张手写数字的图片大小为28x28将全部展平后的784个灰度数据归一化即除以255.0,

使其数值位于[0

1]区间这样可以防止数据在层层计算和传递后变得过分大将这784个[0

1]之间的数据与20个神经元进行全连接神经元激活函数用func_ReLU

中间层:

一共20个神经元与输入层的20个神经元输出进行全连接神经元激活函数用func_ReLU

输出层:

一共10个神经元分别对应0~9数字的可能性与中间层的20个神经元输出进行全连接层的激活函数用func_softmax

特别地神经元的激活函数在new_nvcell()中设定层的激活函数直接赋给nerve_layer-transfunc

损失函数:

采用期望和预测值的交叉熵损失函数func_lossCrossEntropy.

损失函数在nvnet_feed_forward()中以参数形式输入

训练神经网络

由于整个程序是以nvcell神经元结构为基础进行构建的其不同于矩阵/张量形式的批量数据描述因此这个神经网络只能以神经元为单位逐个逐层地进行前向和反向传导

Gradient

Descent)梯度下降更新法即对每一个样本先进行前向和反向传导计算接着根据计算得到的梯度值马上更新所有参数与此不同mini-batch

GD采用小批量样本进行前向和反向传导计算然后根据累积的梯度数值做次参数更新显然,采用SGD方法参数更新更加频繁计算时间相应也变长了不过据网文分析采用SGD也更容易趋近全局最优解尽管逼近的途径会比较曲折本文程序中的分批计算是为了方便监控计算过程和打印中间值当然要实现mini-batch

GD也是可以的先完成一批量样本的前后传导计算期间将各参数的梯度累计起来,

最后取其平均值更新一次参数

这里使用平均损失值mean_err0.0025来作为训练的终止条件为防止无法收敛到此数值同时设置最大的epoch计数.

训练时先读取一个样本数据和一个标签分别存入到data_input[28*28]和data_target[10],

为了配合应用softmax函数,这里data_target[]是one-hot编码格式读入样本数据后先进行前向传导计算nvnet_feed_forward()接着进行反向传导计算nvnet_feed_backward(),

这样就完成了一个样本的训练如此循环计算完成一次所有样本的训练(epoch)后计算mean_err,

训练完成后对模型进行简单评估方法就是用训练后的模型来预测(predict)或推理(infer)前面的测试数据集中的图像数据将结果与对应的标签值做对比

跑一次nvnet_feed_forward()直接读取输出层的wo_layer-douts[k]

(k0~9)如果其值大于0.5就认为模型预测图像上的数字是k.

与卷积神经网络相比较为达到相同的结果全连接的神经网络的所需要的训练时间会更长.

6实验和改进

可以先将28*28的图片下采样到14*14后再连接到输入层这样可以提高速度

源代码

https://github.com/midaszhou/nnc

下载后编译: