P分类模型

PerceptionMLP)或者叫多层感知机是一种连接方式较为简单的人工神经网络结构属于前馈神经网络的一种主要由输入层、隐藏层和输出层构成并且在每个隐藏层中可以有多个神经元。

MLP网络是可以应用于几乎所有任务的多功能学习方法包括分类、回归甚至是无监督学习。

神经网络的学习能力主要来源于网络结构而且根据层的数量不同、每层神经元数量的多少以及信息在层之间的传播方式可以组合成多种神经网络模型。

全连接神经网络主要由输入层、隐藏层和输出层构成。

输入层仅接收外界的输人不进行任何函数处理所以输入层的神经元个数往往和输入的特征数量相同隐藏层和输出层神经元对信号进行加工处理最终结果由输出层神经元输出。

根据隐藏层的数量可以分为单隐藏层MLP和多隐藏层MLP它们的网络拓扑结构如下图所示

2.MLP分类模型

下面使用PyTorch中的相关模块搭建多隐藏层的全连接神经网络并使用不同的真实数据集用于探索MLP在分类和回归任务中的应用。

首先我们来使用MLP探索其在分类任务中的应用。

数据集我们使用垃圾邮件数据集Spambase

数据集下载地址为Index

/ml/machine-learning-databases/spambasehttps://archive.ics.uci.edu/ml/machine-learning-databases/spambase/

值得注意的是从该网址下载的数据集需要经过一定的手工处理才能被我们后续使用。

具体来说

spambase.datahttps://archive.ics.uci.edu/ml/machine-learning-databases/spambase/spambase.data该文件是二进制文件下载后我们直接将文件后缀名更改为.csv并且由于该文件是纯数据不含列名即没有数据标签我们需要额外下载

spambase.nameshttps://archive.ics.uci.edu/ml/machine-learning-databases/spambase/spambase.names该文件是数据标签不含数据。

下载后需要将该文件中的56个标签添加为spambase.csv的列名才能为后续所用。

spambase.namesspambase.data手工处理后的spambase.csv文件在该数据集中包含57个邮件内容的统计特征其中有48个特征是关键词出现的频率×100的取值范围为[0100

]变量名使用word_freq_WORD命名,WORD表示该特征统计的词语;6个特征为关键字符出现的频率x100取值,范围为[0100

]变量名使用char_freq_CHAR命名;1个变量为capital_run_length_average表示大写字母不间断的平均长度;1个变量为capital_run_length_longest,表示大写字母不间断的最大长度;1个变量capital_run_length_total表示邮件中大写字母的数量。

数据集中最后一个变量是待预测目标变量(0、1)表示电子邮件被认为是垃圾邮件(1)或不是(0)。

import

StandardScaler,MinMaxScaler#用于数据标准化预处理

from

accuracy_score,confusion_matrix,classification_report#用于评价模型预测效果

from

TSNE#用于数据的降维及可视化spampd.read_csv(../Dataset/spambase.csv)

print(spam.head())

print(pd.value_counts(spam.label))发现数据集中垃圾邮件有1813个样本非垃圾邮件有2788个样本。

为了验证训练好的MLP网络的性能需要将数据集spam切分为训练集和测试集

其中使用75%的数据作为训练集剩余25%的数据作为测试集以测试训练好的模型的泛化能力。

数据集切分可以使用train_test_split()函数:#将数据集随机切分成训练集和测试集

yspam.label.values

X_train,X_test,y_train,y_testtrain_test_split(X,y,test_size0.25,random_state123)切分好数据后需要对数据进行标准化处理。

此处采用MinMaxScaler()将数据进行最大值-最小值标准化

scalesMinMaxScaler(feature_range(0,1))

X_train_sscales.fit_transform(X_train)

X_test_sscales.transform(X_test)在得到标准化数据后将训练数据集的每个特征变量使用箱线图进行显示

对比不同类别的邮件(垃圾邮件和非垃圾邮件)在每个特征变量上的数据分布情况。

colnamespam.columns.values[:-1]

for

range(len(colname)):plt.subplot(7,9,i1)sns.boxplot(xy_train,yX_train_s[:,i])plt.title(colname[i])

plt.show()使用sns.boxplot()函数将数据集X_train_s中的57个特征变量进行了可视化得到的图像如下图所示

2.2

在数据准备、探索和可视化分析之后下面搭建需要使用的全连接神经网络分类器。

class

__init__(self):super(MLPclassify,self).__init__()#定义第一个隐藏层self.hidden1nn.Sequential(nn.Linear(in_features57,#第一个隐藏层的输入数据的特征数out_features30,#第一个隐藏层的输出神经元的数量biasTrue),nn.ReLU())#定义第二个隐藏层self.hidden2nn.Sequential(nn.Linear(30,10),nn.ReLU())#分类层self.classifynn.Sequential(nn.Linear(10,2),nn.Sigmoid())#定义网络的前向传播def

forward(self,x):fc1self.hidden1(x)fc2self.hidden2(fc1)outputself.classify(fc2)#输出为两个隐藏层和两个输入层return

fc1,fc2,output上面的程序中定义了一个MLPclassify函数类其网络结构中含有hidden1和hidden2两个隐藏层

分别包含30和10个神经元以及1个分类层classify并且分类层使用Sigmoid函数作为激活函数。

由于数据有57个特征所以第一个隐藏层的输入特征为57而且该数据为二分类问题所以分类层有2个神经元。

分别输出了网络的两个隐藏层fc1、fc2以及分类层的输出output。

mlpMLPclassify()

xtorch.randn(1,57).requires_grad_(True)

ymlp(x)

myMlpmake_dot(y,paramsdict(list(mlp.named_parameters())[(x,x)]))

myMlp.directorymodel_graph/#指定图像保存的文件夹

myMlp.view()2.3

在网络搭建完毕后首先使用未标准化的训练数据训练模型然后利用未标准化的测试数据验证模型的泛化能力分析网络在未标准化的数据集中是否也能很好地拟合数据。

首先将未标准化的数据转化为张量并且将张量处理为数据加载器

#将数据转化为张量

X_train_notstorch.from_numpy(X_train.astype(np.float32))

y_train_ttorch.from_numpy(y_train.astype(np.int64))

X_test_notstorch.from_numpy(X_test.astype(np.float32))

y_test_ttorch.from_numpy(y_test.astype(np.int64))

#将训练集转化为张量之后使用TensorDataset将X与Y整理到一起

train_data_notsData.TensorDataset(X_train_nots,y_train_t)

train_nots_loaderData.DataLoader(datasettrain_data_nots,#使用的数据集batch_size64,#批处理样本大小shuffleTrue,#每次迭代前打乱数据num_workers0

#定义优化器

optimizertorch.optim.Adam(mlp.parameters(),lr0.01)

loss_funcnn.CrossEntropyLoss()#二分类损失函数

history1hl.History()

enumerate(train_nots_loader):#计算每个batch的损失_,_,outputmlp(b_x)#MLP在训练batch上的输出train_lossloss_func(output,b_y)#二分类交叉熵损失函数optimizer.zero_grad()#每个迭代步的梯度初始化为0train_loss.backward()#损失后向传播计算梯度optimizer.step()#使用梯度进行优化ni***repoch*len(train_nots_loader)step1#计算每经过print_step次迭代后的输出if

ni***r

0:_,_,outputmlp(X_test_nots)_,pre_labtorch.max(output,1)test_accurayaccuracy_score(y_test_t,pre_lab)#为history添加epoch损失和精度history1.log(ni***r,train_losstrain_loss,test_accuraytest_accuray)##使用两个图像可视化损失函数和精度print(train_loss)print(test_accuray)with

canvas1:canvas1.draw_plot(history1[train_loss])canvas1.draw_plot(history1[test_accuray])

上面的程序对训练数据集进行了5个epoch的训练在网络训练过程中

使用history1.log()函数进行保存再使用canvas1.draw_plot()函数

将损失函数大小、预测精度实时可视化出来。

从Hiddenlayer可视化结果可以看出损失函数一直在波动并没有收敛到一个平稳的数值区间在测试集上的精度也具有较大的波动范围而且最大精度低于72%。

说明使用未标准化的数据集训练的模型并没有训练效果,即MLP分类器没有收敛。

(1)数据没有经过标准化预处理,所以网络没有收敛。

(2)使用的训练数据样本太少,导致网络没有收敛。

(3)搭建的MLP网络使用的神经元太多或者太少所以网络没有收敛。

2.4

MLP分类器没有收敛的原因可以有多个但是最可能的原因是数据没有进行标准化预处理。

为了验证猜想的正确性使用标准化数据集重新对上面的MLP网络进行训练观察训练集和测试集在网络训练过程中的表现查看网络是否收敛。

import

StandardScaler,MinMaxScaler#用于数据标准化预处理

from

accuracy_score,confusion_matrix,classification_report#用于评价模型预测效果

from

TSNE#用于数据的降维及可视化spampd.read_csv(../Dataset/spambase.csv)#将数据集随机切分成训练集和测试集

yspam.label.values

X_train,X_test,y_train,y_testtrain_test_split(X,y,test_size0.25,random_state123)#

切分好数据后需要对数据进行标准化处理。

此处采用MinMaxScaler()将数据进行最大值-最小值标准化

1之间程序如下:

scalesMinMaxScaler(feature_range(0,1))

X_train_sscales.fit_transform(X_train)

X_test_sscales.transform(X_test)class

__init__(self):super(MLPclassify,self).__init__()#定义第一个隐藏层self.hidden1nn.Sequential(nn.Linear(in_features57,#第一个隐藏层的输入数据的特征数out_features30,#第一个隐藏层的输出神经元的数量biasTrue),nn.ReLU())#定义第二个隐藏层self.hidden2nn.Sequential(nn.Linear(30,10),nn.ReLU())#分类层self.classifynn.Sequential(nn.Linear(10,2),nn.Sigmoid())#定义网络的前向传播def

forward(self,x):fc1self.hidden1(x)fc2self.hidden2(fc1)outputself.classify(fc2)#输出为两个隐藏层和两个输入层return

fc1,fc2,outputmlpMLPclassify()#将数据转化为张量

X_train_notstorch.from_numpy(X_train_s.astype(np.float32))

y_train_ttorch.from_numpy(y_train.astype(np.int64))

X_test_notstorch.from_numpy(X_test_s.astype(np.float32))

y_test_ttorch.from_numpy(y_test.astype(np.int64))

#将训练集转化为张量之后使用TensorDataset将X与Y整理到一起

train_data_notsData.TensorDataset(X_train_nots,y_train_t)

train_nots_loaderData.DataLoader(datasettrain_data_nots,#使用的数据集batch_size64,#批处理样本大小shuffleTrue,#每次迭代前打乱数据num_workers0

#定义优化器

optimizertorch.optim.Adam(mlp.parameters(),lr0.01)

loss_funcnn.CrossEntropyLoss()#二分类损失函数

history1hl.History()

enumerate(train_nots_loader):#计算每个batch的损失_,_,outputmlp(b_x)#MLP在训练batch上的输出train_lossloss_func(output,b_y)#二分类交叉熵损失函数optimizer.zero_grad()#每个迭代步的梯度初始化为0train_loss.backward()#损失后向传播计算梯度optimizer.step()#使用梯度进行优化ni***repoch*len(train_nots_loader)step1#计算每经过print_step次迭代后的输出if

ni***r

0:_,_,outputmlp(X_test_nots)_,pre_labtorch.max(output,1)test_accurayaccuracy_score(y_test_t,pre_lab)#为history添加epoch损失和精度history1.log(ni***r,train_losstrain_loss,test_accuraytest_accuray)##使用两个图像可视化损失函数和精度print(train_loss)print(test_accuray)with

canvas1:canvas1.draw_plot(history1[train_loss])canvas1.draw_plot(history1[test_accuray])从上面Hiddenlayer可视化图像可以看出损失函数最终收敛到一个平稳的数值区间在测试集上的精度也得到了收敛预测精度稳定在90%以上。

说明模型在使用标准化数据后得到有效的训练。

即数据标准化预处理对MLP网络非常重要。

MLP回归模型

在sklearn库中包含一个fetch_california_housing(函数,该函数可以下载california房屋价格数据。

该数据集源自1990年美国人口普查每行样本是每个人口普查区块组的描述数据区块组通常拥有600~3000的人口。

在数据集中一共包含20640个样本数据有8个自变量,如收入平均数、房屋年龄、平均房间数量等。

因变量为房屋在该区块组的价格中位数。

使用该数据集建立一个全连接回归模型,用于预测房屋的价格。

3.1

mean_squared_error,mean_absolute_error

from

print(sklearn.datasets.get_data_home())

house_datafetch_california_housing()

#将数据切分成训练集和测试集

X_train,X_test,y_train,y_testtrain_test_split(house_data.data,house_data.target,test_size0.3,random_state42)

#数据标准化处理

X_train_sscale.fit_transform(X_train)

X_test_sscale.transform(X_test)

house_data_dfpd.DataFrame(dataX_train_s,columnshouse_data.feature_names)

house_data_df[target]y_train在上面的程序中首先通过fetch_california_housing()函数导入数据

然后通过train_test_split()函数将数据集的70%作为训练集30%作为测试集

最后使用pd.DataFrame()函数将标准化的训练数据集处理为数据表#可视化数据的相关系数热力图

data_cornp.corrcoef(house_data_df.values,rowvar0)

data_corpd.DataFrame(datadata_cor,columnshouse_data_df.columns,indexhouse_data_df.columns)

axsns.heatmap(data_cor,squareTrue,annotTrue,fmt.3f,linewidths.5,cmapYlGnBu,cbar_kws{fraction:0.046,pad:0.03})

plt.show()

上面的程序通过函数np.corrcoef()计算变量之间的相关系数然后通过sns.heatmap()可视化相关系数热力图得到如上图所示的图像。

从图像中可以发现和目标函数相关性最大的是MedInc(收入中位数)变量。

而且AveRooms和AveBedrms两个变量之间的正相关性较强。

3.2

用准备好的数据通过PyTorch构建一个全连接神经网络的类,搭建MLP回归模型。

import

mean_squared_error,mean_absolute_error

from

house_datafetch_california_housing()

#将数据切分成训练集和测试集

X_train,X_test,y_train,y_testtrain_test_split(house_data.data,house_data.target,test_size0.3,random_state42)

#数据标准化处理

X_train_sscale.fit_transform(X_train)

X_test_sscale.transform(X_test)#将数据集转化为张量

train_xttorch.from_numpy(X_train_s.astype(np.float32))

train_yttorch.from_numpy(y_train.astype(np.float32))

test_xttorch.from_numpy(X_test_s.astype(np.float32))

test_yttorch.from_numpy(y_test.astype(np.float32))

#将训练数据处理为数据加载器

train_dataData.TensorDataset(train_xt,train_yt)

test_dataData.TensorDataset(test_xt,test_yt)

train_loaderData.DataLoader(datasettrain_data,batch_size64,shuffleTrue,num_workers0)搭建全连接神经网络回归模型

class

__init__(self):super(MLPregression,self).__init__()#定义第一个隐藏层self.hidden1nn.Linear(in_features8,out_features100,biasTrue)#定义第二个隐藏层self.hidden2nn.Linear(100,100)#定义第三个隐藏层self.hidden3nn.Linear(100,50)#回归预测层self.predictnn.Linear(50,1)def

forward(self,x):xF.relu(self.hidden1(x))xF.relu(self.hidden2(x))xF.relu(self.hidden3(x))outputself.predict(x)#返回一个一维向量return

output[:,0]

optimizertorch.optim.SGD(mlp.parameters(),lr0.01)

loss_funcnn.MSELoss()#均方根误差损失函数

train_loss_all[]

range(30):train_loss0train_num0#对训练数据的加载器进行迭代计算for

step,(b_x,b_y)

enumerate(train_loader):outputmlp(b_x)#mlp在训练batch上的输出lossloss_func(output,b_y)#均方根误差损失函数optimizer.zero_grad()#每个迭代步的梯度初始化为0loss.backward()#损失的后向传播计算梯度optimizer.step()#使用梯度进行优化train_loss

loss.item()

b_x.size(0)train_loss_all.append(train_loss

train_num)

plt.plot(train_loss_all,ro-,labelTrain

loss)

对网络进行预测并使用平均绝对值误差来表示预测效果程序如下所示:

对测试集进行预测

maemean_absolute_error(y_test,pre_y)

plt.plot(np.arange(len(y_test)),y_test[index],r,labelOriginal

plt.scatter(np.arange(len(pre_y)),pre_y[index],s3,cb,labelPrediction)

plt.legend(locupper

plt.show()在测试集上MLP回归模型正确地预测出了原始数据的变化趋势但部分样本的预测差异较大。