人工智能(Pytorch)赛道https://bbs.csdn.net/topics/613989052

一、项目介绍

在此项目中目的是预测爱荷华州Ames的房价给定81个特征描述了房子、面积、土地、基础设施、公共设施等。

埃姆斯数据集具有分类和连续特征的良好组合大小适中也许最重要的是它不像其他类似的数据集如波士顿住房那样存在潜在的红线或数据输入问题。

在这里我将主要讨论PyTorch建模的相关方面作为一点额外的内容我还将演示PyTorch中开发的模型的神经元重要性。

你可以在PyTorch中尝试不同的网络架构或模型类型。

本项目中的重点是方法论而不是详尽地寻找最佳解决方案。

二、准备工作

为了准备这个项目我们首先需要下载数据并通过以下步骤进行一些预处理。

from

关于该数据集的完整描述你可以去该网址查看https://www.openml.org/d/42165。

查看数据特征

在这里首先要进行数据缩放处理因为所有的变量都有不同的尺度。

分类变量需要转换为数值类型以便将它们输入到我们的模型中。

我们可以选择一热编码即我们为每个分类因子创建哑变量或者是序数编码即我们对所有因子进行编号并用这些数字替换字符串。

我们可以像其他浮动变量一样将虚拟变量送入而序数编码则需要使用嵌入即线性神经网络投影在多维空间中对类别进行重新排序。

我们在这里采取嵌入的方式。

import

list(data_ames.select_dtypes(includefloat))

cat_cols

list(data_ames.select_dtypes(includeobject))ordinal_encoder

OrdinalEncoder().fit(data_ames[cat_cols]

standard_scaler

StandardScaler().fit(data_ames[num_cols]

pd.DataFrame(datanp.column_stack([ordinal_encoder.transform(data_ames[cat_cols]),standard_scaler.transform(data_ames[num_cols])]),columnscat_cols

num_cols

在构建模型之前我们需要将数据拆分为训练集和测试集。

在这里我们添加了一个数值变量的分层。

这可以确保不同的部分其中五个在训练集和测试集中都以同等的数量包含。

np.random.seed(12)

train_test_split(X.drop(columnsSalePrice),X[SalePrice],random_state12,stratifysale_price_bins

3.3构建PyTorch模型

接下来开始建立我们的PyTorch模型。

我们将使用PyTorch实现一个具有批量输入的神经网络回归具体将涉及以下步骤。

将数据转换为Torch

Variable(torch.cuda.FloatTensor(X_train[num_features].values)

X_train_cat_pt

Variable(torch.cuda.LongTensor(X_train[cat_cols].values)

y_train_pt

Variable(torch.cuda.FloatTensor(y_train.values)

).view(-1,

Variable(torch.cuda.FloatTensor(X_test[num_features].values)

X_test_cat_pt

Variable(torch.cuda.LongTensor(X_test[cat_cols].values).long()

y_test_pt

Variable(torch.cuda.FloatTensor(y_test.values)

).view(-1,

这可以确保我们将数字和分类数据加载到单独的变量中类似于NumPy。

如果你把数据类型混合在一个变量数组/矩阵中它们就会变成对象。

我们希望把数值变量弄成浮点数把分类变量弄成长或int索引我们的类别。

我们还将训练集和测试集分开。

显然一个ID变量在模型中不应该是重要的。

在最坏的情况下如果ID与目标有任何相关性它可能会引入目标泄漏。

我们已经把它从这一步的处理中删除了。

3.3.2定义模型架构

RegressionModel(torch.nn.Module):

def

hidden_layer_dimself.embeddings

[torch.nn.Embedding(num_embeddingslen(X[col].unique()),embedding_dimembed_dim).to(device)for

col

torch.nn.Linear(torch.IntTensor(hidden_dim),

hidden_layer_dim).to(device)self.dropout_layer

torch.nn.Dropout(pp).to(device)self.hidden_act

output

torch.nn.Linear(hidden_layer_dim,

1).to(device)def

[torch.squeeze(embed(cat_inputs[:,

1))for

我们在两个线性层上的激活函数是整流线性单元激活ReLU函数。

这里需要注意的是我们不可能将相同的架构很容易封装成一个顺序模型因为分类和数值类型上发生的操作不同。

3.3.3定义损失准则和优化器

接下来定义损失准则和优化器。

我们将均方误差MSE作为损失随机梯度下降作为我们的优化算法。

criterion

torch.optim.SGD(house_model.parameters(),

lr0.001)

torch.utils.data.TensorDataset(X_train_num_pt,

X_train_cat_pt,

torch.utils.data.DataLoader(data_batch,

batch_size10,

基本上我们要在epoch上循环在每个epoch内推理出性能计算出误差优化器根据误差进行调整。

这是在没有训练的内循环的情况下在epochs上的循环。

from

(x_train_num_batch,x_train_cat_batch,y_train_batch)

dataloader:(x_train_num_batch,x_train_cat_batch,

y_train_batch)

(x_train_num_batch.to(device),x_train_cat_batch.to(device),y_train_batch.to(device))pred_ytrain

house_model.forward(x_train_num_batch,

torch.sqrt(criterion(pred_ytrain,

y_train_batch))

torch.no_grad():house_model.eval()pred_ytest

house_model.forward(X_test_num_pt,

torch.sqrt(criterion(pred_ytest,

y_test_pt))train_losses.append(train_loss

len(dataloader))test_losses.append(test_loss

len(dataloader))

plt.plot(np.array(train_losses).reshape((n_epochs,

loss

plt.plot(np.array(test_losses).reshape((n_epochs,

-1)).mean(axis1),labelValidation

loss

在我们的验证损失停止下降之前我们及时停止了训练。

我们还可以对目标变量进行排序和bin并将预测结果与之对比绘制以便了解模型在整个房价范围内的表现。

这是为了避免回归中的情况尤其是用MSE作为损失即你只对一个中值范围的预测很好接近平均值但对其他任何东西都做得不好。

我们可以看到事实上这个模型在整个房价范围内的预测非常接近。

事实上我们得到的Spearman秩相关度约为93%具有非常高的显著性这证实了这个模型的表现具有很高的准确性。

四、原理讲解

深度学习神经网络框架使用不同的优化算法。

其中流行的有随机梯度下降SGD、均方根推进RMSProp和自适应矩估计ADAM。

我们定义了随机梯度下降作为我们的优化算法。

另外我们还可以定义其他优化器。

opt_SGD

torch.optim.SGD(net_SGD.parameters(),

lrLR)

torch.optim.SGD(net_Momentum.parameters(),

lrLR,

torch.optim.RMSprop(net_RMSprop.parameters(),

lrLR,

torch.optim.Adam(net_Adam.parameters(),

lrLR,

SGD的工作原理与梯度下降相同只是它每次只在一个例子上工作。

有趣的是收敛性与梯度下降相似并且更容易占用计算机内存。

RMSProp的工作原理是根据梯度符号来调整算法的学习率。

最简单的变体是检查最后两个梯度符号然后调整学习率如果它们相同则增加一个分数如果它们不同则减少一个分数。

ADAM是最流行的优化器之一。

它是一种自适应学习算法根据梯度的第一和第二时刻改变学习率。

Captum是一个工具可以帮助我们了解在数据集上学习的神经网络模型的来龙去脉。

它可以帮助我们学习以下内容。

特征重要性

这在学习可解释的神经网络中是非常重要的。

在这里综合梯度已经被应用于理解特征重要性。

之后还用层传导法来证明神经元的重要性。

五、补充

(IntegratedGradients,LayerConductance,NeuronConductance

house_model.cpu()

house_model.embeddings:embedding.cpu()house_model.cpu()

ing_house

IntegratedGradients(forward_funchouse_model.forward,

#X_test_cat_pt.requires_grad_()

attr,

ing_house.attribute(X_test_num_pt.cpu(),targetNone,return_convergence_deltaTrue,additional_forward_argsX_test_cat_pt.cpu()

attr

现在我们有了一个NumPy的特征重要性数组。

层和神经元的重要性也可以用这个工具获得。

让我们来看看我们第一层的神经元importances。

我们可以传递house_model.act1这是第一层线性层上面的ReLU激活函数。

cond_layer1

这张图显示了神经元的重要性。

显然一个神经元就是不重要的。

我们还可以通过对之前得到的NumPy数组进行排序看到最重要的变量。

df_feat

通常情况下特征导入可以帮助我们既理解模型又修剪我们的模型使其变得不那么复杂希望减少过度拟合。