在训练参数化机器学习模型时#xff0c;

Decay是一种常用的正则化技术它通过在损失函数中添加一个惩罚项来限制模型的复杂度从而防止过拟合。

在训练参数化机器学习模型时

那什么是参数的正则化从我的理解上就是让参数限定在一定范围目的是为了不让模型对训练集过拟合。

1.2如何控制模型容量

即使得w的每个项的平方都小于θ这个值最强情况下就是θ等于0即所有w都等于0

1.4柔性限制

即损失函数后面加了一个非负项为了使损失函数最小化就得使得后面项足够小——起到限制w的作用相比于硬性限制柔性限制并没有将w的值限制在一个固定范围内。

上式为不加限制条件的最优解即图中的绿色中心点但该点会使得||w||^2这一项较大其和并不是最优解。

1.6更新参数法则

定义真实的权重true_w和偏差true_b并将其初始化为0.01和0.05

true_w,

使用d2l.syn***tic_data函数生成训练数据train_data和测试数据test_data

train_data

使用d2l.load_array函数将训练数据train_data和测试数据test_data

train_iter

参数需要计算梯度requires_grad参数被设置为True

2.3定义L2范数

设置训练的轮数num_epochs和学习率lr同时创建一个可视化工具animator用于可视化训练过程中的损失值。

在每个epoch中遍历训练数据集train_iter对每个小批量数据(X,

y)进行如下操作

计算模型的输出net(X)并计算损失函数loss(net(X),

加上L2范数惩罚项lambd

l2_penalty(w)其中l2_penalty(w)为权重w的L2范数。

每5个epoch计算训练集和测试集上的损失值并使用animator将损失值可视化。

初始化模型参数w和b

创建一个可视化工具animator用于可视化训练过程中的损失值

num_epochs,

在每个epoch中遍历训练数据集train_iter对每个小批量数据(X,

y)进行如下操作

计算模型的输出net(X)并计算损失函数loss(net(X),

y)#

l2_penalty(w)其中l2_penalty(w)为权重w的L2范数#

loss(net(X),

l2_penalty(w)l.sum().backward()d2l.sgd([w,

b],

每5个epoch计算训练集和测试集上的损失值并使用animator将损失值可视化if

(epoch

在这段代码中lambd是一个超参数表示L2正则化的强度。

在每个小批量数据的损失函数中会加上L2范数惩罚项以控制模型的复杂度和防止过拟合。

L2正则化的强度由超参数lambd控制lambd越大模型的复杂度就越小对训练数据的拟合程度就越差但是可以更好地控制过拟合。

反之lambd越小模型的复杂度就越大对训练数据的拟合程度就越好但是可能会过拟合。

在模型训练过程中我们通常会使用交叉验证等技术来选择最优的超参数lambd。

2.5.1忽略正则化直接训练

定义训练和测试数据集的大小输入特征的维度和批次大小n_train,

n_test,

使用nn.Sequential定义了一个单层全连接神经网络net#

并将其参数使用param.data.normal_()方法初始化为随机值net

nn.Sequential(nn.Linear(num_inputs,

1))for

net.parameters():param.data.normal_()#

该损失函数的reduction参数设置为none表示不对损失值进行降维loss

使用torch.optim.SGD定义一个优化器trainer该优化器的参数包括网络的权重和偏差以及权重衰减系数wdnum_epochs,

100,

torch.optim.SGD([{params:net[0].weight,weight_decay:

lrlr)#

创建一个可视化工具animator用于可视化训练过程中的损失值animator

ylabelloss,

在每个epoch中遍历训练数据集train_iter对每个小批量数据(X,

y)进行如下操作for

计算模型的输出net(X)并计算损失函数loss(net(X),

y)#

对损失函数进行反向传播并使用优化器trainer来更新模型参数trainer.zero_grad()l

loss(net(X),

y)l.mean().backward()trainer.step()#

每5个epoch计算训练集和测试集上的损失值并使用animator将损失值可视化。

if

(epoch