torch.optim优化算法模块提供了各种优化器如随机梯度下降

(SGD)、Adam、RMSprop

全连接层进行线性变换。

torch.nn.Conv2d(in_channels,

out_channels,

2D卷积层。

torch.nn.MaxPool2d(kernel_size):

ReLU

之间。

这种特性在某些情况下很有用比如对于二分类任务Sigmoid

引入非线性变换

函数是一种非线性函数可以引入神经网络的非线性变换能力使得神经网络可以学习更加复杂的模式和关系。

在深度神经网络中非线性激活函数的使用可以帮助神经网络学习非线性模式提高网络的表达能力。

输出平滑且连续

形曲线在定义域内都是可导的这使得在反向传播算法中计算梯度变得相对容易。

这一点对于神经网络的训练至关重要。

损失函数

交叉熵损失函数用于衡量两个概率分布之间的差异通常用于多分类任务中。

在神经网络的多分类任务中输入模型的输出是一个概率分布表示每个类别的预测概率而交叉熵损失函数则用于比较这个预测概率分布与实际标签的分布之间的差异。

Softmax

均方误差损失函数用于衡量模型输出与实际目标之间的差异通常在回归任务中使用。

该损失函数计算预测值与真实值之间的平方差并将所有样本的平方差求平均得到最终的损失值。

优化器

torch.optim.SGD(model.parameters(),

lrlearning_rate):

随机梯度下降优化器。

torch.optim.Adam(model.parameters(),

lrlearning_rate):

所有神经网络模型的基类需要继承这个类。

model.forward(input_tensor):

数据处理相关

数据集的基类需要自定义数据集时使用。

torch.utils.data.DataLoader(dataset,

batch_size,

torch.optim优化算法模块提供了各种优化器如随机梯度下降

(SGD)、Adam、RMSprop

weight_decay0)随机梯度下降优化器实现了带动量的随机梯度下降。

torch.optim.Adam(params,

lr0.001,

方法通常在深度学习中表现良好。

torch.optim.Adagrad(params,

lr0.01,

优化器自适应地为参数分配学习率。

它根据参数的历史梯度信息对每个参数的学习率进行调整。

这意味着对于不同的参数Adagrad可以为其分配不同的学习率从而更好地适应参数的更新需求torch.optim.RMSprop(params,

lr0.01,

学习率下降较快的问题RMSprop对梯度平方项进行指数加权平均。

1.在优化算法中momentum动量是一种用于加速模型训练的技巧。

动量项的引入旨在解决标准随机梯度下降在训练过程中可能遇到的震荡和收敛速度慢的问题。

动量项的引入可以帮助优化算法在参数更新时更好地利用之前的更新方向从而在一定程度上减少参数更新的波动加快收敛速度并有助于跳出局部极小值。

具体来说动量项在参数更新时会考虑之前的更新方向并对当前的更新方向进行一定程度的调整。

PyTorch

总结来说动量项的引入可以提高随机梯度下降的稳定性和收敛速度有助于在训练神经网络时更快地找到较优的解。

在优化算法中weight

decay权重衰减是一种用于控制模型参数更新的正则化技术。

权重衰减通过在优化过程中对参数进行惩罚防止其取值过大从而有助于降低过拟合的风险。

具体来说在SGD中的weight_decay参数是对模型的权重进行L2正则化即在计算梯度时额外增加一个关于参数的惩罚项。

这个惩罚项会使得优化算法更倾向于选择较小的权重值从而降低模型的复杂度减少过拟合的风险。

在PyTorch中torch.optim.SGD中的weight_decay参数用于控制权重衰减的程度。

通常情况下weight_decay的取值为一个小的正数比如

0.001

0.0001。

设置了weight_decay之后在计算梯度时会额外考虑到权重的惩罚项从而影响参数的更新方式。

总结来说权重衰减是一种正则化技术通过对模型参数的惩罚来控制模型的复杂度减少过拟合的风险提高模型的泛化能力。

L1正则化L1正则化会给模型的损失函数添加一个关于权重绝对值的惩罚项即L1范数权重的绝对值之和。

在梯度下降过程中L1正则化会导致部分权重直接变为0因此可以实现稀疏性有特征选择的效果。

L1正则化倾向于产生稀疏的权重矩阵可以用于特征选择和降维。

L1正则化的惩罚项是模型权重的L1范数即权重的绝对值之和。

在优化过程中为了最小化损失函数并减少正则化项的影响优化算法会尝试将权重调整到较小的值。

由于L1正则化的几何形状在坐标轴上拐角处就会与坐标轴相交这就导致了在坐标轴上许多点都是对称的因此在这些点上的梯度不唯一。

这意味着在这些对称点上优化算法更有可能将权重调整为0从而导致稀疏性。

L2正则化L2正则化会给模型的损失函数添加一个关于权重平方的惩罚项即L2范数的平方权重的平方和。

在梯度下降过程中L2正则化会使得权重都变得比较小但不会直接导致稀疏性。

L2正则化对异常值比较敏感因为它会平方每个权重使得异常值对损失函数的影响更大。

总的来说L1正则化和L2正则化都是常用的正则化技术它们在模型训练过程中都有助于控制模型的复杂度减少过拟合的风险。

选择使用哪种正则化方法通常取决于具体的问题和数据特点以及对模型稀疏性的需求。

在实际应用中有时也会将L1和L2正则化结合起来形成弹性网络正则化Elastic

Net

算法中的两个超参数之一它控制了梯度的一阶矩估计和二阶矩估计的指数衰减率。

betas

(beta1,

算法能够在训练过程中自适应地调整学习率并对梯度的变化做出快速或缓慢的响应从而更有效地更新模型参数。

总之betas

torch.optim.lr_scheduler.LambdaLR(optimizer,

lr_lambda

调整学习率。

torch.optim.lr_scheduler.StepLR(optimizer,

step_size,

倍。

torch.optim.lr_scheduler.MultiStepLR(optimizer,

milestones,

后调用。

step(closure)用于执行单步优化器的更新需要传入一个闭包函数

load_state_dict()用于保存和加载优化器的状态字典方便恢复训练。