。

梯度下降的核心思想是通过迭代地调整参数#xff0c;沿着损失函数下降的方向前进#…梯度下降的基本概念

梯度下降Gradient

Descent是一种用于优化机器学习模型参数的算法其目的是最小化损失函数从而提高模型的预测精度。

梯度下降的核心思想是通过迭代地调整参数沿着损失函数下降的方向前进最终找到最优解。

想象你站在一个山谷中眼睛被蒙住只能用脚感受地面的坡度来找到山谷的最低点即损失函数的最小值。

你每一步都想朝着坡度下降最快的方向走直到你感觉不到坡度也就是你到了最低点。

这就好比在优化一个模型时通过不断调整参数使得模型的预测误差损失函数越来越小最终找到最佳参数组合。

批量梯度下降Batch

你决定每次移动之前都要先测量整个山谷的坡度然后再决定移动的方向和步幅。

虽然每一步的方向和步幅都很准确但每次都要花很多时间来测量整个山谷的坡度。

\theta

tf.keras.optimizers.SGD(learning_rate0.01)PyTorch

optimizer

torch.optim.SGD(model.parameters(),

import

从图像可知批量梯度下降每次使用整个训练集计算梯度并更新参数适用于小规模数据集收敛稳定但计算开销大。

随机梯度下降Stochastic

你决定每一步都只根据当前所在位置的坡度来移动。

虽然这样可以快速决定下一步怎么走但由于只考虑当前点可能会导致路径不稳定有时候会走过头。

\theta

中的API与批量梯度下降相同具体行为取决于数据的加载方式。

例如在训练时可以一批数据包含一个样本。

import

stochastic_gradient_descent(start,

learning_rate,

stochastic_gradient_descent(start,

learning_rate,

随机梯度下降每次使用一个样本计算梯度并更新参数计算效率高适用于大规模数据集但收敛不稳定容易出现抖动。

小批量梯度下降Mini-Batch

你决定每次移动之前只测量周围一小部分区域的坡度然后根据这小部分区域的平均坡度来决定方向和步幅。

这样既不需要花太多时间测量整个山谷也不会因为只看一个点而导致路径不稳定。

\theta

mini_batch_gradient_descent(start,

learning_rate,

mini_batch_gradient_descent(start,

learning_rate,

plt.show()小批量梯度下降每次使用一个小批量样本计算梯度并更新参数平衡了计算效率和稳定性。

动量法Momentum

你在移动时不仅考虑当前的坡度还考虑之前几步的移动方向就像带着惯性一样。

如果前几步一直往一个方向走那么你会倾向于继续往这个方向走减少来回震荡。

\beta

tf.keras.optimizers.SGD(learning_rate0.01,

momentum0.9)PyTorch

torch.optim.SGD(model.parameters(),

lr0.01,

momentum_gradient_descent(start,

learning_rate,

momentum_gradient_descent(start,

learning_rate,

plt.show()动量法通过引入动量项加速收敛并减少震荡适用于深度神经网络训练。

RMSProp

你在移动时会根据最近一段时间内每一步的坡度情况动态调整步幅。

比如当坡度变化剧烈时你会迈小步当坡度变化平缓时你会迈大步。

\beta

tf.keras.optimizers.RMSprop(learning_rate0.001)PyTorch

optimizer

torch.optim.RMSprop(model.parameters(),

import

rmsprop_gradient_descent(start,

learning_rate,

rmsprop_gradient_descent(start,

learning_rate,

RMSProp动态调整学习率通过对梯度平方的加权平均值进行调整适用于处理非平稳目标。

AdamAdaptive

你在移动时结合动量法和RMSProp的优点不仅考虑之前的移动方向动量还根据最近一段时间内的坡度变化情况调整步幅从而使移动更加平稳和高效。

\beta_1

tf.keras.optimizers.Adam(learning_rate0.001)PyTorch

optimizer

torch.optim.Adam(model.parameters(),

import

Adam结合动量法和RMSProp的优点自适应调整学习率适用于各种优化问题。

综合应用示例

假设我们在使用TensorFlow和PyTorch训练一个简单的神经网络以下是如何应用这些优化方法的示例代码。

TensorFlow

tf.keras.Sequential([tf.keras.layers.Dense(128,

activationrelu,

input_shape(784,)),tf.keras.layers.Dense(10,

activationsoftmax)

tf.keras.optimizers.Adam(learning_rate0.001)

model.compile(optimizeroptimizer,

losssparse_categorical_crossentropy,

metrics[accuracy])#

tf.keras.datasets.mnist.load_data()

x_train,

torch.optim.Adam(model.parameters(),

lr0.001)

transforms.Compose([transforms.ToTensor(),

(0.5,))])

imagesoptimizer.zero_grad()outputs

model(x_train)loss

y_train)loss.backward()optimizer.step()综合对比

GD收敛稳定适用于小规模数据集每次迭代计算开销大速度慢难以处理大规模数据容易陷入局部最优小规模数据集适合精确收敛随机梯度下降SGD计算效率高适用于大规模数据集路径不稳定波动较大收敛路径抖动大不稳定大规模数据集在线学习快速迭代小批量梯度下降Mini-Batch

GD平衡了计算效率和收敛稳定性需要选择合适的小批量大小计算量仍然较大小批量大小选择不当可能影响收敛效果大规模数据集适合批量计算动量法Momentum加速收敛减少震荡需要调整动量系数增加了参数选择的复杂性动量系数选择不当可能导致过冲深度神经网络训练加速收敛RMSProp动态调整学习率适应非平稳目标需要调整参数β和ε参数选择复杂参数选择不当可能影响收敛效果非平稳目标复杂优化问题Adam结合动量法和RMSProp优点自适应调整学习率收敛快需要调整多个参数计算复杂性高参数选择不当可能影响收敛效果各种优化问题特别是深度学习模型训练

更多问题咨询