。

虽然求导的计算很简单#xff0c;只需要⼀些基本的微积分。

但对于复杂的模型#xff0c;⼿⼯进⾏更新是⼀件很…

【深度学习】——

求导是⼏乎所有深度学习优化算法的关键步骤。

虽然求导的计算很简单只需要⼀些基本的微积分。

但对于复杂的模型⼿⼯进⾏更新是⼀件很痛苦的事情⽽且经常容易出错。

深度学习框架通过⾃动计算导数即⾃动微分automatic

differentiation来加快求导。

实际中根据我们设计的模型系统会构建⼀个计算图computational

graph来跟踪计算是哪些数据通过哪些操作组合起来产⽣输出。

⾃动微分使系统能够随后反向传播梯度。

这⾥反向传播backpropagate意味着跟踪整个计算图填充关于每个参数的偏导数。

作为一个演示例子假设我们想对函数

的梯度之前我们需要一个地方来存储梯度。

重要的是我们不会在每次对一个参数求导时都分配新的内存。

因为我们经常会成千上万次地更新相同的参数每次都分配新的内存可能很快就会将内存耗尽。

注意一个标量函数关于向量

\mathbf{x}

tensor([[True],[True],[True],[True]])现在让我们计算

\mathbf{x}

tensor([[1.],[1.],[1.],[1.]])非标量变量的反向传播

\mathbf{y}

然而虽然这些更奇特的对象确实出现在高级机器学习中包括深度学习中但当我们调用向量的反向计算时我们通常会试图计算一批训练样本中每个组成部分的损失函数的导数。

在这里我们的目的不是计算微分矩阵而是单独计算批量中每个样本的偏导数之和。

对非标量调用

控制流例如条件、循环或任意函数调用我们仍然可以计算得到的变量的梯度。

在下面的代码中while

def

深度学习框架可以⾃动计算导数我们⾸先将梯度附加到想要对其计算偏导数的变量上。

然后我们记录⽬标值的计算执⾏它的反向传播函数并访问得到的梯度。