//zh.d2l.ai/

代码地址d2l-zh/pytorch/chapter_preliminaries

2.1

如果只想知道张量中元素的总数即形状的所有元素乘积可以检查它的大小size。

因为这里在处理的是一个向量所以它的shape与它的size相同。

torch.arange(12)

12我们也可以把多个张量连结concatenate在一起把它们端对端地叠起来形成一个更大的张量。

我们只需要提供张量列表并给出沿哪个轴连结。

和按列**轴-1形状的第二个元素**连结两个矩阵时会发生什么情况。

我们可以看到第一个输出张量的轴-0长度6是两个输入张量轴-0长度的总和33第二个输出张量的轴-1长度8是两个输入张量轴-1长度的总和44。

torch.arange(12,

dtypetorch.float32).reshape((3,4))

torch.tensor([[2.0,

在上面的部分中我们看到了如何在相同形状的两个张量上执行按元素操作。

在某些情况下即使形状不同我们仍然可以通过调用广播机制broadcasting

通过适当复制元素来扩展一个或两个数组以便在转换之后两个张量具有相同的形状对生成的数组执行按元素操作。

1))

我们将两个矩阵广播为一个更大的矩阵如下所示矩阵a将复制列矩阵b将复制行然后再按元素相加。

tensor([[0,

在下面的例子中我们用Python的id()函数演示了这一点它给我们提供了内存中引用对象的确切地址。

运行Y

before

首先我们不想总是不必要地分配内存。

在机器学习中我们可能有数百兆的参数并且在一秒内多次更新所有参数。

通常情况下我们希望原地执行这些更新如果我们不原地更新其他引用仍然会指向旧的内存位置这样我们的某些代码可能会无意中引用旧的参数。

我们可以使用切片表示法将操作的结果分配给先前分配的数组例如Y[:]

为了说明这一点我们首先创建一个新的矩阵Z其形状与另一个Y相同使用zeros_like来分配一个全的块。

torch.zeros_like(Y)

139931132035296如果在后续计算中没有重复使用X我们也可以使用X[:]

Y或X

将深度学习框架定义的张量转换为NumPy张量ndarray很容易反之也同样容易。

torch张量和numpy数组将共享它们的底层内存就地操作更改一个张量也会同时更改另一个张量。

X.numpy()

torch.Tensor)要将大小为1的张量转换为Python标量我们可以调用item函数或Python的内置函数。

torch.tensor([3.5])

对于inputs中的类别值或离散值我们将“NaN”视为一个类别。

由于“巷子类型”“Alley”列只接受两种类型的类别值“Pave”和“NaN”pandas可以自动将此列转换为两列“Alley_Pave”和“Alley_nan”。

巷子类型为“Pave”的行会将“Alley_Pave”的值设置为1“Alley_nan”的值设置为0。

缺少巷子类型的行会将“Alley_Pave”和“Alley_nan”分别设置为0和1。

NumRooms

然而虽然这些更奇特的对象确实出现在高级机器学习中包括深度学习中但当调用向量的反向计算时我们通常会试图计算一批训练样本中每个组成部分的损失函数的导数。

这里我们的目的不是计算微分矩阵而是单独计算批量中每个样本的偏导数之和。

对非标量调用backward需要传入一个gradient参数该参数指定微分函数关于self的梯度。

x.grad.zero_()

等价于y.backward(torch.ones(len(x)))

y.sum().backward()

例如假设y是作为x的函数计算的而z则是作为y和x的函数计算的。

想象一下我们想计算z关于x的梯度但由于某种原因希望将y视为一个常数并且只考虑到x在y被计算后发挥的作用。

这里可以分离y来返回一个新变量u该变量与y具有相同的值但丢弃计算图中如何计算y的任何信息。

因此下面的反向传播函数计算zu*x关于x的偏导数同时将u作为常数处理而不是zx*x*x关于x的偏导数。

x.grad.zero_()

为了能进行事件概率求和我们需要求和法则即B的概率相当于计算A的所有可能选择并将所有选择的联合概率聚合在一起

P(B)A∑​P(A,B)

这也称为边际化。

边际化结果的概率或分布称为边际概率marginal

END