Functio…1.

y(xw)*(w1)中x和w就是叶子结点【可以用计算图来清楚地表示该过程】)2.

创建张量:

torch.tensor(data,dtypeNone,deviceNone,requires_gradFalse,pin_memoryFalse

)2.1.2

用torch.from_numpy()创建的tensor与原始的ndarray共享内存修改其中一个另一个也会变。

创建方法

torch.zeros(*size,outNone,dtypeNone,layouttorch.strided,deviceFalse,requires_gradFalse

)2.2.2

torch.zeros_like(input,dtypeNone,layoutNone,deviceNone,requires_gradFalse

)2.2.3

torch.logspace(start,end,steps100,base10.0,outNone,dtypeNone,layouttorch.strided,deivceNone,requires_gradFalse

)2.2.8

torch.eye(n,mNone,outNone,dtypeNone,layouttorch.strided,deviceNone,requires_gradFalse

torch.zeros((3,3))

mean标量std标量mean标量std张量mean张量std标量mean张量std张量

torch.normal(mean,std,size,outNone

)2.3.2

张量形状outNone,dtypeNone,layouttorch.strided,deviceNone,requires_gradFalse

)2.3.3

张量形状outNone,dtypeNone,layouttorch.strided,deviceNone,requires_gradFalse

)2.3.4

torch.randint(low,high,size,outNone,dtypeNone,layouttorch.strided,deviceNone,requires_gradFalse

)2.3.5

张量长度torch.randperm(n,outNone,dtypetorch.int64,layouttorch.strided,deviceNone,requires_gradFalse

input

torch.bernoulli(input,*,generatorNone,outNone

)3.

对t进行拼接得到(2,2,3)会在dim0创建一个新维度print(t1

shape:

enumerate(list_of_tensors):print(order

{},

enumerate(list_of_tensors):print(order

{},

torch.masked_select(input,mask,

input

torch.tensor([0,2],dtypetorch.long)

t_select

5的元素ge()表示大于等于gt()表示大于le()表示小于等于lt()表示小于

t_select

torch.transpose(input,dim0,dim1

)4.3

dimNone则移除所有长度为1的轴若指定维度而且维度长度为1则可以移除该维度outNone

)4.5

torch.unsqueeze(input,dim,outNone

)##

(-1,2,2)那么-1表示的是不需要关心-1处的维度是多少根据后两个维度进行计算得到(比如这里就是

8/2/2

print(t_unsqueeze.shape)torch.Size([8])

torch.Size([2,

torch.addcmul(input,value1.tensor1,tensor2,outNone

)对数、指数、幂函数

计算图是用来描述运算的有向无环图包括两个主要元素节点和边。

节点表示数据比如

向量、矩阵、张量边表示运算比如

叶子结点指的是由用户创建的节点其他非叶子结点都是由叶子结点通过直接或间接的运算得到的。

之所以会有叶子结点的概念是因为梯度反向传播结束后只有叶子结点的梯度会被保留非叶子结点的梯度会被从内存中释放掉。

可以通过.is_leaf()方法查看是否为叶子结点。

在计算梯度之后用.retain_grad()方法保存非叶子结点的梯度。

grad_fn:

torch.autograd.backward(tensors,

)2.