Facebook

的人工智能研究团队开发#xff0c;并得到了许多研究机构和企业的支持。

PyTorch

以其易用性、灵活性和强大的社区支持而受到欢迎。

一些特点如下#xff1a;

动态…PyTorch

是一个开源的机器学习库广泛用于计算机视觉和自然语言处理等应用。

它由

Facebook

的人工智能研究团队开发并得到了许多研究机构和企业的支持。

PyTorch

动态计算图Dynamic

使用动态计算图这意味着图在运行时构建允许更直观和灵活的模型设计。

这与传统的静态图框架如

TensorFlow

提供了自动微分功能可以自动计算梯度这对于训练深度学习模型至关重要。

提供了大量的预定义层、优化器和损失函数使得模型的构建和训练变得简单。

多GPU支持PyTorch

是一个包含多种函数的模块这些函数提供了不包含可学习参数的层的实现。

这意味着与

torch.nn.Module

中的函数不跟踪梯度或在训练过程中更新参数。

这些函数通常用于执行各种操作如卷积、池化、激活函数、损失函数等。

常用函数

一维卷积函数。

torch.nn.functional.conv2d:

二维卷积函数。

torch.nn.functional.conv3d:

三维卷积函数。

torch.nn.functional.conv_transpose1d,

torch.nn.functional.conv_transpose2d,

torch.nn.functional.conv_transpose3d:

池化函数

torch.nn.functional.avg_pool1d,

torch.nn.functional.avg_pool2d,

torch.nn.functional.avg_pool3d:

平均池化函数。

torch.nn.functional.max_pool1d,

torch.nn.functional.max_pool2d,

torch.nn.functional.max_pool3d:

最大池化函数。

torch.nn.functional.adaptive_max_pool1d,

torch.nn.functional.adaptive_max_pool2d:

自适应最大池化函数。

torch.nn.functional.adaptive_avg_pool1d,

torch.nn.functional.adaptive_avg_pool2d:

非线性激活函数

修正线性单元ReLU激活函数。

torch.nn.functional.sigmoid:

Sigmoid

torch.nn.functional.batch_norm:

线性函数

torch.nn.functional.pairwise_distance:

损失函数

torch.nn.functional.cross_entropy:

交叉熵损失函数。

torch.nn.functional.binary_cross_entropy:

二进制交叉熵损失函数。

torch.nn.functional.nll_loss:

视觉函数

torch.nn.functional.pixel_shuffle:

用于将张量重新排列以增加空间分辨率的函数。

torch.nn.functional.pad:

使用示例

池化Pooling是卷积神经网络CNN中常用的一种技术它用于降低特征的空间维度高和宽

同时保留最重要的信息。

池化操作通常在卷积层之后应用可以减少模型的参数数量和计算量

pooled

kernel_size2)print(pooled.shape)

F.relu

F.relu(input)print(activated.shape)

假设我们有一些预测和目标标签

running_vartorch.ones(10))print(output.shape)

函数示例

GitHub地址https://github.com/pytorch/pytorch/blob/main/torch/nn/functional.py