我一直是这样以为的pytorch的底层实现是c(这一点没有问题见下边的pytorch结构图),然后这个部分顺理成章的被命名为torch,并提供c接口,我们在python中常用的是带有python接口的所以被称为pytorch。

昨天无意中看到Torch是由lua语言写的这让我十分震惊完全颠覆了我的想象。

所以今天准备查找并记录一下pytorch的发展历史与其他框架的联系。

当然以下列举的部分难以面面俱到如果您知道哪些有意思的相关知识请在评论区评论。

pytorch结构图

https://golden.com/wiki/PyTorch-NMGD4Y4如果你想了解有关PyTorch

发展历史

如果您想了解pytorch的技术新闻可点击pytorch的官方博客。

2016年10月PyTorch开始作为Adam

Torch

是一个Facebook的开源机器学习库、一个科学计算框架和一种基于

Lua

编程语言的脚本语言。

它于2002年10月首次发布。

Torch的开发于2017年转移到PyTorch。

AB是由美国MathWorks公司出品的一种用于算法开发、数据分析以及数值计算的高级技术计算语言和交互式环境。

OpenNN开发于2003年在国际工程数值方法中心的名为RAMFLOOD的项目中是一个使用C编写的开源类库。

OpenNN的主要优点是其高性能。

该库在执行速度和内存分配方面非常出色。

它不断优化和并行化以最大限度地提高其效率。

并且Torch的论文中也提到了MatlabTorch7:

Matlab-like

Caffehttps://github.com/BVLC/caffe是以C/CUDA代码为主的深度学习框架需要进行编译安装支持命令行、Python和MATLAB接口、单机多卡、多机多卡使用。

Caffe的全称是Convolutional

architecture

Caffe是一款知名的深度学习框架由加州大学伯克利分校的贾扬清博士于2013年在Github上发布。

Caffe2018

2022

PyTorch。

并且在pytorch的开源项目中可以看到名为caffe2的文件夹。

Caffe

遵循了神经网络的一个简单假设——所有的计算都是以layer(如relu_layerhttps://github.com/BVLC/caffe/blob/2a1c552b66f026c7508d390b526f2495ed3be594/src/caffe/layers/relu_layer.cpp)的形式表示的layer做的事情就是处理一些数据然后输出一些计算以后的结果。

比如说卷积就是输入一个图像然后和这一层的参数filter做卷Captain

Jack积然后输出卷积的结果。

每一个layer需要做两个计算1Forward是从输入计算输出。

2Backward是从上面给的gradient来计算相对于输入的gradient。

只要这两个函数实现了以后我们就可以把很多层连接成一个网络这个网络做的事情就是输入我们的数据图像或者语音等然后来计算我们需要的输出比如说识别的label在training的时候我们可以根据已有的label来计算loss和gradient然后用gradient来update网络的参数这个就是Caffe的一个基本流程。

这是一个官方的caffee的例子https://github.com/BVLC/caffe/tree/master/examples/mnist

需要用我们熟悉并使用Google

求解器。

Caffe通过“blobs”即以4维数组的方式存储和传递数据。

Blobs提供了一个统一的内存接口用于批量图像或其它数据的操作参数或参数更新。

Models是以Google

Protocol

Buffers的方式存储在磁盘上。

大型数据存储在LevelDB数据库中。

Caffe保留所有的有向无环层图确保正确的进行前向传播和反向传播。

Caffe模型是终端到终端的机器学习系统。

一个典型的网络开始于数据层结束于loss层。

通过一个单一的开关使其网络运行在CPU或GPU上。

在CPU或GPU上层会产生相同的结果。

在使用上caffec的使用需要进行复杂的编译操作(相比后来的pytorch),所以在caffe流行的时期有时一个实验室中使用的caffe还是上一届的师兄安装的。

但是现在仍有许多论文使用caffee框架知乎上也有问题caffe停更这么多年为何现在还有一些论文开源代码还是使用caffe

这里引用一下Captain

定义来实现的。

没有太多额外的系统方向的代码项目结构清晰比如分布式、跨平台、通讯、动态dispatch等等。

和现在的框架比那就是最小可用产品。

历史占用率高。

改代码容易你改改

格式支持为准。

可能是最重要的熟悉了懒得学新的改改caffe又不是不能用。

Theano创新观点

Theanohttps://github.com/Theano/Theano是一个Python库和优化编译器的开源项目

用于操作和评估数学表达式尤其是矩阵值表达式。

其计算是使用NumPy语法表示并且编译后可在CPU/GPU架构上高效运行。

Theano多年来引入很多创新并已被其他框架采用和完善。

例如能够将模型表示为数学表达式重写计算图以获得更好的性能和内存使用在GPU上透明执行高阶自动微分都已成为主流思想。

Keras是一个由Python编写的开源人工神经网络库可以作为Tensorflow、Microsoft-CNTK和Theano的高阶应用程序接口。

深度学习软件比较https://en.wikipedia.org/wiki/Comparison_of_deep_learning_software

[源码解析]

https://www.cnblogs.com/rossiXYZ/p/15496268.html

https://alexmoltzau.medium.com/pytorch-governance-and-history-2e5889b79dc1

宣布成立

https://ai.meta.com/blog/pytorch-foundation/

LUA

https://zhuanlan.zhihu.com/p/380924980?utm_id0

https://en.wikipedia.org/wiki/Torch_(machine_learning)

如何评价

ttps://www.zhihu.com/question/35485591

完全在NumPy和CuPy

的基础上用Python编写因其采用边运行边定义方案以及在大型系统上的性

Theano实现了非常先进的优化技术来优化完整的计算图。

它将代数的各个方面与优化编译器的各个方面相结合。

图形的一部分可以编译成

语言代码。

对于重复计算评估速度至关重要Theano通过生成非常有效的代码来达到此目的。

https://www.tutorialspoint.com/theano/theano_computational_graph.htm

深度学习框架——自动求导

https://www.cnblogs.com/wolfling/p/14919024.html

大模型

一块GPU训练TB级推荐模型不是梦OneEmbedding性能一骑绝尘

深度学习利器之自动微分(1)