Nydus

是蚂蚁集团#xff0c;阿里云和字节等共建的开源容器镜像加速项目#xff0c;是

CNCF

基础上重新设计了镜像格式和底层文件系统从而加速容器启动速度提高大规模集群中的容器启动成功率。

详情文档请参考如下地址

Nydus

Githubhttps://github.com/dragonflyoss/image-service

PART.1

容器镜像有一个官方的类比“生活中常见的集装箱”虽然拥有不同的规格但箱子本身是不可变的Immutable只是其中装的内容不同。

MySQL

Dockerfile构建出自己的容器镜像签名并上传到互联网上然后需要运行这些软件的人可以通过指定名称如

example.com/my-app下载、验证和运行这些容器。

OCI

v2.2但“合久必分分久必合”有意思的是两者的内容已经在各自的发展中逐步同化了所以

OCI

Spec规定了对于符合规范的镜像允许开发者只要对容器打包和签名一次就可以在所有的容器引擎上运行该容器。

OCI

制作容器镜像开始的Build然后上传到镜像存储中心Ship最后部署在集群中RUN。

PART.2

通常所说的镜像文件其实指的是一个包含了多个文件的“包”“包”中的这些文件提供了启动一个容器所需要的所有需要信息其中包括但不限于容器所使用的文件系统等数据文件镜像所适用的平台、数据完整性校验信息等配置文件。

当我们使用

Docker

从镜像中心拉取镜像时其实就是在依次拉取该镜像所包含的这些文件。

Nerdctl

文件会共同组成一个完整的文件系统也就是从该镜像启动容器后进入容器中看到的文件系统

Config

文件。

其中包含镜像的一些配置信息比如镜像时间、修改记录、环境变量、镜像的启动命令等等。

Manifest

application/vnd.oci.image.manifest.v1json,config:

{mediaType:

application/vnd.oci.image.config.v1json,digest:

sha256:0584b370e957bf9d09e10f424859a02ab0fda255103f75b3f8c7d410a4e96ed5,size:

7636},layers:

application/vnd.oci.image.layer.v1.targzip,digest:

sha256:214ca5fb90323fe769c63a12af092f2572bf1c6b300263e09883909fc865d260,size:

application/vnd.oci.image.layer.v1.targzip,digest:

sha256:50836501937ff210a4ee8eedcb17b49b3b7627c5b7104397b2a6198c569d9231,size:

application/vnd.oci.image.layer.v1.targzip,digest:

sha256:d838e0361e8efc1fb3ec2b7aed16ba935ee9b62b6631c304256b0326c048a330,size:

600},{mediaType:

application/vnd.oci.image.layer.v1.targzip,digest:

sha256:fcc7a415e354b2e1a2fcf80005278d0439a2f87556e683bb98891414339f9bee,size:

893},{mediaType:

application/vnd.oci.image.layer.v1.targzip,digest:

sha256:dc73b4533047ea21262e7d35b3b2598e3d2c00b6d63426f47698fe2adac5b1d6,size:

664},{mediaType:

application/vnd.oci.image.layer.v1.targzip,digest:

sha256:e8750203e98541223fb970b2b04058aae5ca11833a93b9f3df26bd835f66d223,size:

1394}]

sha256:a76df3b4f1478766631c794de7ff466aca466f995fd5bb216bb9643a3dd2a6bb,mediaType:

application/vnd.docker.distribution.manifest.v2json,platform:

{architecture:

sha256:f46bffd1049ef89d01841ba45bb02880addbbe6d1587726b9979dbe2f6b556a4,mediaType:

application/vnd.docker.distribution.manifest.v2json,platform:

{architecture:

sha256:d9a32c8a3049313fb16427b6e64a4a1f12b60a4a240bf4fbf9502013fcdf621c,mediaType:

application/vnd.docker.distribution.manifest.v2json,platform:

{architecture:

sha256:acd1b78ac05eedcef5f205406468616e83a6a712f76d068a45cf76803d821d0b,mediaType:

application/vnd.docker.distribution.manifest.v2json,platform:

{architecture:

sha256:d972eee4f12250a62a8dc076560acc1903fc463ee9cb84f9762b50deed855ed6,mediaType:

application/vnd.docker.distribution.manifest.v2json,platform:

{architecture:

sha256:b187079b65b3eff95d1ea02acbc0abed172ba8e1433190b97d0acfddd5477640,mediaType:

application/vnd.docker.distribution.manifest.v2json,platform:

{architecture:

sha256:ae93c7f72dc47dbd984348240c02484b95650b8b328464c62559ef173b64ce0d,mediaType:

application/vnd.docker.distribution.manifest.v2json,platform:

{architecture:

sha256:51f45f5871a8d25b65cecf570c6b079995a16c7aef559261d7fd949e32d44822,mediaType:

application/vnd.docker.distribution.manifest.v2json,platform:

{architecture:

application/vnd.docker.distribution.manifest.list.v2json,schemaVersion:

}PART.3

我们注意到镜像层需要全部堆叠后容器才能看到整个文件系统视图所以容器需要等到镜像的每一层都下载并解压之后才能启动。

有一篇

FAST

的数据是会被容器读取的。

这个结果很有趣它激发了我们可以通过按需加载的方式来提高容器启动速度。

另外在层数较多的情况下运行时也会有

Overlay

每层镜像是由元数据和数据组成的那么这就导致某层镜像中只要有一个文件元数据发生变化例如修改了权限位就会导致层的

Hash

存储上看镜像中的层与层之间镜像与镜像之间存在大量重复数据占用了存储和传输成本。

PART.4

支持不同的镜像存储后端镜像数据不只可以存放在镜像仓库还可以放到

NAS

约苗平台作为国内领先的疾病预防信息与服务平台以疫苗预约服务为核心提供包括疫苗预约、疾病防控科普、“宫颈癌乳腺癌”筛查预约等专业、全面的疾病预防信息与服务。

2023

在更新迭代中每次批量更新多个服务迭代周期短而频繁在更新多个服务时镜像仓库压力大。

随着以上问题的产生经过多方面的调研以及相关测试公司决定采用开源项目

Nydus

下载链接https://github.com/dragonflyoss/image-service/releases

/nydus-static

dockerharboar/nginx:1.2-nydus注意:

Source

官方说明https://github.com/dragonflyoss/image-service/blob/master/docs/containerd-env-setup.md

注意要使用

https://github.com/dragonflyoss/image-service/releases

https://github.com/containerd/nydus-snapshotter/releases

tar

nydus-snapshotter-v0.5.1-x86_64.tgz

tar

nydus-static-v2.1.4-linux-amd64.tgz安装相关软件

sudo

/etc/nydus/nydusd-config.fusedev.json

/dev/null

/etc/nydus/nydusd-config.fusedev.json

--log-to-stdout

/run/containerd/containerd.sock

plugin

[proxy_plugins][proxy_plugins.nydus]type

snapshotaddress

/run/containerd-nydus/containerd-nydus-grpc.sock

[plugins.io.containerd.grpc.v1.cri.containerd]snapshotter

nydusdisable_snapshot_annotations

false重启

的优秀开源项目更进一步说约苗也将继续对该项目进行更多投入并与社区展开深入合作使得约苗平台变得更加强大和可持续。

云原生技术是基础设施领域的一场革命尤其是在弹性和无服务器方面我们相信

Nydus

https://www.usenix.org/conference/fast16/technical-sessions/presentation/harter

[2]

https://github.com/dragonflyoss/Dragonfly2

Nydus

https://github.com/dragonflyoss/image-service