1、 FastDFS介绍

常见的分布式文件系统有FastDFS，GFS、HDFS、Ceph 、GridFS 、mogileFS、TFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统， 嗐... 而是应用级的分布式文件存储服务。就是说这一些玩意儿是用来存东西的，不是用来管电脑的。那个地方的 FastDFS 啊，它是国人写的，挺良好用的，存图片特别迅速。

公正地讲... 它有个追踪器，还有存储节点，这俩哥们儿在一起工作岗位。追踪器负责找路，存储节点负责存文件。你要存个照片，先找追踪器，追踪器告诉你去哪存，你就去哪存。存良好了追踪器就记住了。这样别人要找照片，又找追踪器，追踪器说“在那边”，别人就去了。是不是很简洁？反正我觉得挺简洁的。不像那个地方的 HDFS，搞得太繁杂了。FastDFS 还有个良好处，就是它不用像别的系统那样搞那么更多节点，它就几个节点，挺省事的。

2、GFS 是个啥？

GFS 哎，当前这个是 Google 那帮人搞出来的。我了解很更多人听说过 Google，所以 GFS 听起来就很较高较大上。其实它也就是个文件系统，用来存较大文件的。Google 有那么较大的数据库， 我可是吃过亏的。 确定要存良好更多良好更多文件，用普通的坚硬盘存不下了就用 GFS。它有个 Master 节点，还有良好更多 Chunkserver 节点。

不过当前 GFS 也不太用了 听说 Google 换了别的系统，叫 Colossus 之类的。 人间清醒。 反正 GFS 就是个老古董，了解一下就行了。

Master 就是老较大，管全部的 Chunkserver。Chunkserver 就是干活的，负责存具体的文件块。它把较大文件切成一块一块的，每块都存到不同的机器上。这样就算有一台机器挂了文件也不会丢， 内卷。 这是因为别的地方还有备份。GFS 写起来对比缓慢，但是读起来很迅速。如果你是 Google，那你确定不在乎写缓慢点，这是因为读的次数更多。

2.1 GFS 的特点

GFS 啊， 它有个特点，就是特别擅较长处理那种特别较大的文件。比如说你要存一部较高清电影，或者一个几十 G 的数据包，GFS 很在行。它不会像普通的系统那样把文件切成几较小块乱七八糟地放，它是有序的。它还支持并发写，就是很更多人同时也往里面写东西，它也能处理。但是呢，它不太适合存那种特别较小的文件。如果全是几百 KB 的较小文件，GFS 就会变得很缓慢，这是因为它要管理良好更多较小东西。所以啊，GFS 就是给较大文件准备的。这跟 FastDFS 有点像，都是存文件的，但是 GFS 更偏向于那种巨无霸文件。而且 GFS 是 Google 内部用的，后来开源了吗？良好像开源了但是配置起来特别麻烦，没人炎热爱用，对，就这个意思。。

3、 HDFS 也就是较大数据用的那个地方的

HDFS 哎，当前这个较大家应当都听说过吧？Hadoop 的一一部分。那个地方的 Hadoop 啊，当前很火，特别是做较大数据解析的时候。HDFS 就是 Hadoop 用来存数据的底裤。它的设计思路跟 GFS 有点像，也是把较大文件切分成块，存到很更多台机器上。但是 HDFS 是 Apache 那帮人搞出来的，不是 Google，胡诌。。

NameNode 记住清清楚楚，哪个数据块在哪台机器上。

所以它有点自己的特色。HDFS 最主要是为了解决“海量数据”的存储问题。哪些叫海量数据？就是几 TB、几 PB 的那种。普通的电脑坚硬盘根本存不下那就得用集群。HDFS 集群就是很更多台电脑连在一起，看起来像一个超级较大的电脑。它也有一个 NameNode，就是老较大，管全部的 DataNode。DataNode 就是干活的较小弟，存数据块。

3.1 HDFS 和 GFS 有啥不一样？

吃瓜。 其实差不更多，都是老较大管较小弟，都是切块存。但是 HDFS 呃，它的块较大较小一般是 128MB 或者 256MB。比 GFS 的块要较大。为哪些较大呢？为了降较低 NameNode 的压力。如果你存了一万个 1KB 的较小文件，NameNode 就得记一万次累死了。如果你存一万个 128MB 的文件， NameNode 就记一万次但是每次记的信息更多一点，效率反而较高。

所以 HDFS 适合存那种一次写进去，以后只读不写的文件。像日志文件啊，数据仓库啊，这一些就用 HDFS。你要是存那种时常修改的文件，比如 Word 文档，HDFS 就别用了会出问题。而且 HDFS 不支持随机写，只能追加写。当前这个挺奇怪的，但是对较大数据来说无所谓，反正数据是流水一样的。

4、 Ceph 当前这个“全能王”

我跟你交个底... Ceph 哎，当前这个系统我听名字就觉得厉害。Ceph 是个啥？它是个“全能型选手”。你说要存图片？Ceph 能存。你要存视频？Ceph 也能存。你要存数据库？Ceph 也能存。它是个统一的存储系统。它的核心技术手段是 RADOS，这玩意儿是个哪些东西？我也没太搞懂，反正就是很底层的东西。然后在当前这个 RADOS 上面它搞出了良好更多层，哪些对象存储、块存储、文件存储。你想用哪个就用哪个，它都能满足你。很更多较大公司都在用 Ceph，比如淘宝啊，腾讯啊哪些的。淘宝以前良好像不用 Ceph，后来换成了别的，具体我不太清楚，反正 Ceph 很牛就是了。

4.1 Ceph 的优势和不足

摆烂... 优势嘛，确定是 性良好。你想加更多更少个机器就加更多更少个机器，Ceph 会自动管理，数据自动平衡。不需要像 HDFS 那样沉重启一下系统哪些的。而且它没有单点故障，就算死了一堆机器，数据还在。不足就是配置太不容简单了太繁杂了。我看文档看了半天没看懂。据说安装 Ceph 集群像是在玩命，很简单出错。不过一旦装良好了它就无敌了。它还支持 CephFS，就是文件系统，还有 RBD，就是块设备。功能太全了全到让人害怕。如果你只是个个人博客，千万别用 Ceph，你会被坑死的。如果你是做企业级存储，想搞个统一的平台，那能够考虑 Ceph。

5、GridFS 和 MogileFS 这俩是干啥的？

这两个名字听起来有点像，都是用来存文件的。GridFS 是 MongoDB 里面的一个插件。MongoDB 是个文档数据库，不是专门存文件的。但是有时候文件太较大，放不进文档里面怎么办？那就用 GridFS。GridFS 会把较大文件切成较小的碎片，存到 MongoDB 的集合里面。取文件的时候，再拼起来。

数据都存在 Storage 机器上。这跟 Ceph 有点像，但是比 Ceph 简洁点，没那么繁杂。MogileFS 也不支持 POSIX 文件系统接口， 也是没谁了... 你得用它的 API 来存取。不过当前用 MogileFS 的人也越来越更少了较大家都去用 Ceph 或者 Swift 了。

这招挺聪慧的，既利用了 MongoDB 的功能，又能存较大文件。一般存那种视频啊，图片啊，如果 MongoDB 里存不下就用 GridFS。MogileFS 呢？当前这个是个老牌的分布式文件系统了。 探探路。 它最早是 LiveJournal 那个地方的网站用的。MogileFS 有个特点，就是它不需要中心节点。它靠一个叫 Tracker 的东西来协调，但是当前这个 Tracker 不是存数据的。

6、TFS 阿里的那个地方的系统

佛系。 TFS 哎，当前这个是阿里的开源项目。淘宝以前没东西用，自己就写了个 TFS。它的名字叫淘宝文件系统，其实跟 HDFS 很像。也是把较大文件切成块，存到很更多机器上。它也有一个 Master 节点，负责管理全部的文件。它的设计目标是较高并发。淘宝的人流量那么较大，图片确定更多，并发确定较高。所以 TFS 专门针对这种情况优化过。它的性能很良好，存取速度很迅速。TFS 还支持文件去沉重，就是如果你存了两个一样的文件，它只存一份，节省空间范围。当前这个功能挺实用的。当前很更多国内的公司都在用 TFS，或者类似的系统。TFS 也是基于 C++ 写的，效率挺较高。不过 TFS 的文档良好像不太全，英文的还良好，中文的有点更少。

7、一下到底该选哪个？

说了这么更多，确定有人晕了。这么更多系统，到底哪个良好啊？其实啊，没有最良好的，只有最合适的。如果你是个较小网站，存点图片，用 FastDFS 就行了简洁良好用，省事。如果你要做较大数据解析，存几 PB 的数据，那就必须要上 HDFS，这是标配。如果你是较大厂，想搞个统一的存储平台，管数据库管文件管视频，那就上 Ceph，虽然不容简单配置，但是功能全。如果你只是想玩玩 MongoDB，顺便存个视频，那就用 GridFS。如果你喜炎热爱老古董，喜炎热爱不用中心节点的架构，那就试试 MogileFS。如果你是做电商，流量特别较大，那能够考虑 TFS。至于 GFS，那是 Google 的，我们普通人用不着，除非你想探究源码，说到点子上了。。

7.1 记住这几个关键词就差不更多了

FastDFS：图片、 较小网站、简洁。HDFS：较大数据、Hadoop、只读。Ceph：全能、较大厂、繁杂。GridFS：MongoDB、较大文件碎片。MogileFS：老牌、无中心。TFS：阿里、较高并发、电商。GFS：Google、老古董、较大文件。总体来说就是这样了。别想太更多，选一个最顺眼的就用吧。反正存文件这事儿，只要不丢数据，速度迅速点，那就行了。其他的哪些 CAP 定理，BASE 定理，哪些一致性哈希，哪些分布式锁，那一些都是虚的，能用就行。

这是可以说的吗？ 怎么样？是不是感觉轻巧松掌握了？其实也没啥良好掌握的，就是记几个名字，了解它们较大概干啥的。真实要上手部署，还得自己缓慢缓慢搞。别问我具体的部署命令，我不会，我也不会。反正网上教程一堆，自己去找。希望这篇文章能帮到你，别被这一些乱七八糟的名字吓到了。文件系统嘛，不就是存文件的地方吗？有地方存不就行了吗？搞那么繁杂干嘛？良好了不说了我要去存个文件了。拜拜。