一、GlusterFS分布式存储概述

是一个开源的分布式文件系统由存储服务器、客户端以及NFS/Samba

存储网关可选根据需要选择使用组成没有元数据服务器组件这有助于提升整个系统的性能、可靠性和稳定性

MFS传统的分布式文件系统大多通过元服务器来存储元数据元数据包含存储节点上的结构等。

这样的设计在浏览目录时效率高但是也存在一些缺陷例如单点故障。

一旦元数据服务器出现故障即使节点具备再高的冗余性整个存储系统也将崩溃。

而

GlusterFS

分布式文件系统是基于无元服务器的设计数据横向扩展能力强具备较高的可靠性及存储效率

GlusterFS同时也是Scale-Out横向扩展存储解决方案Gluster的核心在存储数据方面具有强大的横向扩展能力通过扩展能够支持数PB存储容量和处理数千客户端GlusterFS支持借助TCP/IP或InfiniBandRDMA网络一种支持多并发链接的技术具有高带宽、低时延、高扩展性的特点将物理分散分布的存储资源汇聚在一起统一提供存储服务并使用统一全局命名空间来管理数据

2、GFS特点

1Scale-Out架构允许通过简单地增加存储节点的方式来提高存储容量和性能磁盘、计算和I/O资源都可以独立增加支持10GbE和

InfiniBand等高速网络互联

2Gluster弹性哈希ElasticHash解决了GlusterFS对元数据服务器的依赖改善了单点故障和性能瓶颈真正实现了并行化数据访问。

GlusterFS采用弹性哈希算法在存储池中可以智能地定位任意数据分片将数据分片存储在不同节点上不需要查看索引或者向元数据服务器查询

GlusterFS可以对文件进行自动复制如镜像或多次复制从而确保数据总是可以访问甚至是在硬件故障的情况下也能正常访问

当数据出现不一致时自我修复功能能够把数据恢复到正确的状态数据的修复是以增量的方式在后台执行几乎不会产生性能负载

GlusterFS可以支持所有的存储因为它没有设计自己的私有数据文件格式而是采用操作系统中主流标准的磁盘文件系统如EXT3、XFS等来存储文件因此数据可以使用传统访问磁盘的方式被访问

全局统一命名空间

分布式存储中将所有节点的命名空间整合为统一命名空间将整个系统的所有节点的存储容量组成一个大的虚拟存储池供前端主机访问这些节点完成数据读写操作

弹性卷管理

GlusterFS通过将数据储存在逻辑卷中逻辑卷从逻辑存储池进行独立逻辑划分而得到

逻辑存储池可以在线进行增加和移除不会导致业务中断。

逻辑卷可以根据需求在线增长和缩减并可以在多个节点中实现负载均衡

文件系统配置也可以实时在线进行更改并应用从而可以适应工作负载条件变化或在线性能调优

基于标准协议

指可信主机池中由主机提供的用于物理存储的专用分区是GlusterFS中的基本存储单元同时也是可信存储池中服务器上对外提供的存储的格式由服务器和目录的绝对路径构成表示方法为

SERVER:EXPORT如

是一个内核模块允许用户创建自己的文件系统无须修改内核代码是伪文件系统。

GlusterFS

是一个抽象层它允许操作系统和应用程序以统一的方式访问不同类型的文件系统包括本地文件系统和网络文件系统

VFS

中扮演了连接本地操作系统和远程分布式存储的桥梁作用为用户提供了统一的文件系统接口使得远程存储可以像本地文件系统一样被访问和操作

Glusterd后台管理进程

管理卷的创建、删除和修改等操作确保卷的配置信息得到正确地分发到整个存储集群中的各个节点上

③监控和自愈glusterd

监视存储节点的状态并在需要时触发数据自愈过程以保证数据的完整性

④服务发现glusterd

存储集群中的关键组件通过管理守护进程的方式实现了对存储集群的管理、配置、监控和自愈等功能从而确保整个存储系统的稳定性和可靠性

4、GFS架构

采用模块化、堆栈式的架构这种架构使得不同的功能和服务能够以独立的模块形式存在并且可以按需堆叠在一起以构建出符合特定需求的存储解决方案

Replicate

API应用程序编程接口模块化每个模块可以提供不同的功能堆栈式同时启用多个模块多个功能可以组合实现复杂的功能

②然后以请求的方式与客户端进行交互客户端与服务端进行交互由于可能会存在系统兼容问题需要通过posix来解决系统兼容性问题让客户端的命令通过posix过滤后可以在服务端执行

I/O

ahead内核文件预读distribute/stripe分布式、条带化Gige千兆网/千兆接口TCP/IP网络协议InfiniBand网络协议与TCP/IP相比TCP/IP具有转发丢失数据包的特性基于此通信协议可能导致通信变慢而IB使用基于信任的、流控制的机制来保证连接完整性RDMA负责数据传输有一种数据传输协议功能为了解决传输过程中客户端与服务器端数据处理的延迟

5、GFS工作流程

支持七种卷即分布式卷、条带卷、复制卷、分布式条带卷、分布式复制卷、条带复制卷、分布式条带复制卷

6.1、

Brick其实只是扩大了磁盘空间如果有一块磁盘损坏数据也将丢失属于文件级的

RAID0

由于直接使用本地文件系统进行文件存储所以存取效率并没有提高反而会因为网络通信的原因而有所降低

#示例原理

文件分布在不同的服务器不具备冗余性更容易和廉价地扩展卷的大小单点故障会造成数据丢失依赖底层的数据保护

6.2、条带卷Striped

数据被分割成更小块分布到块服务器群中的不同条带区分布减少了负载且更小的文件加速了存取的速度没有数据冗余

6.3、复制卷Replicated

复制卷具备冗余性即使一个节点损坏也不影响数据的正常使用。

但因为要保存副本所以磁盘利用率较低

#示例原理

卷中所有的服务器均保存一个完整的副本卷的副本数量可由客户创建的时候决定但复制数必须等于卷中

Brick

数量的倍数兼具分布式卷和条带卷的特点可以实现数据的横向扩展和高性能读写

创建一个分布式条带卷最少需要

上从而提高了读写性能横向扩展适合大规模存储需求可以动态地添加更多的

Brick

来实现存储容量的扩展并行访问允许多个客户端并行地读取和写入数据提高了系统的整体性能适用场景适合需要高性能读写的场景尤其是对大文件进行频繁读写的应用

Replicated

数量是镜像数数据副本数量的倍数兼具分布式卷和复制卷的特点既具备横向扩展能力又提供了数据冗余。

#示例原理

系统自动管理无需用户干预适用场景适合对数据可靠性要求较高的场景如企业级存储、备份等应用

最主要了解以上五个卷类型分布式卷、条带卷、复制卷、分布式条带卷、条带复制卷

6.6、条带复制卷Stripe

10同时具有条带卷和复制卷的特点提供了更好的性能因为数据可以并行读取。

提高了数据的冗余和可靠性即使有

Brick

上复制。

提高了数据的读取性能和可靠性因为数据块可以并行读取并且即使某个

Brick

工具clientCentOS7172.16.88.22glusterfs-3.10.2node1CentOS7172.16.88.33glusterfs-3.10.2node2CentOS7172.16.88.44glusterfs-3.10.2node3CentOS7172.16.88.55glusterfs-3.10.2node4CentOS7172.16.88.66glusterfs-3.10.2

[rootlocalhost

四台GFS节点服务器每台都需要添加四块磁盘仅做实验无需给太大空间。

每台节点服务器添加完四块磁盘后都需要重启服务器才会显示添加的磁盘准备开始部署

lsblk

/opt/2在这四个节点服务器上都添加脚本的执行权限并执行脚本来进行磁盘分区并挂载

chmod

所有节点服务器都需要安装glusterfs-3.10.2并启动

1将事先准备好的gfsrepo软件上传到所有节点服务器的/opt目录下并解压

/opt

这里为方便所有节点服务器就直接使用脚本一键安装了不行就自己手动安装

vim

glusterfs-client-xlators.x86_64

/dev/null

3查看所有节点服务器的glusterd服务状态是否安装并启动成功

2.3、添加节点到存储信任池中

卷名称卷类型Brickdis-volume分布式卷node1(/data/sdb1),

node2(/data/sdb1)stripe-volume条带卷node1(/data/sdc1),

node2(/data/sdc1)rep-volume复制卷node3(/data/sdb1),

node4(/data/sdb1)dis-stripe分布式条带卷node1(/data/sdd1),

node2(/data/sdd1),

node4(/data/sdd1)dis-rep分布式复制卷node1(/data/sde1),

node2(/data/sde1),

1将事先准备好的gfsrepo软件上传到客户端的/opt目录下并解压

[rootclient

glusterfs-client-xlators.x86_64

/dev/null

/test/{dis,stripe,rep,dis_stripe,dis_rep}

[rootclient

#每个数据文件被分布式随机存放在node1或node2节点服务器中

[rootnode1

#每个数据文件被分块成一半其中20M存放在node1、20M存放在node2

[rootnode1

#每个数据文件都被备份了一份总共两份分别存放在node3和node4

[rootnode3

#每个数据文件被分块成一半然后每办块被随机存放在任意node节点中

[rootnode1

#每个数据文件都被备份了一份总共两份分别存放在任意四个node节点服务器中

[rootnode1