二、redis主从复制

在web服务器中高可用是指服务器可以正常访问的时间衡量的标准是在多长时间内可以提供正常服务

2个999%一年内宕机时长1%×365天3.6524天87.6h

4个999.99%一年内宕机时长0.01%×365天52.56min

5个999.999%一年内宕机时长0.001%*365天5.265min

11个9几乎一年宕机时间只有几秒钟

在Redis中实现高可用的技术主要包括持久化、主从复制、哨兵和cluster集群

持久化

持久化是最简单的高可用方法有时甚至不被归为高可用的手段主要作用是数据备份即将数据存储在硬盘保证数据不会因进程退出而丢失

主从复制

主从复制是高可用Redis的基础哨兵和集群都是在主从复制基础上实现高可用的。

主从复制主要实现了数据的多机备份和同步以及对于读操作的负载均衡和简单的故障恢复

缺陷故障恢复无法自动化写操作无法负载均衡存储能力受到单机的限制

在主从复制的基础上哨兵实现了自动化的故障恢复。

主挂了找一个从成为新的主哨兵节点进行监控

Cluster集群

通过集群Redis解决了写操作无法负载均衡以及存储能力受到单机限制的问题实现了较为完善的高可用方案。

6台起步成双成对3主3从

二、redis主从复制

主从复制是指将一台Redis服务器的数据复制到其他的Redis服务器。

前者称为主节点Master后者称为从节点slave数据的复制是单向的只能由主节点到从节点。

默认情况下每台Redis服务器都是主节点且一个主节点可以有多个从节点或没有从节点但一个从节点只能有一个主节点。

数据冗余

当主节点出现问题时可以由从节点提供服务实现快速的故障恢复实际上是一种服务的冗余

负载均衡

在主从复制的基础上配合读写分离可以由主节点提供写服务由从节点提供读服务即写Redis数据时应用连接主节点读Redis数据时应用连接从节点分担服务器负载尤其是在写少读多的场景下通过多个从节点分担读负载可以大大提高Redis服务器的并发量

除了上述作用以外主从复制还是哨兵和集群能够实施的基础因此说主从复制是Redis高可用的基础

2主从复制流程

若启动一个slave机器进程,则它会向Master机器发送一个sync

command命令请求同步连接

无论是第一次连接还是重新连接Master机器都会启动一个后台进程将数据快照保存到数据文件中执行rdb操作同时Master还会记录修改数据的所有命令并缓存在数据文件中

后台进程完成缓存操作之后Master机器就会向slave机器发送数据文件slave端机器将数据文件保存到硬盘上然后将其加载到内存中接着Master机器就会将修改数据的所有操作一并发送给slave端机器。

若slave出现故障导致宕机则恢复正常后会自动重新连接

Master机器收到slave端机器的连接后将其完整的数据文件发送给slave端机器如果Mater同时收到多个slave发来的同步请求则Master会在后台启动一个进程以保存数据文件然后将其发送给所有的slave端机器确保所有的slave端机器都正常

实验组件

主从IP地址master192.168.80.10slave1192.168.80.11slave2192.168.80.12

实验步骤

/usr/local/redis/{conf,log,data}

useradd

/usr/lib/systemd/system/redis-server.service

[Unit]

PIDFile/usr/local/redis/log/redis_6379.pid

ExecStart/usr/local/redis/bin/redis-server

/usr/local/redis/conf/redis.conf

ExecReload/bin/kill

/usr/local/redis/conf/redis.conf

bind

/usr/local/redis/log/redis_6379.pid

#341行指定

/usr/local/redis/log/redis_6379.log

#354行指定日志文件

/usr/local/redis/conf/redis.conf

bind

/usr/local/redis/log/redis_6379.pid

#341行指定

/usr/local/redis/log/redis_6379.log

#354行指定日志文件

#535行可选指定Master节点的密码仅在Master节点设置了requirepass

systemctl

/usr/local/redis/log/redis_6379.log

Replica

slave0:ip192.168.80.11,port6379,stateonline,offset1246,lag0

slave1:ip192.168.80.12,port6379,stateonline,offset1246,lag1

三、Redis哨兵模式

主从切换技术的方法是当服务器宕机后需要手动一台从机切换为主机这需要人工干预不仅费时费力而且还会造成一段时间内服务不可用。

为了解决主从复制的缺点就有了哨兵机制

哨兵的核心功能在主从复制的基础上哨兵引入了主节点的自动故障转移

自动故障转移当主节点不能正常工作时哨兵会开始自动故障转移操作它会将失效主节点的其中一个从节点升级为新的主节点并让其它从节点改为复制新的主节点

2哨兵结构

哨兵节点哨兵系统由一个或多个哨兵节点组成哨兵节点是特殊的redis节点不存储数据

3故障转移机制

每个哨兵节点每隔1秒会向主节点、从节点及其它哨兵节点发送一次ping命令做一次心跳检测。

如果主节点在一定时间范围内不回复或者是回复一个错误消息那么这个哨兵就会认为这个主节点主观下线了单方面的。

当超过半数哨兵节点认为该主节点主观下线了这样就客观下线了

2.当主节点出现故障此时哨兵节点会通过Raft算法选举算法实现选举机制共同选举出一个哨兵节点为leader来负责处理主节点的故障转移和通知。

所以整个运行哨兵的集群的数量不得少于3个节点

需要特别注意的是客观下线是主节点才有的概念如果从节点和哨兵节点发生故障被哨兵主观下线后不会再有后续的客观下线和故障转移操作

ping

选择配置文件中从节点优先级配置最高的。

replica-priority默认值为100

哨兵的启动依赖于主从模式所以须把主从模式安装好的情况下再去做哨兵模式

5搭建Redis

/usr/local/redis/conf/sentinel.conf

vim

/usr/local/redis/conf/sentinel.conf

protected-mode

/usr/local/redis/log/redis-sentinel.pid

#20行指定

/usr/local/redis/log/sentinel.log

#25行指定日志存放路径

指定该哨兵节点监控192.168.80.10:6379这个主节点该主节点的名称是mymaster最后的2的含义与主节点的故障判定有关至少需要2个哨兵节点同意才能判定主节点故障并进行故障转移

#sentinel

#76行可选指定Master节点的密码仅在Master节点设置了requirepass

sentinel

#114行判定服务器down掉的时间周期默认30000毫秒30秒

sentinel

#214行同一个sentinel对同一个master两次failover之间的间隔时间180秒

启动哨兵模式

sentinel_scripts_queue_length:0

sentinel_simulate_failure_flags:0

master0:namemymaster,statusok,address192.168.80.10:6379,slaves2,sentinels3

故障模拟

/usr/local/redis/log/sentinel.log

6709:X

c64fac46fcd98350006900c330998364d6af635d

6709:X

c64fac46fcd98350006900c330998364d6af635d

192.168.80.11

sentinel_scripts_queue_length:0

sentinel_simulate_failure_flags:0

master0:namemymaster,statusok,address192.168.80.11:6379,slaves2,sentinels3

四、Redis

集群由多组节点(Node)组成Redis的数据分布在这些节点中。

集群中的节点分为主节点和从节点只有主节点负责读写请求和集群信息的维护从节点只进行主节点数据和状态信息的复制

1数据分区

集群将数据分散到多个节点一方面突破了Redis单机内存大小的限制存储容量大大增加另一方面每个主节点都可以对外提供读服务和写服务大大提高了集群的响应能力

Redis单机内存大小受限问题在介绍持久化和主从复制时都有提及例如如果单机内存太大bgsave和bgrewriteaof的fork操作可能导致主进程阻塞主从环境下主机切换时可能导致从节点长时间无法提供服务全量复制阶段主节点的复制缓冲区可能溢出

集群支持主从复制和主节点的自动故障转移与哨兵类似当任一节点发生故障时集群仍然可以对外提供服务

每个Key通过CRC16校验后对16384取余来决定放置哪个哈希槽通过这个值去找到对应的插槽所对应的节点然后直接自动跳转到这个对应的节点上进行存取操作

节点A包含0到5460号哈希槽

集群中具有A、B、C三个节点如果节点B失败了整个集群就会因缺少5461-10922这个范围的槽而不可以用。

为每个节点添加一个从节点A1、B1、C1整个集群便有三个Master节点和三个slave节点组成在节点B失败后集群选举B1位为的主节点继续服务。

当B和B1都失败后集群将不可用。

3搭建Redis

redis的集群一般需要6个节点3主3从。

方便起见这里所有节点在同一台服务器上模拟

/usr/local/redis/

/usr/local/redis/redis-cluster/redis600$i

/opt/redis-7.0.9/src/redis-server

/usr/local/redis/redis-cluster/redis600$i

done

#其他5个文件夹的配置文件以此类推修改注意6个端口都要不一样。

/usr/local/redis/redis-cluster/redis6001

vim

/usr/local/redis/log/redis_6001.pid

#341行指定

/usr/local/redis/log/redis_6001.log

#354行指定日志文件

/usr/local/redis/redis-cluster/redis6001

redis-server

/usr/local/redis/redis-cluster/redis600$d

./redis-server

#六个实例分为三组每组一主一从前面的做主节点后面的做从节点。

下面交互的时候

需要输入

fdca661922216dd69a63a7c9d3c4540cd6baef444)

127.0.0.12)

a2c0c32aff0f38980accd2b63d6d952812e44740

(integer)

0e5873747a2e26bdc935bc76c2bafb19d0a54b114)

127.0.0.12)

8842ef5584a85005e135fd0ee59e5a0d67b0cf8e

(integer)

816ddaa3d1469540b2ffbcaaf9aa867646846b304)

127.0.0.12)

f847077bfe6722466e96178ae8cbb09dc8b4d5eb

127.0.0.1:6001