客观…

集群常见问题【Question1】数据分片怎么分【Question2】数据分片之后怎么查怎么写【Question3】如何做到水平扩展【Question4】如何做故障转移

Redis

Redis-Alone单机模式Redis-Master/Slaver主从复制模式Redis-Sentinel哨兵模式Redis-Cluster集群模式

下面文章把

高可用集群模式接下来我们详细讲解这几种模式原理以及各自的优缺点。

Redis-Alone

成本。

成本低没有备用节点不需要其他的开支。

高性能单机不需要同步数据数据天然一致性。

2、Redis-Alone

存在单点故障问题可靠性保证不是最佳单节点有宕机的风险。

单机高性能受限于

CPU

Redis-Sentinel哨兵模式即可满足需求但是在中大型规模的业务系统中还是推荐使用

Redis-Master/Slaver

的只能由主节点到从节点。

主节点用于写入数据从节点用于读取数据。

redis5.0

IP:PORT角色172.17.97.27:6379master172.17.97.27:6380slaveof/replicaof172.17.97.27:6381slaveof/replicaof

端口号

在程序设计上为了高可用性和高性能是允许有冗余存在的。

这点希望大家在设计系统的时候要考虑进去不用为公司节省这一点资源。

主从模式在很多系统设计时都会考虑一个

读能力分担主节点读压力。

高可用基石除了上述作用以外主从复制还是

哨兵模式

Redis-Master/Slaver主从复制模式当主节点宕机之后从节点是可以作为主节点顶上来继续提供服务的。

已经变动了此时应用服务还是拿着原主节点的地址去访问这在生产环境就很尴尬了整个过程得需要人工介入。

Redis

此处规划信息如下1个主节点3个从节点和3个哨兵节点一主三从三哨兵

如上图所示哨兵节点由两部分组成哨兵节点

哨兵节点Sentinel哨兵系统由一个或多个哨兵节点组成哨兵节点是

redis

节点不存储数据。

数据节点主节点Master和从节点Slaver都是数据节点数据冗余。

redis

集群出现了问题比如刚刚说的主节点挂了从节点会顶上来。

但是主节点地址变了这时候应用服务无感知也不用更改访问地址因为

Sentinel

哨兵模式是基于主从模式的所有主从的优点哨兵模式都具有。

主从可以自动切换系统更健壮可用性更高。

Sentinel

主服务器

主从复制集不能解决故障自动恢复问题因此产生了哨兵模式解决故障自动恢复那到底为啥还要

集群模式Redis-Cluster

之前的两种模式数据都是在一个节点上的单个节点的存储是有上限的。

集群模式就是把数据进行

Cluster

个槽https://zhuanlan.zhihu.com/p/99037321

读请求分配给

versionRole172.17.97.27:6479openEuler

22.03

x86_64redis:7.2.3-alpine3.18master172.17.97.27:6579openEuler

22.03

x86_64redis:7.2.3-alpine3.18master172.17.97.27:6679openEuler

22.03

x86_64redis:7.2.3-alpine3.18master172.17.97.27:6779openEuler

22.03

x86_64redis:7.2.3-alpine3.18slave/replica172.17.97.27:6879openEuler

22.03

x86_64redis:7.2.3-alpine3.18slave/replica172.17.97.27:6979openEuler

22.03

x86_64redis:7.2.3-alpine3.18slave/replica

Linux

net.ipv4.conf.all.send_redirects

net.ipv4.conf.default.send_redirects

net.ipv4.conf.all.accept_source_route

net.ipv4.conf.default.accept_source_route

net.ipv4.conf.all.accept_redirects

net.ipv4.conf.default.accept_redirects

net.ipv4.conf.all.secure_redirects

net.ipv4.conf.default.secure_redirects

net.ipv4.icmp_echo_ignore_broadcasts

net.ipv4.icmp_ignore_bogus_error_responses

net.ipv4.conf.default.rp_filter

net.ipv6.conf.all.accept_redirects

net.ipv6.conf.default.accept_redirects

vm.overcommit_memory

https://blog.csdn.net/cnwyt/article/details/118995722

我们先来看下在一个

4bf716f827a140f84bb59db89f8377c52b148348

172.17.97.27:6479slots:[0-5460]

(5461

7e0aaa6b7759810a8a7a9d91720ed280f9c769a2

172.17.97.27:6579slots:[5461-10922]

(5462

c28eb34736d38df46e5f305f85e6245a5e88f04b

172.17.97.27:6679slots:[10923-16383]

(5461

db205fb27e8bd7a987f5263fc00ce5ce9d00a4c7

7e0aaa6b7759810a8a7a9d91720ed280f9c769a2

2fe228281014ea89de0e86ee68922dfde6c3999b

c28eb34736d38df46e5f305f85e6245a5e88f04b

741eec69159a16b74c73e5a981d1a11307b41967

4bf716f827a140f84bb59db89f8377c52b148348

Can

4bf716f827a140f84bb59db89f8377c52b148348

172.17.97.27:6479slots:[0-5460]

(5461

c28eb34736d38df46e5f305f85e6245a5e88f04b

172.17.97.27:6679slots:[10923-16383]

(5461

741eec69159a16b74c73e5a981d1a11307b41967

slots)

4bf716f827a140f84bb59db89f8377c52b148348

db205fb27e8bd7a987f5263fc00ce5ce9d00a4c7

slots)

7e0aaa6b7759810a8a7a9d91720ed280f9c769a2

2fe228281014ea89de0e86ee68922dfde6c3999b

slots)

c28eb34736d38df46e5f305f85e6245a5e88f04b

7e0aaa6b7759810a8a7a9d91720ed280f9c769a2

172.17.97.27:6579slots:[5461-10922]

(5462

问题是集群更佳健壮和高可用相应的数据采用分片存储redis-cluster

集群模式

172.17.97.27:6679接下来我们详细叙述如何采用容器化

docker

/home/jeff/docker/redis-cluster

/home/jeff/

redis-down.shredis-compose.yaml

文件编写

services:redis6479:network_mode:

hostimage:

redis:7.2.3-alpine3.18container_name:

redis6479restart:

/usr/local/etc/redis/redis.conf]logging:driver:

3gvolumes:-

./redis6479/redis.conf:/usr/local/etc/redis/redis.conf-

./redis6479/logs:/logsredis6579:network_mode:

hostimage:

redis:7.2.3-alpine3.18container_name:

redis6579restart:

/usr/local/etc/redis/redis.conf]logging:driver:

3gvolumes:-

./redis6579/redis.conf:/usr/local/etc/redis/redis.conf-

./redis6579/logs:/logsredis6679:network_mode:

hostimage:

redis:7.2.3-alpine3.18container_name:

redis6679restart:

/usr/local/etc/redis/redis.conf]logging:driver:

3gvolumes:-

./redis6679/redis.conf:/usr/local/etc/redis/redis.conf-

./redis6679/logs:/logsredis6779:network_mode:

hostimage:

redis:7.2.3-alpine3.18container_name:

redis6779restart:

/usr/local/etc/redis/redis.conf]logging:driver:

3gvolumes:-

./redis6779/redis.conf:/usr/local/etc/redis/redis.conf-

./redis6779/logs:/logsredis6879:network_mode:

hostimage:

redis:7.2.3-alpine3.18container_name:

redis6879restart:

/usr/local/etc/redis/redis.conf]logging:driver:

3gvolumes:-

./redis6879/redis.conf:/usr/local/etc/redis/redis.conf-

./redis6879/logs:/logsredis6979:network_mode:

hostimage:

redis:7.2.3-alpine3.18container_name:

redis6979restart:

/usr/local/etc/redis/redis.conf]logging:driver:

3gvolumes:-

./redis6979/redis.conf:/usr/local/etc/redis/redis.conf-

./redis6979/logs:/logsredis.conf

模板文件编写

/home/jeff/docker/redis-cluster;

sudo

/home/jeff/docker/redis-cluster;

sudo

/home/jeff/docker/redis-cluster;

sudo

/home/jeff/docker/redis-cluster;

sudo

/home/jeff/docker/redis-cluster;

sudo

/home/jeff/docker/redis-cluster;

sudo

/home/jeff/docker/redis-cluster;

docker

/home/jeff/docker/redis-cluster;echo

停止并移除

/home/jeff/docker/redis-cluster

[rootredis

/home/jeff/docker/redis-cluster/redis-compose.yaml

[rootredis

7aaf8e48ca3807ede36dbec999dacbf5f8640650

172.17.97.27:6479slots:[0-5460]

(5461

ef9705329a431960c5f89d7e4928b1fda90f77f1

172.17.97.27:6579slots:[5461-10922]

(5462

ccf56f0a5d50c34337586c9c1dc6d00ce6c7ef82

172.17.97.27:6679slots:[10923-16383]

(5461

d2b927276d4f603c05f66b5148553ab0ee06be73

ccf56f0a5d50c34337586c9c1dc6d00ce6c7ef82

9329e3afdc5bc2bff031770efa3a7168ef1a0b83

7aaf8e48ca3807ede36dbec999dacbf5f8640650

bbc04f53247738b0edaa8efa2b86daef072a2989

ef9705329a431960c5f89d7e4928b1fda90f77f1

Can

7aaf8e48ca3807ede36dbec999dacbf5f8640650

172.17.97.27:6479slots:[0-5460]

(5461

d2b927276d4f603c05f66b5148553ab0ee06be73

slots)

ccf56f0a5d50c34337586c9c1dc6d00ce6c7ef82

ccf56f0a5d50c34337586c9c1dc6d00ce6c7ef82

172.17.97.27:6679slots:[10923-16383]

(5461

bbc04f53247738b0edaa8efa2b86daef072a2989

slots)

ef9705329a431960c5f89d7e4928b1fda90f77f1

ef9705329a431960c5f89d7e4928b1fda90f77f1

172.17.97.27:6579slots:[5461-10922]

(5462

9329e3afdc5bc2bff031770efa3a7168ef1a0b83

slots)

7aaf8e48ca3807ede36dbec999dacbf5f8640650

[OK]

d2b927276d4f603c05f66b5148553ab0ee06be73

slave

ccf56f0a5d50c34337586c9c1dc6d00ce6c7ef82

1699594804000

ccf56f0a5d50c34337586c9c1dc6d00ce6c7ef82

master

bbc04f53247738b0edaa8efa2b86daef072a2989

slave

ef9705329a431960c5f89d7e4928b1fda90f77f1

1699594804098

ef9705329a431960c5f89d7e4928b1fda90f77f1

master

9329e3afdc5bc2bff031770efa3a7168ef1a0b83

slave

7aaf8e48ca3807ede36dbec999dacbf5f8640650

1699594803000

7aaf8e48ca3807ede36dbec999dacbf5f8640650

myself,master

cluster_stats_messages_ping_sent:746

cluster_stats_messages_pong_sent:748

cluster_stats_messages_sent:1494

cluster_stats_messages_ping_received:743

cluster_stats_messages_pong_received:746

cluster_stats_messages_meet_received:5

cluster_stats_messages_received:1494

total_cluster_links_buffer_limit_exceeded:0至此我们规划的

宿主机

每种模式都有各自的优缺点在实际使用场景中要根据业务特点去选择合适的模式。

redis

如果作为一个很好的中间件去研究的话还是有很多值得学习和借鉴的地方。

比如

redis

的各种数据结构(动态字符串、跳跃表、集合、字典等)、高效的内存分配(jemalloc)、高效的IO模型等等。

每个点都可以深入研究在后期设计高并发、高可用系统的时候融入进去。