单体服务器架构如下所示

随着用户访问量大幅度提升同时产生了大量的用户数据单体服务器架构面对着巨大的压力

NOSQL解决CPU及其内存压力

SQL),意即不仅仅是SQL,泛指非关系型数据库NOSQL不依赖业务逻辑方式存储而以简单的key-value模式存储因此大大的增加了数据库的拓展能力。

不遵循SQL标准

远超于SQL的性能NOSQL适用于对数据高并发和海量的读写以及对数据可扩展性有需求的它不适用于需要事务支持或者是基于sql的结构化查询存储处理复杂的关系的场景

Memcache

它是很早之前就出现的NOSQL数据库其数据都在内存中一般不支持持久化支持简单的key-value模式支持类型单一一般是作为缓存数据库辅助持久化数据库。

Redis

几乎覆盖了Memcache的绝大部分功能其数据也是存储在内存中但它支持持久化主要用作备份恢复除了支持简单的key-value模式还支持多种数据结构的存储比如Listsethash,zset等一般是作为缓存数据库辅助持久化的数据库。

MongoDB

高性能开源模式自由的文档型数据库其数据也是在内存中如果内存不足那么会将不常用的数据保存到硬盘虽然都是key-value模式但是对value(尤其是json类型)提供了丰富的查询功能。

它支持二进制数据以及大型对象可以根据数据的特点代替RDBMS称为独立的数据库或者配合RDBMS存储特定的数据。

行式数据库

非关系型数据库的目的都是为了打破传统关系型数据库以业务逻辑为依据的存储模式而针对不同数据结构类型改为以性能为最优先的存储方式。

我们可通过redis数据库中的zset(有序集合)实现排行榜功能使用expire实现手机验证码也可以通过incr,decr实现计数器秒杀功能等。

redis默认有16个数据库类似于数组下标从0开始初识默认使用0号库

使用命令select

dbsize查看当前数据库的key的数量flushdb:清空当前库flushall通杀全部库Redis是单线程还是多线程

Redis是单线程多路IO复用技术但是单线程不意味着整个Redis就一个线程Redis其他模块还有各自的线程。

因为Redis是一个基于内存的数据库将所有的数据放入内存所以使用单线程的操作效率是最高的多线程会上下文切换消耗大量资源因此对于内存系统来说单线程才能产生更高的效率。

怎么理解IO复用技术呢比如我们生活中去火车站买票例子假设现在有三个人去火车站买票那么在这个场景中有三个角色火车站顾客以及我们生活中最常见的黄牛顾客可以将目的地告诉黄牛让黄牛帮顾客去买票那么黄牛和火车站时间之间单线程黄牛和多个顾客之间体现的是多路复用当黄牛买到票之后只需要叫对应的顾客来取票就可以没有叫到的顾客在此期间可以继续干自己的事情而不是停止下来等票。

Redis基于内存数据存在内存中绝大部分请求是内存操作非常快速跟传统的磁盘文件数据存储相比避免了通过磁盘IO读取到内存这部分的开销

在redis中命令执行是单线程操作没有上下文切换的时间以及CPU消耗不存在竞争条件不用去考虑各种锁的问题也不存在加锁释放锁操作更也不会出现死锁而导致的性能消耗且能够使用各种“线程不安全”命令例如

使用基于网络

I/O多路复用机制(非阻塞IO)的线程模型可以处理并发的链接缓解网络

I/O

速度慢的问题“多路”指的是多个网络连接“复用”指的是复用同一个线程。

采用多路

I/O

复用技术可以让单个线程高效的处理多个客户端的网络IO连接请求的同时减少了网络

Redis

种数据类型String、List、Hash、Set、SortedSet。

不同的数据类型底层使用了一种或者多种数据结构来支撑目的就是为了追求更快的速度。

Redis6.0

Redis使用单线程的可维护性高。

多线程模型虽然在某些方面表现优异但是它却引入了程序执行顺序的不确定性带来了并发读写的一系列问题增加了系统复杂度、同时可能存在线程切换、甚至加锁解锁、死锁造成的性能损耗。

Redis6.0

因为Redis的瓶颈不在内存而是在网络I/O模块带来CPU的耗时所以Redis6.0的多线程是用来处理网络I/O这部分充分利用CPU资源减少网络I/O阻塞带来的性能损耗。

的多线程部分只是用来处理网络数据的读写和协议解析执行命令仍然是单线程顺序执行一次redis请求要建立连接然后获取操作的命令再执行命令最后将响应的结果写到socket上在redis的多线程模式下接收发送和解析命令可以配置成多线程执行的因为它毕竟是主要耗时点但是命令的执行也就是内存操作依然是单线程运行的。

keys

key:非阻塞删除del和unlink的区别unlink虽然执行该命令后显示给我们的是删除了但实际上并没有真正的删除真正的删除会在该命令执行后才慢慢执行。

expire

:为指定的key设置过期时间超过时间后会自动删除key但是不一定是立即删除因为redis的过期策略是惰性删除和定期删除的策略

ttl

string可以包含任何数据。

比如jpg图片或者序列化的对象。

(二进制安全是指在传输数据时保证二进制数据的信息安全也就是不被篡改、破译等如果被攻击能够及时检测出来。

)

set

value:将该value添加到该key对应的原值的末尾strlen

key

value:只有该key不存在时才能将其值设置为valueincr

incrby

value2....:同时设置一个或多个key-valuemget

key1,key2,key3....:同时获取一个或多个valuesql

msetnx

value2...:同时设置一个或多个key-value对当且仅当所有给定的key都不存在才可以

key

结束:类似于Java中的substring,前后都包含setrange

key

value:用value覆写key对应的value从起始位置开始setex

key

value:将key的值设置为value并且返回key之前的值数据结构

Dynamic

列表是简单的字符串列表按照插入顺序排序。

添加一个元素到列表的头部(左边)或者尾部(右边)。

它的底层实际是个双向链表对两端的操作性能很高通过索引下标的操作中间的节点性能会较差。

lpush

new_value:在value的后面插入new_valuelrem

key

value:将列表key中下标为index的元素替换成valueList

quickList。

首先在列表元素较少的情况下会使用一块连续的内存存储这个结构是

ziplist也即是压缩列表。

它将所有的元素紧挨着一起存储分配的是一块连续的内存。

当数据量比较多的时候才会改成

quicklist。

因为普通的链表需要的附加指针空间太大会比较浪费空间。

比如这个列表里存的只是

int

ziplist使用双向指针串起来使用。

这样既满足了快速的插入删除性能又不会出现太大的空间冗象。

Set:

set对外提供的功能与list类似是一个列表的功能特殊之处在于

set

是可以自动排重的当你需要存储一个列表数据又不希望出现重复数据时set是一个很好的选择并且

set

**无论数据的规模如何增加算法的执行时间都保持不变。

这种算法的时间复杂度为O(1)也称为常数时间复杂度。

**例如Java中的查找HashMap中的元素HashMap使用哈希表来存储数据通过键值对的方式进行数据的存储和查找。

无论HashMap中存储了多少元素查找某个元素的时间都是恒定的即O(1)。

sadd将一个或多个member元素加入到集合key中已经存在的member元素将被忽略

sadd

keysismember:判断集合key是否含有该value值有则返回1否则返回0

sismember

keysrandmember:随机从该集合中取出n个值不会从集合中删除

srandmember

value:给key集合中的field设置值为valuehget

key

num:为key中的域field的值设置增量num/减量-numhsetnx

key

value:将哈希表key中的域的field的值设置为value当且仅当域field不存在Hash

类型对应的数据结构是两种:ziplist(压缩列表)hashtable(哈希表)。

当field-value

长度较短且个数较少时使用

不同之处是有序集合的每个成员都关联了一个评分(score),这个评分(score)被用来按照从最低分到最高分的方式排序集合中的成员。

集合的成员是唯一的但是评分可以是重复了

因为元素是有序的所以可以很快的根据评分(score)或者次序(position)来获取一个范围的元素。

访问有序集合的中间元素也是非常快的,因此能够使用有序集合作为一个没有重复成员的智能列表。

zadd

value2....:将一个或多个member元素及其score值加入到有序集合key当中zrange

key

[withscores]:返回有序集key中下标在startstop之间的元素withscores是可选项zrangebyscore

key

max:返回有序集中介于min和max之间的元素(从小到大排序)zrevrangebyscore

key

min:返回有序集中介于max和min之间的元素(从大到小排序)zincrby

key

max:统计key中范围在min~max之间的元素个数zrank

key

value:返回value在key中的排名排名从0开始SortedSet:

Redis

有序集合在生活中比较常见例如根据成绩对学生排名根据得分对玩家排名等。

对于有序集合的底层实现可以用数组、平衡树、链表等。

数组不便元素的插入删除;平衡树或红黑树虽然效率高但结构复杂;链表查询需要遍历所有效率低。

Redis采用的是跳跃表。

跳跃表效率堪比红黑树但是实现远比红黑树简单。

对比有序链表和跳跃表从链表中查询出

要查找值为51的元素需要从第一个元素开始依次查找比较才能找到共需要查找6次

层开始1

发布订阅(pub/sub)是一种消息通信模式:发送者(pub)发送消息订阅者(sub)接收消息。

Redis

发布订阅命令行实现

channel12.打开另一个客户端给channel1发布消息hello

publish

hello注:发布的消息没有持久化只能收到订阅后发布的消息,而不能收到订阅之前的消息。

现代计算机用二进制(位)作为信息的基础单位1个字节等于8位例如“abc”字符串是由

个字节组成但实际在计算机存储时将其用二进制表示“abc”分别对应的

ASCII

合理地使用操作位能够有效地提高内存使用率和开发效率。

Redis

Bitmaps

想象成一个以位为单位的数组数组的每个单元只能存储0和1数组的下标在

Bitmaps中做偏移量

setbitkeyoffsetvalue每个独立用户是否访问过网站存放在

Bitmaps

[start,end]:统计字符串从start字节到end字节比特值为1的数量实例计算2022-11-06这天的独立访问用户数量如下所示如果不指定start和end那么则返回所有的

start和end代表起始和结束字节数

能节省很多的内存空间尤其是随着时间推移节省的内存还是非常可观的。

Bitmaps

10万(大量的僵尸用户)那么两者的对比如下表所示很显然这时候使用Bitmaps

HyperLogLog:

在工作当中我们经常会遇到与统计相关的功能需求比如统计网站PV(PageView

Redis

数、搜索记录数等需要去重和计数的问题如何解决?这种求集合中不重复元素个数的问题称为基数问题。

解决基数问题有很多种方案:

(1)数据存储在

以上的方案结果精确但随着数据不断增加导致占用空间越来越大对于非常大的数据集是不切实际的。

HyperLogLog

的优点是在输入元素的数量或者体积非常非常大时,计算基数所需的空间总是固定的、并且是很小的。

Redis

个不同元素的基数。

这和计算基数时,元素越多耗费内存就越多的集合形成鲜明对比。

HyperLogLog

比如数据集{1,3,5,7,5,7,8}那么这个数据集的基数集为{1,3,5

,7,8}基数(不重复元素)为

element1,element2,element3...:将一个或多个元素添加到HyperLogLog中将所有元素添加到指定

HyperLogLog

计算hll的近似基数可以计算多个hll(将多个的计算结果合并后返回)pfmerge

源hll1

源hll2....:将一个或多个hll合并后的结果存储在目的hll中GEO

Redis

类型的支持。

GEOGeographic地理信息的缩写该类型就是元素的

Hash

当坐标位置超出指定范围时该命令将会返回一个错误,已经添加的数据是无法再次往里面添加的

geopos

member2:获得key中member1和member2位置之间的直线距离如果用户没有显式地指定单位参数那么GETODIST默认使用米作为单位

georadius

dependenciesdependencygroupIdredis.clients/groupIdartifactIdjedis/artifactIdversion3.2.0/version/dependencydependencygroupIdjunit/groupIdartifactIdjunit/artifactIdversion4.12/version/dependencydependencygroupIdorg.springframework.boot/groupIdartifactIdspring-boot-starter-data-redis/artifactId/dependencydependencygroupIdorg.apache.commons/groupIdartifactIdcommons-pool2/artifactId/dependencydependencygroupIdorg.springframework.boot/groupIdartifactIdspring-boot-starter-web/artifactId/dependencydependencygroupIdorg.springframework.boot/groupIdartifactIdspring-boot-starter-json/artifactId/dependencydependencygroupIdcom.fasterxml.jackson.core/groupIdartifactIdjackson-databind/artifactId/dependency/dependencies第一步关闭防火墙否则会导致连接失败

systemctl

Jedis(198.168.88.129,6379);//向redis数据库中添加单个键值对jedis.set(name,yyqx);//通过键获取对应的值String

namejedis.get(name);System.out.println(name);//向redis数据库中添加多个键值对jedis.mset(name,wjr,age,19,gender,1);ListString

stringListjedis.mget(name,age,gender)System.out.println(stringList);//将当前redis数据库中的所有值输出SetString

(String

{System.out.println(keys);}}输出如下所示

yyqx

Jedis(198.168.88.129,6379);jedis.lpush(k1,yyqx,wjk,wy);ListString

stringList

{System.out.println(list);}}输出如下所示

wjk

Jedis(198.168.88.129,6379);//向set中添加元素jedis.sadd(animal,dog,cat,panda);SetString

stringSetjedis.smembers(animal);System.out.println(stringSet);}输出如下所示

[dog,

Jedis(198.168.88.129,6379);jedis.hset(user,age,20);String

stringjedis.hget(user,age);System.out.println(string);}输出如下所示

Testpublic

Jedis(198.168.88.129,6379);jedis.zadd(china,100d,xian);SetString

stringSet

jedis.zrange(china,0,-1);System.out.println(stringSet);}输出如下所示

public

randrandom.nextInt(10);coderand;}return

code;}2每个手机每天只能获取三次验证码并且将该验证码放入到redis中去设置过期时间

public

Jedis(198.168.88.129,6379);//拼接key//手机发送次数keyString

countKeyVerifyCodephone:count;//验证码keyString

codeKeyVerifyCodephone:code;//每个手机每天只能发送三次String

(countnull){//没有发送次数第一次发送//设置发送次数为1jedis.setex(countKey,

24*60*60,

(Integer.parseInt(count)2){//发送次数1jedis.incr(countKey);}else

(Integer.parseInt(count)2){//发送了三次不能再发送System.out.println(今天的发送次数已达上限);jedis.close();}//发送验证码到redis里面String

vcodegetCode();jedis.setex(codeKey,

120,vcode);//过期时间jedis.close();}3做验证码的校验功能

public

Jedis(198.168.88.129,6379);//验证码keyString

codeKeyVerifyCodephone:code;String

redisCodejedis.get(codeKey);//判断if

(redisCode.equals(code)){System.out.println(成功);}else

{System.out.println(失败);}jedis.close();}public

static

{//模拟验证码的发送verifyCode(15347896541);//模拟校验getRedisCode(15347896541,111);}springboot集成redis

dependenciesdependencygroupIdredis.clients/groupIdartifactIdjedis/artifactIdversion3.2.0/version/dependencydependencygroupIdjunit/groupIdartifactIdjunit/artifactIdversion4.12/version/dependencydependencygroupIdorg.springframework.boot/groupIdartifactIdspring-boot-starter-data-redis/artifactId/dependencydependencygroupIdorg.apache.commons/groupIdartifactIdcommons-pool2/artifactId/dependencydependencygroupIdorg.springframework.boot/groupIdartifactIdspring-boot-starter-web/artifactId/dependencydependencygroupIdorg.springframework.boot/groupIdartifactIdspring-boot-starter-json/artifactId/dependencydependencygroupIdcom.fasterxml.jackson.core/groupIdartifactIdjackson-databind/artifactId/dependency/dependencies创建springboot启动类

package

org.springframework.boot.SpringApplication;

import

org.springframework.boot.autoconfigure.SpringBootApplication;SpringBootApplication

public

{SpringApplication.run(RedisApplication.class,args);}

package

com.fasterxml.jackson.annotation.JsonAutoDetect;

import

com.fasterxml.jackson.annotation.PropertyAccessor;

import

com.fasterxml.jackson.databind.ObjectMapper;

import

org.springframework.cache.CacheManager;

import

org.springframework.cache.annotation.CachingConfigurationSelector;

import

org.springframework.cache.annotation.EnableCaching;

import

org.springframework.context.annotation.Bean;

import

org.springframework.context.annotation.Configuration;

import

org.springframework.data.redis.cache.RedisCacheConfiguration;

import

org.springframework.data.redis.cache.RedisCacheManager;

import

org.springframework.data.redis.connection.RedisConnectionFactory;

import

org.springframework.data.redis.core.RedisTemplate;

import

org.springframework.data.redis.serializer.Jackson2JsonRedisSerializer;

import

org.springframework.data.redis.serializer.RedisSerializationContext;

import

org.springframework.data.redis.serializer.RedisSerializer;

import

org.springframework.data.redis.serializer.StringRedisSerializer;

import

java.time.Duration;EnableCaching

Configuration

redisTemplate(RedisConnectionFactory

factory)

RedisTemplate();RedisSerializerString

redisSerializer

StringRedisSerializer();Jackson2JsonRedisSerializer

new

Jackson2JsonRedisSerializer(Object.class);ObjectMapper

new

ObjectMapper();om.setVisibility(PropertyAccessor.ALL,

JsonAutoDetect.Visibility.ANY);om.enableDefaultTyping(ObjectMapper.DefaultTyping.NON_FINAL);jackson2JsonRedisSerializer.setObjectMapper(om);template.setConnectionFactory(factory);//设置“key的序列化方式template.setKeySerializer(new

StringRedisSerializer());//设置“值”的序列化方式template.setValueSerializer(jackson2JsonRedisSerializer);//设置“hash”类型数据的序列化方式template.setHashValueSerializer(jackson2JsonRedisSerializer);return

template;}Beanpublic

cacheManager(RedisConnectionFactory

factory)

StringRedisSerializer();Jackson2JsonRedisSerializer

new

Jackson2JsonRedisSerializer(Object.class);//解决查询缓存转换异常的问题ObjectMapper

new

ObjectMapper();om.setVisibility(PropertyAccessor.ALL,

JsonAutoDetect.Visibility.ANY);om.enableDefaultTyping(ObjectMapper.DefaultTyping.NON_FINAL);jackson2JsonRedisSerializer.setObjectMapper(om);//配置序列化(解决乱码问题)过期时间600秒RedisCacheConfiguration

config

RedisCacheConfiguration.defaultCacheConfig().entryTtl(Duration.ofSeconds(600)).serializeKeysWith(RedisSerializationContext.SerializationPair.fromSerializer(redisSerializer)).serializeKeysWith(RedisSerializationContext.SerializationPair.fromSerializer(jackson2JsonRedisSerializer)).disableCachingNullValues();RedisCacheManager

cacheManager

RedisCacheManager.builder(factory).cacheDefaults(config).build();return

cacheManager;}

Redis服务器连接端口lettuce:pool:max-active:

连接池最大连接数(使用负值表示没有限制)

com.wjr.redis.Controller;import

org.springframework.beans.factory.annotation.Autowired;

import

org.springframework.data.redis.core.RedisTemplate;

import

org.springframework.web.bind.annotation.GetMapping;

import

org.springframework.web.bind.annotation.RequestMapping;

import

org.springframework.web.bind.annotation.RestController;RestController

public

testRedis(){//设置值到redisredisTemplate.opsForValue().set(name,lucy);//获取redis中的值String

name

redisTemplate.opsForValue().get(name);return

name;}

事务是一个单独的隔离操作:事务中的所有命令都会序列化、按顺序地执行。

事务在执行的过程中不会被其他客户端发送来的命令请求所打断。

Redis

命令开始输入的命令都会依次进入命令队列中但不会执行直到输入Exec后Redis

discard

exec:执行队列中的命令注意exec命令执行完毕之后就代表事务已经结束(类似于MySQL中的commit命令)那么我们如果需要重新进行事务处理需要重新开启事务

discard:表示放弃执行队列中等待的命令组队中某个命令出现了报告错误执行时整个的所有队列都会被取消。

如果执行阶段某个命令报出了错误则只有报错的命令不会被执行而其他的命令都会被执行而不会回滚

一个请求想给金额减

悲观锁顾名思义就是很悲观每次去拿数据的时候都认为别人会修改所以每次在拿数据的时候都会上锁这样别人想拿这个数据就会

block直到它拿到锁。

传统的关系型数据库里边就用到了很多这种锁机制比如行锁表锁等读锁写锁等都是在做操作之前先上锁。

乐观锁

乐观锁顾名思义,就是很乐观每次去拿数据的时候都认为别人不会修改所以不会上锁但是在更新的时候会判断一下在此期间别人有没有去更新这个数据可以使用版本号等机制。

乐观锁适用于多读的应用类型这样可以提高吞吐量。

Redis

WATCH

我们打开两个redis窗口这两个窗口同时对balance进行操作窗口1对balance进行10操作窗口2对balance进行20操作窗口1先执行事务而窗口2后执行如下所示

窗口1

由于balance在此之前已经被窗口1打断了因此此次事务操作也会被打断

unwatch:

事务中的所有命令都会序列化、按顺序地执行。

事务在执行的过程中不会被其他客户端发送来的命令请求所打断。

队列中的命令没有提交之前都不会实际被执行因为事务提交前任何指令者不会被实际执行。

不保证原子性

我们可以将6381设置为6380的主服务器那么6381承担的角色为6379的从服务器6380的主服务器那么6379的从服务器数量需要减少为1其实这个过程就是实现了上述图示中的过程它和一主二从的过程很相似

哨兵模式

反客为主的自动版能够后台监控主机是否故障如果故障了根据投票数自动将从库转换为主库。

目录下新建sentinel.conf

当6379后面的值设置为2那么则表示必须两个都同意才能进行切换

/usr/local/binredis

秒左右可以看到哨兵窗口日志切换了新的主机)。

哪个从机会被选举为主机呢?

根据优先级别:slave-priority,原主机重启后会变为从机。

复制延时:

slave机器有一定的延迟当系统很繁忙的时候延迟问题会更加严重slave机器数量的增加也会使这个问题更加严重。

优先级在

地址发生变化应用程序中配置需要修改对应的主机地址、端口等信息。

redis3.0

集群通过分区(partition)来提供一定程度的可用性(availability):即使集群中有一部分节点失效或者无法进行通讯集群也可以继续处理命令请求.

删除持久化数据:

制作6个实例6379,6380,6381,6389,6390,6391

配置基本信息:

设定节点失联时间超过该时间(毫秒)集群自动进cluster-node-timeout

include

由于集群方案出现较晚很多公司已经采用了其他的集群方案而代理或者客户端分片的方案想要迁移至

redis