介绍下

的源码学学它的设计思想和编码风格没准在以后自己在设计和编码的时候有思考的方向。

这是专栏的第一篇

介绍下

作为自己的解决方案但是是说它没法满足低延迟、高可靠的要求Kafka

若分区多了对磁盘写来说会出现大量随机写的情况写入性能会下降很多这里说的低延迟与实际使用方式和数据存储实现有关系当然还有其它原因所以它们决定开发一款新的消息传递引擎来满足自己的业务需求。

上面内容来自RocketMQ

咱先聊聊设计一款消息中间件需要具备的要素设计一款消息队列中间件首先它需要对外提供通信路口提供生产、消费消息的路口即需要具备网络通信能力其次就是它得具备数据存储的能力这数据包含消息本身与元数据存储。

RocketMQ

被用来当做信息管理的注册中心主要是用来管理元数据路由信息。

Kafka

Zookeeper而

集群之间是不通信的这样做一方面可以满足实际需求的前提下路由信息无需保障集群之间强一致性可以容忍分钟级别的不一致相比

Zookeeper

很多功能交给了客户端进行实现减轻消息中间件的实现复杂度像消息生产的高可用、消息顺序消费、消费幂等等等这些功能都是交由客户端实现的。

二、源码设计

看源码第一步就是下载源码https://github.com/apache/rocketmq

acl权限控制模块brokerbroker模块broker启动进程client消息客户端包含消息生产者和消息消费者相关类common公共包dev开发者信息非源码distribution打包分发目录非源码exampleRocketMQ示例代码filter消息过滤相关基础类logappender日志实现相关类logging自主实现日志相关类namesrvNameServer实现相关类NameServer启动进程openmessaging消息开放标准已发布remoting远程通信模块基于Nettysrvutil服务器工具类store消息存储实现相关类stylecheckstyle相关实现test测试相关类tools工具类监控命令相关实现类

RocketMQ

实现的这里需要提一下它是如何设计接收网络消息去执行任务的如何进行的编码设计使得它更具拓展更灵活。

其实在服务端NameServer、Broker/客户端Producer、Consumer中都维护了一个

k-v

和执行线程的线程池。

里面对应内容在对应业务系统启动的时候会自行注册。

ProcessorTable

任务拿对应线程池进行执行从而实现了异步任务执行。

这种服务注册机制简洁且灵活。

类似这种使用

先理解相应底层原理再去针对性的看源码实现学习编码验证原理源码阅读建议起始点

Broker

启动BrokerStartup#start、NameServer

启动NamesrvStartup#start、客户端相关的源码阅读可以从

example

阅读源码建议静态看源码看不懂的地方再尝试调试跟进。

一方面是对这种能力的培养另一方面中间件源码不同于业务系统中间件源码堆栈太多容易绕晕而且很多异步书籍与博客辅助看源码

书籍推荐《RocketMQ