Kafka

的快也就体现在读写两个方面了#xff0c;本文也是从这两个方面去剖析Kafk…1.概述

kafka

的快也就体现在读写两个方面了本文也是从这两个方面去剖析Kafka为什么能那么快。

2.利用

Kakfa是一个发布-订阅的消息队列无论是发布还是订阅必须要指定Topic。

Topic是一个逻辑上的概念而每个Partition是物理上的概念。

每个Topic包含一个或者多个Partitiion不同的Partition可位于不同的节点上。

由于不同的Partition可以位于不同的机器上可以发挥集群的优势实现机器间的并行处理。

由于Partition在物理上对应一个文件夹即使多个Partition位于同一个节点可以通过配置可以让同一个节点上的不同

Partition

置于不同的磁盘上从而实现磁盘间的并行处理充分发挥多磁盘的优势。

3.顺序写磁盘

影响磁盘的关键因素是磁盘服务时间即磁盘完成一个I/O请求所花费的时间它由寻道时间、旋转延迟和数据传输时间三部分构成。

机械硬盘的连续读写性能很好但随机读写性能很差这主要是因为磁头移动到正确的磁道上需要时间随机读写时磁头需要不停的移动时间都浪费在了磁头寻址上所以性能不高。

衡量磁盘的重要主要指标是IOPS(Input/Output

Operations

官网有数据表明同样的磁盘顺序写能到600M/s而随机写只有100K/s。

这与磁盘的机械机构有关顺序写之所以快是因为其省去了大量磁头寻址的时间。

Kafka

内的数据。

这种方式清除旧数据的方式也避免了对文件的随机写操作。

4.充分利用

中存在该数据且是最新的则直接将数据传递给用户程序免除了对底层磁盘的操作提高了性能。

Cache

IOPS

主要用来作为文件系统上的文件数据的缓存来用尤其是针对当进程对文件有

read/write

则主要是设计用来在系统对块设备进行读写的时候对块进行数据缓存的系统来使用。

Page

会尝试将一些写操作重新按顺序排好从而减少磁盘头的移动时间。

充分利用所有空闲内存(非

JVM

内进行。

如果消费和生产速度相当甚至不需要通过物理磁盘(直接通过

Page

Cache并不保证数据一定完全写入磁盘。

从这一点看可能会造成机器宕机时Page

Cache

内的数据未写入磁盘从而造成数据丢失。

但是这种丢失只发生在机器断电等造成操作系统不工作的场景而这种场景完全可以由

Kafka

操作系统的核心是内核独立于普通的应用程序可以访问受保护的内存空间也有访问底层硬件设备的权限。

为了避免用户进程直接操作内核保证内核安全操作系统将虚拟内存划分为两部分一部分是内核空间Kernel-space一部分是用户空间User-space。

Linux

操作会导致数据在内核地址空间的缓冲区和用户地址空间的缓冲区之间进行拷贝所以标准

I/O

I/O。

这样做的好处是如果所请求的数据已存放在内核的高速缓冲存储器中那么就可以减少实际的

I/O

的数据并不是实时的写入硬盘它充分利用了现代操作系统分页存储来利用内存提高

I/O

buffer)进行映射。

从而实现内核缓冲区与应用程序内存的共享省去了将数据从内核读缓冲区(read

buffer)拷贝到用户缓冲区(user

来实现文件到物理内存的直接映射。

完成映射之后对物理内存的操作会被同步到硬盘上。

I/O

不需要先将数据从一个内存区域复制到另一个内存区域从而减少上下文切换以及

CPU

它的作用是在数据从网络设备到用户程序空间传递的过程中减少数据拷贝次数减少系统调用实现

CPU

直接I/O数据直接跨过内核在用户地址空间与I/O设备之间传递内核只是进行必要的虚拟存储配置等辅助工作避免内核和用户空间之间的数据拷贝当应用程序不需要对数据进行访问时则可以避免将数据从内核空间拷贝到用户空间

mmap,

write写时拷贝技术数据不需要提前拷贝而是当需要修改时再进行部分拷贝。

5.2

Socket.send(buffer)这一过程可以类比上边的生产消息

BufferDMA

拷贝。

这也是零拷贝这一说法的来源。

除了减少数据拷贝外因为整个读文件

网络发送由一个