一、Linux物理内存外碎片化概述

什么是Linux物理内存碎片化#xff1f;Linux物理内存碎片化包括两种#xff1a;

1.物理内存内碎片#xff1a;指分配给用户的内存空间中未…本文出现的内核代码来自Linux4.19如果有兴趣读者可以配合代码阅读本文。

一、Linux物理内存外碎片化概述

什么是Linux物理内存碎片化Linux物理内存碎片化包括两种

例如进程需要使用3K

bytes物理内存于是向系统申请了大小等于3Kbytes的内存但是由于Linux内核伙伴系统算法最小颗粒是4K

Linux物理内存内碎片

bytes的页面组成即16K内存物理页帧号#1不连续。

在系统剩余16K

bytes内存的情况下系统却无法成功分配大于4K的连续物理内存该情况就是内存外碎片导致本文中阐述的就是物理内存外碎片化。

注#1物理页帧号Linux物理内存是通过页面进行管理并对每个页面进行编号称为页帧号如果是连续的两个物理页面其页帧号是连续的。

Linux物理内存外碎片

阐述物理内存外碎片化的来龙去脉前先得明白Linux是如何管理物理内存的Linux内核采用的是buddy

system

伙伴系统分配器的核心思路将系统的空闲页面分为11个块链表每个块链表分别管理着1,2,4,8,16,32,64,128,256,512和1024个物理页帧号连续的页面。

每个页面大小为4K

bytes到4M

Linux对物理页面管理的框架如上图由于本文阐述的是物理内存外碎片所以关于伙伴系统本文只做简单分析不涉及具体的细节并不阐述关于per

cpu

node为了支持NUMA结构即CPU对不同内存簇的访问速度不同Linux设计了node结构将物理内存分为多个内存节点管理对于UMA结构只有一个node节点。

zone为兼容不同的平台的硬件限制例如80x86的体系结构的硬件总线访问等问题Linux将node节点下的内存分为多个zone目前在ARM平台多个zone管理已非必要。

zone管理单元下的内存通过free_area数组将内存分成11个块链表进行管理

free_area数组总共有11个索引每个索引管理着不同大小的块链表。

byte内存free_area[1]管理的内存单位为2^1的物理页帧号连续页面即8K

free_area管理的内存还细分为各种类型例如不可移动页面和可移动页面等每种类型的页面类型对应一个free_list链表该链表就链接着页面结构体。

根据分配页面类型找到对应的内存节点node和内存管理单元zone根据分配页面大小找到的对应大小的free_area结构体根据分配页面类型找到对应的free_list链表分配页面

根据分配页面类型找到对应的内存节点node和内存管理单元zone判断是否有物理页帧号相连的空闲内存块可以跟被释放的内存块合并成更大的块内存合并的条件物理帧必须都是连续的相同的类型和相同的大小合并后块内存的第一个页面的物理地址满足”2*块大小*4K”的倍数。

根据释放页面的大小或者合并的大小找到的对应大小的free_area结构体根据释放页面的类型找到对应的free_list链表释放页面

学习直通车Linux内核源码内存调优文件系统进程管理设备驱动/网络协议栈

从“二、Linux物理内存管理架构”可以发现伙伴系统内存管理框架是可以有效改善物理内存外碎片的因为伙伴系统有如下两个管理逻辑可以减少了外碎片化的产生

小块内存在小块链表分配减少大块链表被污染的概率内存释放时会尝试整合成大块内存的逻辑有助于大块内存的合成

除此之外内核还支持以下措施改善物理内存外碎片化只列举主要的机制

1.memory

Linux物理页面规整机制类似于磁盘整理主要是应用了内核的页面迁移机制是一种将可移动页面进行迁移后腾出连续物理内存的方法。

蓝色表示空闲的页面白色表示已经被分配的页面可以看到如上内存域的空闲页面蓝色非常零散无法分配大于两页的连续物理内存。

下面演示一下内存规整的简化工作原理内核会运行两个独立的扫描动作第一个扫描从内存域的底部开始一边扫描一边将已分配的可移动MOVABLE页面记录到一个列表中

另外第二扫描是从内存域的顶部开始扫描可以作为页面迁移目标的空闲页面位置然后也记录到一个列表里面

等两个扫描在域中间相遇意味着扫描结束然后将左边扫描得到的已分配的页面迁移到右边空闲的页面中左边就形成了一段连续的物理内存完成页面规整。

2使用方法

打开如上配置后内存规整的触发是自动的触发内存规整的途径如下当进程尝试分配高阶内存无法满足并且完成direct_reclaim#1暂不分析costly_order情况后系统会根据内存剩余判断是否触发内存规整

注#1direct_reclaim进程分配内存时发现内存不足从而启动直接回收内存操作这种模式下分配和回收是同步的关系也就是说分配内存的进程会因为等待内存回收而被阻塞。

只要往这个节点写值即可触发对系统所有node管理的内存做内存规整。

2.kcompactd

compaction的触发途径是内存分配进入direct_reclaim暂不分析costly_order情况后系统会根据内存剩余判断是否触发内存规整或者用户手动触发

kcompactd在唤醒kswapd或者kswapd进入休眠时主动触发内存规整。

唤醒kswapd之前触发规整触发的条件是本次分配不支持direct_reclaimnode内存节点是平衡的并且kswapd失败的次数大于MAX_RECLAIM_RETRIES默认16。

kswapd即将进入睡眠时

内核经过不断的优化那为何Linux为何还有物理内存外碎片化呢那是因为物理内存外碎片化虽然是可以不断优化的但却无法得到根除。

目前的内核我觉得导致物理外碎片化还有以下两个主要原因

不可移动页面污染了内存环境导致页面规整失败随着系统不断申请和释放的页面导致伙伴系统分配的物理内存页帧号越发随机从而导致内存被隔断的概率越高碎片化的程度越高在3.2阐述。

1减少UNMOVABLE页面污染内存环境

Linux内存分配中支持fallback机制又叫偷页机制。

该机制是为了规避同个zone管理单位页面类型剩余不平衡的问题例如同个zoneA页面类型空闲内存较多B页面类型空闲内存却非常紧缺如果没有偷页机制分配B页面类型就会进入内存分配慢速路径。

有了偷页机制在同个zone管理单位如果UNMOVABLE类型无空闲页面但是MOVABLE类型页面还有空闲页面偷页机制支持在list_head[UNMOVABLE]分配不到页面的情况下向list_head[MOVABLE]分配页面。

以下数组明确了各种页面类型可偷的页面类型例如第一行表示UNMOVABLE页面可以偷RECLAIMABLE和MOVABLE类型的页面其他类似。

如果不可移动页面频繁的偷页会导致不可移动页面很快污染了内存环境特别污染了可移动页面的内存对内存规整成功率的影响比较大。

基于以上情况可以在偷页的机制上加上分配大小限制的判断不可移动页面只有大块内存分配才允许偷页以此减少不可移动页面对内存环境的污染。

该方法主要是不可移动页面偷页后的一种补偿方法。

如果发生不可移动页面偷页后我们将该页面记录到一个列表等后续不可移动页面类型存在空闲页面时将所偷的页面迁移回不可移动页面中从而降低不可移动页面的污染。

假设有一块小内存域如下以下两种内存分配方式哪种会导致严重的内存碎片化

明显是第二种内存分配方式的对内存外碎片化更不友好而这点也是伙伴系统目前没有解决的问题。

伙伴系统虽然将内存规划成各种大小的内存块以让小内存分配在小块链表分配尽量不污染大块内存链表但是却没办法保证小块内存具体是在物理内存的哪个页帧范围分配。

随着系统的运行越久小块内存的分配的物理页帧号越发随机那么其导致碎片化的概率就会越高。

预留法

预留一定的内存专门用于小块内存分配经过这个优化措施后可以有效降低小块内存分配的物理页帧号的随机性从而降低小块内存污染内存环境的概率。

预留一定的内存专门用于大块内存分配经过该优化措施后预留的内存被小块内存污染的概率就会降低可以提升预留内存分配大块内存的成功率。

原文作者内核工匠