Linux-B03-malloc

Linux , Comments

基础概念

  1. 每个进程都有独立的虚拟地址空间，进程访问的虚拟地址并不是真正的物理地址
  2. 虚拟地址是通过每个进程的页表(在每个进程的内核虚拟地址空间)与物理地址进行映射，获得真正物理地址；
  3. 如果虚拟地址对应物理地址不在物理内存中，则产生缺页中断，真正分配物理地址，同时更新进程的页表；如果此时物理内存已耗尽，则根据内存替换算法淘汰部分页面至物理磁盘中

空间操作

CPU通过地址总线、数据总线和控制总线实现对内存的访问

  • 数据总线：在CPU和内存之间传递数据的通道
  • 控制总线：在CPU和内存之间传递各种控制/状态信号的通道
  • 地址总线：传递地址信号，以确定所要访问的内存地址

当 CPU 执行内存中一条指令的时候，首先把 VMA（虚拟内存区域）中的逻辑地址转换为线性地址，转化过程通过 MMU（内存管理单元）实现

系统在内存分配的时候，其实并没有申请相应的物理页帧，只有在真正赋值的时候才会申请物理页帧。这也是 VSZ（进程虚拟内存大小）和 RSS（常驻物理内存大小）的最大区别。

空间分配

Linux 使用虚拟地址空间， 对32位操作系统而言，它的寻址空间(虚拟存储空间)为4G(2的32次方)，将最高的1G字节(从虚拟地址0xC0000000到0xFFFFFFFF)，供内核使用，称为内核空间，而将较低的3G字节(从虚拟地址0x00000000到0xBFFFFFFF)，供各个进程使用，称为用户空间。

由低地址到高地址分别为：

  1. 只读段：该部分空间只能读不可写(包括：代码段、rodata 段(C常量字符串和#define定义的常量) )
  2. 数据段：保存全局变量、静态变量的空间
  3. 堆 ：就是平时所说的动态内存， malloc/new 大部分都来源于此。其中堆顶的位置可通过函数 brk 和 sbrk 进行动态调整。
  4. 文件映射区域：如动态库、共享内存等映射物理空间的内存，一般是 mmap 函数所分配的虚拟地址空间
  5. 栈：用于维护函数调用的上下文空间，一般为 8M ，可通过 ulimit –s 查看，每个线程都有自己专属的栈
  6. 内核虚拟空间：用户代码不可见的内存区域，由内核管理(页表就存放在内核虚拟空间)
image-20210731150123309

分配原理

进程分配内存有两种方式，分别由两个系统调用完成：brk 和 mmap (不考虑共享内存)

  • brk 是将数据段（.data）的最高地址指针 _edata 往高地址推

  • mmap 是在进程的虚拟地址空间中（堆和栈中间，称为“文件映射区域”的地方）找一块空闲的虚拟内存。

两种方式分配的都是虚拟内存，没有分配物理内存。第一次访问已分配的虚拟地址空间的时候，发生缺页中断进程会陷入内核态，执行以下操作：

  • 检查要访问的虚拟地址是否合法

  • 查找/分配一个物理页

  • 填充物理页内容（读取磁盘，或者直接置0，或者什么都不做）

    • 如果需要读取磁盘，那么这次缺页就是 majfit(major fault：大错误)
    • 否则就是 minflt(minor fault：小错误)

  • 建立映射关系（虚拟地址到物理地址的映射关系）

  • 重复执行发生缺页中断的那条指令

使用命令查看缺页中断的次数

分配过程

第一种情况：malloc小于128K的内存，使用brk

将_edata往高地址推(只分配虚拟空间，不对应物理内存(因此没有初始化)，第一次读/写数据时，引起内核缺页中断，内核才分配对应的物理内存，然后虚拟地址空间建立映射关系)，如下图：

img

  • 进程启动的时候，其（虚拟）内存空间的初始布局(1)所示

  • 进程调用A=malloc(30K)以后，内存空间 (2), malloc函数会调用brk系统调用，将_edata指针往高地址推30K，就完成虚拟内存分配

    _edata+30K只是完成虚拟地址的分配，A这块内存现在还是没有物理页与之对应的，等到进程第一次读写A这块内存的时候，发生缺页中断，这个时候，内核才分配A这块内存对应的物理页。也就是说，如果用malloc分配了A这块内容，然后从来不访问它，那么，A对应的物理页是不会被分配的。

  • 进程调用B=malloc(40K)以后，内存空间如(3)

第二种情况：malloc 大于 128K 的内存，使用 mmap 分配（munmap 释放）

img

  • 进程调用C=malloc(200K)以后，内存空间如(4)

  • 进程调用D=malloc(100K)以后，内存空间如(5)

  • 进程调用free©以后，C对应的虚拟内存和物理内存一起释放

默认情况下，malloc函数分配内存，如果请求内存大于128K（可由M_MMAP_THRESHOLD选项调节），那就不是去推_edata(指向数据段)指针了，而是利用mmap系统调用，从堆和栈的中间分配一块虚拟内存

这样子做是因为

brk分配的内存需要等到高地址内存释放以后才能释放（例如，在B释放之前，A是不可能释放的，因为只有一个_edata 指针，这就是内存碎片产生的原因，先进后出），而mmap分配的内存可以单独释放

img

  • 进程调用free(B)以后，如(7)所示:B对应的虚拟内存和物理内存都没有释放，因为只有一个_edata指针，如果往回推，那么D这块内存怎么办呢？当然，B这块内存，是可以重用的，如果这个时候再来一个40K的请求，那么malloc很可能就把B这块内存返回回去了

  • 进程调用free(D)以后，如图(8)所示：B和D连接起来，变成一块140K的空闲内存，当最高地址空间的空闲内存超过128K（可由M_TRIM_THRESHOLD选项调节）时，执行内存紧缩操作(trim)。在上一个步骤free的时候，发现最高地址空闲内存超过128K，于是内存紧缩，变成(9)所示

总结:

  • 当开辟的空间小于 128K 时，调用 brk()函数，malloc 的底层实现是系统调用函数 brk()，其主要移动指针 _enddata(此时的 _enddata 指的是 Linux 地址空间中堆段的末尾地址，不是数据段的末尾地址)

  • 当开辟的空间大于 128K 时，mmap()系统调用函数来在虚拟地址空间中（堆和栈中间，称为“文件映射区域”的地方）找一块空间来开辟

参考链接

  1. malloc 底层实现原理