跳到主要内容
约 13 分钟7 张卡

虚拟内存

虚拟内存让进程使用自己的虚拟地址,由系统把这些地址转换到实际的物理内存。它既支持进程隔离和共享,也让页面可以按需分配。理解这套机制,要能沿一次内存访问区分页表、TLB 和缺页处理,并解释为什么申请了很大的虚拟空间,实际驻留内存却可能很小。

1. 面试核心​

先记住这几条,再读正文
  • 页表记录虚拟页到物理页框的映射和访问权限,地址转换时页内偏移不变。
  • 页表层数取决于架构、分页模式与页大小;32 位虚拟地址的范围不等于整机物理内存上限。卡 · 地址位宽与页表层数
  • Linux 进程的代码、数据、堆、映射和栈属于不同用途的虚拟区域,实际地址受装载和 ASLR 影响。卡 · Linux 进程地址空间布局
  • TLB 缓存地址转换结果,未命中不等于缺页;发生缺页也不一定读磁盘,还可能是首次分配或写时复制。卡 · 面试核心
  • malloc 是库分配器接口,可以复用已有块;brk、mmap 管理虚拟区域,不能把每次申请都等同于系统调用。卡 · malloc、brk 与 mmap
  • 写时复制先共享物理页,需要写入时再建立私有可写页,减少立即复制全部数据的成本。卡 · 写时复制与文件映射
  • MAP_SHARED 让修改可被其他共享映射观察,MAP_PRIVATE 的修改保留在私有映射;共享可见与落盘是两回事。
  • 虚拟内存大小表示地址范围,RSS 表示驻留页面,虚拟空间大不能单独证明内存泄漏。
  • 分页按固定大小组织映射,分段按逻辑区域组织地址;置换策略另外决定内存压力下先移出哪些页面。卡 · 分页与分段

2. 地址转换路径​

虚拟内存按页组织地址。虚拟页是虚拟地址空间中的一块,物理页框是物理内存中承载页面的一块;页表记录两者的对应关系和访问权限。

一个虚拟地址可以拆成虚拟页号与页内偏移。地址转换时,先用页号找到物理页框号,再保留原来的偏移,定位到页框中的相同位置。即使找到了对应页面,访问还要通过读、写或执行权限检查。

TLB(Translation Lookaside Buffer)是地址转换结果的缓存,避免每次访问都重新查页表。命中时直接使用缓存的转换;未命中时,再由处理器或系统机制查页表。只要页表中的映射有效、权限允许,查到后就能继续访问,不必发生缺页。

不同进程里相同的虚拟地址,可以映射到不同物理页,所以地址数字相同并不代表访问同一份数据。共享内存则反过来,让多个映射指向同一批物理页。进程之间的隔离和共享,都是通过映射关系与权限实现的。

2.1 多级页表与大页​

多级页表把映射信息分层保存,只为实际使用的地址区域分配下级表。如果进程的地址空间很大,却只用到分散的几段,就不用为所有空白区域都准备完整表项。代价是 TLB 未命中时,查找映射要经过多层。

大页使用更大的页面,让一条 TLB 映射覆盖更多内存,也减少所需页表项。代价是分配粒度变大,可能增加内存碎片和分配压力。Linux 的具体页大小取决于硬件架构和配置。

2.2 分页与分段​

分页按固定大小划分地址空间,映射单位是页;分段按代码、数据、栈等逻辑区域划分,段的长度可以不同。经典分段方案为每段保存基址和长度,先检查段内偏移是否合法,再形成访问地址。

固定大小的页容易分配到不连续的物理页框,但最后一页可能用不满,产生内部碎片。可变长度的段能表达逻辑区域,却可能在连续物理分配时留下难以利用的小空洞,形成外部碎片。两者是不同的组织思想,也可以组合,例如先确定段再在段内分页。

程序里的堆和栈描述存储用途与生命周期,并不等于某个硬件分段配置。栈用于保存调用状态,动态分配区允许对象跨调用存在;两者都处于进程虚拟地址空间中。Java、C++ 等运行时怎样管理对象,仍要按对应语言和实现解释,不能用“栈一定比堆快”概括所有操作。

2.3 地址位宽与页表层数​

地址位宽决定地址能表达的范围,页表层数则取决于硬件如何拆分地址。不能只看到“32 位”或“64 位”,就直接确定层数。以下专门使用 x86、4 KiB 普通页举例,不代表所有处理器:

分页模式虚拟地址的索引位与页内偏移硬件层数
32 位,未启用 PAE10 + 10 + 12两级,各级 1024 项,表项 4 字节
32 位,启用 PAE2 + 9 + 9 + 12三级,顶层 4 项,下两级各 512 项,表项 8 字节
x86-64,四级分页9 + 9 + 9 + 9 + 12四级,各级 512 项,表项 8 字节;使用 48 位有效虚拟地址
x86-64,五级分页9 + 9 + 9 + 9 + 9 + 12五级,各级 512 项,表项 8 字节;使用 57 位有效虚拟地址

4 KiB 是 4096 字节,因此页内偏移占 12 位。一个 4 KiB 页表页若每项 8 字节,就能容纳 512 项,需要 9 位索引;再加一级便多覆盖 9 位地址。32 位 PAE 的顶层只有 4 项,是这里的例外,不能把每一级都套成 512 项。

PAE(Physical Address Extension,物理地址扩展)允许 32 位 x86 系统使用更宽的物理地址,但单个进程的 32 位虚拟地址范围仍是 2^32 字节,即 4 GiB,其中还可能有内核保留区域和未映射区域。整机能使用超过 4 GiB 的物理内存,不代表一个 32 位进程能同时把它全部直接映射到自己的地址空间。

64 位指针也不意味着任意 64 位数都是可用地址。在普通 x86-64 四级分页的规范地址形式中,位 63 到位 48 必须复制位 47;五级分页则由位 56 向更高位扩展。这分别形成 48 位、57 位的有效地址范围,用户空间还只是其中一部分。物理地址宽度、CPU 能力、操作系统配置和进程资源限制要分别确认,不能用虚拟地址位数推算机器实际可装的内存。

大页可能在较高层直接完成映射,减少下级查找。Linux 的软件页表接口也会折叠硬件不需要的层,因此阅读内核代码时看到五级接口,不等于当前硬件每次都走五级。

2.4 Linux 进程地址空间布局​

进程地址空间布局描述不同用途的虚拟映射放在哪里、允许什么访问。下面列出 Linux 用户进程中需要分清的区域,不规定它们必须出现在某个固定地址:

区域主要内容与边界
代码与只读数据可执行指令、只读常量等,通常由可执行文件的不同权限映射承载
已初始化数据与 BSS可写全局或静态对象;BSS 表达零初始化区域,不需要在文件中逐字节保存全部零
brk 堆区通过 program break 调整边界的动态分配区域,分配器可以在其中切分对象
匿名映射与文件映射分配器取得的区域、映射文件、共享库等;动态分配不一定都落在 [heap]
线程栈每个线程的调用状态与自动变量所需空间,可能有保护页;并非每个局部变量都实际驻留在栈上

这里的代码段、数据段是程序布局概念,不要求为每一类都建立硬件分段。用户区域与内核区域存在地址和权限边界,用户程序不能把内核地址当成自己的普通内存访问;具体划分随架构与配置变化。

ASLR(Address Space Layout Randomization,地址空间布局随机化)会改变栈、映射等区域的位置,程序是否采用位置无关可执行文件等装载条件也会影响布局。教科书上“堆向上、栈向下”的图适合帮助理解,不能据此断定所有映射连续排列,或所有线程共享一条栈。

实际排查可查看 /proc/<pid>/maps 的地址范围、读写执行权限和映射文件;[heap]、[stack] 只是其中的标记,线程栈或分配器区域不一定都有直观名称。要判断物理驻留情况,还需结合 smaps 等统计,不能只把虚拟范围相加。

3. 缺页与按需分配​

缺页异常是在访问缺少所需映射或权限的页面时,交给内核处理的异常。它不一定代表程序出错:页面可能只是还没分配,也可能需要执行写时复制。内核会检查这段地址是否允许访问,再决定怎样处理:

情况处理方式
新匿名页首次写入分配清零的物理页并建立映射。
写时复制页发生写入建立可写私有页,必要时复制旧内容。
文件页尚未驻留从文件读取所需内容。
页面已换出从交换区读回。
非法地址或权限错误向进程发送信号等异常处理。

minor fault 不需要从存储读入页面,例如部分首次分配和写时复制;major fault 则需要相应的存储 I/O。两者都与 TLB 未命中不同:TLB 未命中只是缓存里没有转换结果,页表本身仍可能完全有效。

3.1 malloc、brk 与 mmap​

malloc 是 C 库提供的动态内存分配接口,不是 Linux 系统调用。以 glibc 为例,分配器管理已经取得的内存,可以直接复用空闲块;需要更多空间时,才可能通过内核扩展区域。

brk 调整 program break,也就是传统堆区的末端;匿名 mmap 建立一段匿名虚拟映射,不要求与原堆区相邻。glibc 可以通过这些方式取得区域,再在用户态切分和管理。分配器中的 arena 是一组用于管理分配块的区域和状态,多线程实现可以使用多个 arena 减少竞争。

一般可以先从“小块优先复用已有分配器空间、较大块可能使用独立匿名映射”理解,但不能背成“小于某个数字一定 brk,大于它一定 mmap”。glibc 的映射阈值会受配置和动态调整影响,已有空闲块、arena 和其他分配器实现也会改变路径。Go 运行时的分配器另有组织方式,不能直接套用 glibc 的规则。

比较快慢时,要把分配路径和后续访问分开:

  • 复用已有小块可能无需系统调用,但仍可能付出查找、同步和碎片管理成本。
  • 新建或调整映射涉及内核的虚拟区域管理;区域越大不表示每个物理页都已分配。
  • 首次写入新匿名页可能触发缺页,产生物理分配和清零成本;只测申请返回的时间,会漏掉这些成本。malloc 本身并不承诺返回的对象内容已经初始化。
  • free 把对象交回分配器后,区域可能暂留以便复用;独立映射可以被解除,但并非所有释放都立即降低 RSS。

因此,没有脱离分配器、块大小、线程竞争和访问方式的“哪个系统调用一定更快”。若项目使用内存池,能直接解释的收益是减少重复申请、释放和管理开销;是否有收益,仍需用实际负载测量,不能把池里的空闲内存当成没有成本。

4. 写时复制与文件映射​

写时复制(Copy-on-Write,COW)是先共享页面,等需要写入时再建立私有可写页。Linux fork 后,父子进程的私有页面可以暂时共享;某一方写入时触发保护异常,由内核按需复制内容并建立自己的可写映射。这样就省去了创建子进程时立即复制全部数据的成本,但写入越密集,后续缺页处理和内存占用也会增加。

mmap 把文件或匿名区域映射到进程地址空间,修改的含义取决于映射方式:

  • MAP_PRIVATE 使用写时复制,修改留在私有映射中,不通过这份映射写回底层文件。
  • MAP_SHARED 让修改可以被其他共享映射观察;如果映射由文件支持,还会更新底层文件。

共享映射中的修改能被其他进程看见,不等于已经同步到磁盘。文件映射需要主动请求同步时,可以使用 msync(MS_SYNC)。多个进程同时更新共享区域,也仍然需要锁等同步机制,映射本身不会替你协调更新顺序。

5. 页面回收与内存指标​

页面能否直接回收,取决于内容有没有其他保存位置。文件支持的干净页与文件内容一致,回收后可以在下次访问时重新读取;被修改过的脏页则要先写回。匿名页没有这样的文件来源,回收还涉及交换配置或释放进程内存。

观察内存时,要区分地址空间与实际驻留页面。虚拟内存大小统计的是地址范围;RSS 统计当前驻留在物理内存中的页面,同一共享页会在多个进程中各算一次;PSS 则把共享页按共享者分摊,更适合比较各进程分担的物理内存占用。

工作集是任务当前执行需要反复访问的一批页面。如果它超过可用内存,刚回收的页很快又要读回来,频繁回收和缺页就会拖慢程序。页面反复换入换出的现象称为抖动,需要结合 major fault、I/O 和工作集大小判断。

5.1 页面置换策略​

页面置换策略决定内存紧张时优先移出哪些页面。目标不只是腾出空间,还包括减少很快又访问这些页面产生的缺页和 I/O。

策略选择依据边界
FIFO最早进入内存的页忽略近期访问,增加页框也不保证缺页数减少
LRU最久没有使用的页依赖过去访问预测未来,精确维护每次访问的顺序有成本
OPT未来最晚再次使用的页需要预知未来,用作给定访问序列的比较基准
Clock环形检查访问标记,给近期访问过的页再次机会近似利用近期访问情况,不等于精确 LRU

例如只有两个页框,依次访问 A、B、A、C:装入 C 时,FIFO 淘汰先进入的 A,LRU 淘汰更久未访问的 B。两者答案不同,是因为“进入时间”和“最近使用时间”不同。

这些算法帮助解释选择依据;Linux 的实际回收还要考虑文件页与匿名页、访问反馈、脏页写回和内存组约束,不能直接称作一份纯 FIFO 或精确 LRU 程序。

6. 使用边界​

申请虚拟空间成功,不代表所有物理页都已经准备好,实际页面可能到访问时才分配。Linux 的 overcommit 策略允许先批准部分内存申请,而不立即为它准备全部物理内存,因此后续访问或分配时仍可能遇到内存不足。

判断内存是否泄漏,要结合 RSS、PSS、映射类型以及它们随负载的变化。仅看到很大的虚拟地址范围,还不能说明物理内存正在持续泄漏。

7. 面试题卡片​

8. 参考资料​

来源:Coding 101 原文 · 免费阅读,引用请保留出处。内容使用说明