詳解Linux內核內存管理架構

內存管理硬件架構

因為內存管理是內核最為核心的一個(gè)功能，針對內存管理性能優(yōu)化，除了軟件優(yōu)化，硬件架構也做了很多的優(yōu)化設計。下圖是一個(gè)目前主流處理器上的存儲器層次結構設計方案。

從圖中可以看出，對于邏輯cache架構讀寫(xiě)內存，硬件設計了3條優(yōu)化路徑。

· 首先L1 cache支持虛擬地址尋址，保證CPU出來(lái)的虛擬地址（VA）不需要轉換成物理地址（PA）就可以用來(lái)直接查找L1 cache，提高cache查找效率。當然用VA查找cache，有安全等缺陷，這需要CPU做一些特別的設計來(lái)進(jìn)行彌補，具體可以閱讀《計算機體系結構：量化研究方法》了解相關(guān)細節。

· 如果L1 cache沒(méi)有命中，這就需要進(jìn)行地址轉換，把VA轉換成PA。linux的內存映射管理是通過(guò)頁(yè)表來(lái)實(shí)現的，但是頁(yè)表是放在內存中的，如果每次地址轉換過(guò)程都需要訪(fǎng)問(wèn)一次內存，其效率是十分低下的。這里CPU通過(guò)TLB硬件單元（在MMU中）來(lái)加速地址轉換。

· 獲得PA后，在L2 cache中再查找緩存數據。L2 cache一般比L1 cache大一個(gè)數量級，其查找命中率也更高。如果命中獲得數據，則可避免去訪(fǎng)問(wèn)內存，提高訪(fǎng)問(wèn)效率。

可見(jiàn)，為了優(yōu)化內存訪(fǎng)問(wèn)效率，現代處理器引入多級cache、TLB等硬件模塊。每個(gè)硬件模塊內部還有大量的設計細節，這里不再深入，如有興趣可以閱讀《計算機體系結構：量化研究方法》等書(shū)籍進(jìn)一步了解。

內存映射空間劃分

根據不同的內存使用方式和使用場(chǎng)景需要，內核把內存映射地址空間劃分成多個(gè)部分，每個(gè)劃分空間都有自己的起止地址、分配接口和使用場(chǎng)景。下圖是一個(gè)常見(jiàn)的32位地址空間劃分結構。

· DMA內存動(dòng)態(tài)分配地址空間：一些DMA設備因為其自身尋址能力的限制，不能訪(fǎng)問(wèn)所有內存空間。如早期的ISA設備只能在24位地址空間執行DMA，即只能訪(fǎng)問(wèn)前16MB內存。所以需要劃分出DMA內存動(dòng)態(tài)分配空間，即DMA zone。其分配通過(guò)加上GFP_ATOMIC控制符的kmalloc接口來(lái)申請。

· 直接內存動(dòng)態(tài)分配地址空間：因為訪(fǎng)問(wèn)效率等原因，內核對內存采用簡(jiǎn)單的線(xiàn)性映射，但是因為32位CPU的尋址能力（4G大?。┖蛢群说刂房臻g起始的設置（3G開(kāi)始），會(huì )導致內核的地址空間資源不足，當內存大于1GB時(shí)，就無(wú)法直接映射所有內存。無(wú)法直接映射的地址空間部分，即highmem zone。在DMA zone和highmem zone中間的區域即normal zone，主要用于內核的動(dòng)態(tài)內存分配。其分配通過(guò)kmalloc接口來(lái)申請。

· 高端內存動(dòng)態(tài)分配地址空間：高端內存分配的內存是虛擬地址連續而物理地址不連續的內存，一般用于內核動(dòng)態(tài)加載的模塊和驅動(dòng)，因為內核可能運行了很久，內存頁(yè)面碎片情況嚴重，如果要申請大的連續地址的內存頁(yè)會(huì )比較困難，容易導致分配失敗。根據應用需要，高端內存分配提供多個(gè)接口:

vmalloc：指定分配大小，page位置和虛擬地址隱式分配；

vmap：指定page位置數組，虛擬地址隱式分配；

ioremap：指定物理地址和大小，虛擬地址隱式分配。

· 持久映射地址空間：內核上下文切換會(huì )伴隨著(zhù)TLB刷新，這會(huì )導致性能下降。但一些使用高端內存的模塊對性能也有很高要求。持久映射空間在內核上下文切換時(shí)，其TLB不刷新，所以它們映射的高端地址空間尋址效率較高。其分配通過(guò)kmap接口來(lái)申請。kmap與vmap的區別是：vmap可以映射一組page，即page不連續，但虛擬地址連續，而kmap只能映射一個(gè)page到虛擬地址空間。kmap主要用于fs、net等對高端內存訪(fǎng)問(wèn)有較高性能要求的模塊中。

· 固定映射地址空間：持久映射的問(wèn)題是可能會(huì )休眠，在中斷上下文、自旋鎖臨界區等不能阻塞的場(chǎng)景中不可用。為了解決這個(gè)問(wèn)題，內核又劃分出固定映射，其接口不會(huì )休眠。固定映射空間通過(guò)kmap_atomic接口來(lái)映射。kmap_atomic的使用場(chǎng)景與kmap較為相似，主要用于mm、fs、net等對高端內存訪(fǎng)問(wèn)有較高性能要求而且不能休眠的模塊中。

不同的CPU體系架構在地址空間劃分上不盡相同，但為了保證CPU體系差異對外部模塊不可見(jiàn)，內存地址空間的分配接口的語(yǔ)義是一致的。

因為64位CPU一般都不需要高端內存（當然也可以支持），在地址空間劃分上與32位CPU的差異較大，下圖是一個(gè)X86_64的內核地址空間劃分圖：

內存管理

內核內存管理的核心工作就是內存的分配回收管理，其內部分為2個(gè)體系：頁(yè)管理和對象管理。頁(yè)管理體系是一個(gè)兩級的層次結構，對象管理體系是一個(gè)三級的層次結構，分配成本和操作對CPU cache和TLB的負面影響，從上而下逐漸升高。

頁(yè)管理層次結構：由冷熱緩存、伙伴系統組成的兩級結構。負責內存頁(yè)的緩存、分配、回收。

對象管理層次結構：由per-cpu高速緩存、slab緩存、伙伴系統組成的三級結構。負責對象的緩存、分配、回收。這里的對象指小于一頁(yè)大小的內存塊。

除了內存分配，內存釋放也是按照此層次結構操作。如釋放對象，先釋放到per-cpu緩存，再釋放到slab緩存，最后再釋放到伙伴系統。

框圖中有三個(gè)主要模塊，即伙伴系統、slab分配器和per-cpu（冷熱）緩存。他們的對比分析如下。