Linux 的虛擬內(nèi)存管理有幾個關(guān)鍵概念：

每個進程有獨立的虛擬地址空間，進程訪問的虛擬地址并不是真正的物理地址

虛擬地址可通過每個進程上頁表與物理地址進行映射，獲得真正物理地址

如果虛擬地址對應(yīng)物理地址不在物理內(nèi)存中，則產(chǎn)生缺頁中斷，真正分配物理地址，同時更新進程的頁表；如果此時物理內(nèi)存已耗盡，則根據(jù)內(nèi)存替換算法淘汰部分頁面至物理磁盤中。

基于以上認(rèn)識，這篇文章通過本人以前對虛擬內(nèi)存管理的疑惑由淺入深整理了以下十個問題，并通過例子和系統(tǒng)命令嘗試進行解答。

Linux 虛擬地址空間如何分布？ 32 位和 64 位有何不同？

malloc 是如何分配內(nèi)存的？

malloc 分配多大的內(nèi)存，就占用多大的物理內(nèi)存空間嗎？

如何查看進程虛擬地址空間的使用情況？

free 的內(nèi)存真的釋放了嗎（還給 OS ） ?

程序代碼中 malloc 的內(nèi)存都有相應(yīng)的 free ，就不會出現(xiàn)內(nèi)存泄露了嗎？

既然堆內(nèi)內(nèi)存不能直接釋放，為什么不全部使用 mmap 來分配？

如何查看進程的缺頁中斷信息？

如何查看堆內(nèi)內(nèi)存的碎片情況？

除了 glibc 的 malloc/free ，還有其他第三方實現(xiàn)嗎？

一.Linux 虛擬地址空間如何分布？ 32 位和 64 位有何不同？

Linux 使用虛擬地址空間，大大增加了進程的尋址空間，由低地址到高地址分別為：

只讀段：該部分空間只能讀，不可寫，包括代碼段、 rodata 段（ C 常量字符串和 #define 定義的常量）

數(shù)據(jù)段：保存全局變量、靜態(tài)變量的空間

堆 ：就是平時所說的動態(tài)內(nèi)存， malloc/new 大部分都來源于此。其中堆頂?shù)奈恢每赏ㄟ^函數(shù) brk 和 sbrk 進行動態(tài)調(diào)整。

文件映射區(qū)域 ：如動態(tài)庫、共享內(nèi)存等映射物理空間的內(nèi)存，一般是 mmap 函數(shù)所分配的虛擬地址空間。

棧：用于維護函數(shù)調(diào)用的上下文空間，一般為 8M ，可通過 ulimit –s 查看。

內(nèi)核虛擬空間：用戶代碼不可見的內(nèi)存區(qū)域，由內(nèi)核管理。

下圖是 32 位系統(tǒng)典型的虛擬地址空間分布（來自《深入理解計算機系統(tǒng)》）。

32 位系統(tǒng)有 4G 的地址空間，其中0x08048000~0xbfffffff?是用戶空間，0xc0000000~0xffffffff?是內(nèi)核空間，包括內(nèi)核代碼和數(shù)據(jù)、與進程相關(guān)的數(shù)據(jù)結(jié)構(gòu)（如頁表、內(nèi)核棧）等。另外， %esp 執(zhí)行棧頂，往低地址方向變化； brk/sbrk 函數(shù)控制堆頂往高地址方向變化。

可通過以下代碼驗證進程的地址空間分布，其中 sbrk(0) 函數(shù)用于返回棧頂指針。

#include #include #include #include int global_num = 0;char global_str_arr [65536] = {'a'};int main(int argc, char** argv){ char* heap_var = NULL; int local_var = 0; printf("Address of function main 0x%lx\n", main); printf("Address of global_num 0x%lx\n", &global_num); printf("Address of global_str_arr 0x%lx ~ 0x%lx\n", &global_str_arr[0], &global_str_arr[65535]); printf("Top of stack is 0x%lx\n", &local_var); printf("Top of heap is 0x%lx\n", sbrk(0)); heap_var = malloc(sizeof(char) * 127 * 1024); printf("Address of heap_var is 0x%lx\n", heap_var); printf("Top of heap after malloc is 0x%lx\n", sbrk(0)); free(heap_var); heap_var = NULL; printf("Top of heap after free is 0x%lx\n", sbrk(0)); return 1;}

32 位系統(tǒng)的結(jié)果如下，與上圖的劃分保持一致，并且棧頂指針在 mallloc 和 free 一個 127K 的存儲空間時都發(fā)生了變化（增大和縮?。?。

Address of function main 0x8048474Address of global_num 0x8059904Address of global_str_arr 0x8049900 ~ 0x80598ffTop of stack is 0xbfd0886cTop of heap is 0x805a000Address of heap_var is 0x805a008Top of heap after malloc is 0x809a000Top of heap after free is 0x807b000

但是， 64 位系統(tǒng)結(jié)果怎樣呢？ 64 位系統(tǒng)是否擁有 2^64 的地址空間嗎？

64 位系統(tǒng)運行結(jié)果如下：

Address of function main 0x400594Address of global_num 0x610b90Address of global_str_arr 0x600b80 ~ 0x610b7fTop of stack is 0x7fff2e9e4994Top of heap is 0x8f5000Address of heap_var is 0x8f5010Top of heap after malloc is 0x935000Top of heap after free is 0x916000

從結(jié)果知，與上圖的分布并不一致。而事實上， 64 位系統(tǒng)的虛擬地址空間劃分發(fā)生了改變：

地址空間大小不是 2^32 ，也不是 2^64 ，而一般是 2^48 。因為并不需要 2^64 這么大的尋址空間，過大空間只會導(dǎo)致資源的浪費。 64 位 Linux 一般使用 48 位來表示虛擬地址空間， 40 位表示物理地址，這可通過 /proc/cpuinfo 來查看

address sizes : 40 bits physical, 48 bits virtual

其中，?0x0000000000000000~0x00007fffffffffff表示用戶空間，0xFFFF800000000000~ 0xFFFFFFFFFFFFFFFF表示內(nèi)核空間，共提供 256TB(2^48) 的尋址空間。這兩個區(qū)間的特點是，第 47 位與 48~63 位相同，若這些位為 0 表示用戶空間，否則表示內(nèi)核空間。

用戶空間由低地址到高地址仍然是只讀段、數(shù)據(jù)段、堆、文件映射區(qū)域和棧

二.malloc 是如何分配內(nèi)存的？

malloc 是 glibc 中內(nèi)存分配函數(shù)，也是最常用的動態(tài)內(nèi)存分配函數(shù)，其內(nèi)存必須通過 free 進行釋放，否則導(dǎo)致內(nèi)存泄露。

關(guān)于 malloc 獲得虛存空間的實現(xiàn)，與 glibc 的版本有關(guān)，但大體邏輯是：

若分配內(nèi)存小于 128k ，調(diào)用 sbrk() ，將堆頂指針向高地址移動，獲得新的虛存空間。

若分配內(nèi)存大于 128k ，調(diào)用 mmap() ，在文件映射區(qū)域中分配匿名虛存空間。

這里討論的是簡單情況，如果涉及并發(fā)可能會復(fù)雜一些，不過先不討論。

其中 sbrk 就是修改棧頂指針位置，而 mmap 可用于生成文件的映射以及匿名頁面的內(nèi)存，這里指的是匿名頁面。

而這個 128k ，是 glibc 的默認(rèn)配置，可通過函數(shù) mallopt 來設(shè)置，可通過以下例子說明。

#include #include #include #include #include #include void print_info( char* var_name, char* var_ptr, size_t size_in_kb){ printf("Address of %s(%luk) 0x%lx, now heap top is 0x%lx\n", var_name, size_in_kb, var_ptr, sbrk(0));}int main(int argc, char** argv){ char *heap_var1, *heap_var2, *heap_var3 ; char *mmap_var1, *mmap_var2, *mmap_var3 ; char *maybe_mmap_var; printf("Orginal heap top is 0x%lx\n", sbrk(0)); heap_var1 = malloc(32*1024); print_info("heap_var1", heap_var1, 32); heap_var2 = malloc(64*1024); print_info("heap_var2", heap_var2, 64); heap_var3 = malloc(127*1024); print_info("heap_var3", heap_var3, 127); printf("\n"); maybe_mmap_var = malloc(128*1024); print_info("maybe_mmap_var", maybe_mmap_var, 128); //mmap mmap_var1 = malloc(128*1024); print_info("mmap_var1", mmap_var1, 128); // set M_MMAP_THRESHOLD to 64k mallopt(M_MMAP_THRESHOLD, 64*1024); printf("set M_MMAP_THRESHOLD to 64k\n"); mmap_var2 = malloc(64*1024); print_info("mmap_var2", mmap_var2, 64); mmap_var3 = malloc(127*1024); print_info("mmap_var3", mmap_var3, 127); return 1;}

這個例子很簡單，通過 malloc 申請多個不同大小的動態(tài)內(nèi)存，同時通過接口 print_info 打印變量大小和地址等相關(guān)信息，其中 sbrk(0) 可返回堆頂指針位置。另外，粗體部分是將 MMAP 分配的臨界點由 128k 轉(zhuǎn)為 64k ，再打印變量地址的不同。

下面是 Linux 64 位機器的執(zhí)行結(jié)果（后文所有例子都是通過 64 位機器上的測試結(jié)果）。

Orginal heap top is 0x17da000Address of heap_var1(32k) 0x17da010, now heap top is 0x1803000Address of heap_var2(64k) 0x17e2020, now heap top is 0x1803000Address of heap_var3(127k) 0x17f2030, now heap top is 0x1832000Address of maybe_mmap_var(128k) 0x1811c40, now heap top is 0x1832000Address of mmap_var1(128k) 0x7f4a0b1f2010, now heap top is 0x1832000set M_MMAP_THRESHOLD to 64kAddress of mmap_var2(64k) 0x7f4a0b1e1010, now heap top is 0x1832000Address of mmap_var3(127k) 0x7f4a0b1c1010, now heap top is 0x1832000

三.malloc 分配多大的內(nèi)存，就占用多大的物理內(nèi)存空間嗎？

我們知道， malloc 分配的的內(nèi)存是虛擬地址空間，而虛擬地址空間和物理地址空間使用進程頁表進行映射，那么分配了空間就是占用物理內(nèi)存空間了嗎？

首先，進程使用多少內(nèi)存可通過 ps aux 命令 查看，其中關(guān)鍵的兩信息（第五、六列）為：

VSZ ， virtual memory size ，表示進程總共使用的虛擬地址空間大小，包括進程地址空間的代碼段、數(shù)據(jù)段、堆、文件映射區(qū)域、棧、內(nèi)核空間等所有虛擬地址使用的總和，單位是 K

RSS ， resident set size ，表示進程實際使用的物理內(nèi)存空間， RSS 總小于 VSZ 。

可通過一個例子說明這個問題：

#include #include #include #include #include #include char ps_cmd[1024];void print_info( char* var_name, char* var_ptr, size_t size_in_kb){ printf("Address of %s(%luk) 0x%lx, now heap top is 0x%lx\n", var_name, size_in_kb, var_ptr, sbrk(0)); system(ps_cmd);}int main(int argc, char** argv){ char *non_set_var, *set_1k_var, *set_5k_var, *set_7k_var; pid_t pid; pid = getpid(); sprintf(ps_cmd, "ps aux | grep %lu | grep -v grep", pid); non_set_var = malloc(32*1024); print_info("non_set_var", non_set_var, 32); set_1k_var = malloc(64*1024); memset(set_1k_var, 0, 1024); print_info("set_1k_var", set_1k_var, 64); set_5k_var = malloc(127*1024); memset(set_5k_var, 0, 5*1024); print_info("set_5k_var", set_5k_var, 127); set_7k_var = malloc(64*1024); memset(set_1k_var, 0, 7*1024); print_info("set_7k_var", set_7k_var, 64); return 1;}

該代碼擴展了上一個例子print_info能力，處理打印變量信息，同時通過 ps aux 命令獲得當(dāng)前進程的 VSZ 和 RSS 值。并且程序 malloc 一塊內(nèi)存后，會 memset 內(nèi)存的若干 k 內(nèi)容。

執(zhí)行結(jié)果為

Address of non_set_var(32k) 0x502010, now heap top is 0x52b000mysql 12183 0.0 0.0 2692 452 pts/3 S+ 20:29 0:00 ./test_vszAddress of set_1k_var(64k) 0x50a020, now heap top is 0x52b000mysql 12183 0.0 0.0 2692 456 pts/3 S+ 20:29 0:00 ./test_vszAddress of set_5k_var(127k) 0x51a030, now heap top is 0x55a000mysql 12183 0.0 0.0 2880 464 pts/3 S+ 20:29 0:00 ./test_vszAddress of set_7k_var(64k) 0x539c40, now heap top is 0x55a000mysql 12183 0.0 0.0 2880 472 pts/3 S+ 20:29 0:00 ./test_vsz

由以上結(jié)果知：

VSZ 并不是每次 malloc 后都增長，是與上一節(jié)說的堆頂沒發(fā)生變化有關(guān)，因為可重用堆頂內(nèi)剩余的空間，這樣的 malloc 是很輕量快速的。

但如果 VSZ 發(fā)生變化，基本與分配內(nèi)存量相當(dāng)，因為 VSZ 是計算虛擬地址空間總大小。

RSS 的增量很少，是因為 malloc 分配的內(nèi)存并不就馬上分配實際存儲空間，只有第一次使用，如第一次 memset 后才會分配。

由于每個物理內(nèi)存頁面大小是 4k ，不管 memset 其中的 1k 還是 5k 、 7k ，實際占用物理內(nèi)存總是 4k 的倍數(shù)。所以 RSS 的增量總是 4k 的倍數(shù)。

因此，不是 malloc 后就馬上占用實際內(nèi)存，而是第一次使用時發(fā)現(xiàn)虛存對應(yīng)的物理頁面未分配，產(chǎn)生缺頁中斷，才真正分配物理頁面，同時更新進程頁面的映射關(guān)系。這也是 Linux 虛擬內(nèi)存管理的核心概念之一。

四. 如何查看進程虛擬地址空間的使用情況？

進程地址空間被分為了代碼段、數(shù)據(jù)段、堆、文件映射區(qū)域、棧等區(qū)域，那怎么查詢這些虛擬地址空間的使用情況呢？

Linux 提供了 pmap 命令來查看這些信息，通常使用?pmap -d $pid?（高版本可提供?pmap -x $pid）查詢，如下所示：

mysql@ TLOG_590_591:~/vin/test_memory> pmap -d 1786717867: test_mmapSTART SIZE RSS DIRTY PERM OFFSET DEVICE MAPPING00400000 8K 4K 0K r-xp 00000000 08:01 /home/mysql/vin/test_memory/test_mmap00501000 68K 8K 8K rw-p 00001000 08:01 /home/mysql/vin/test_memory/test_mmap00512000 76K 0K 0K rw-p 00512000 00:00 [heap]0053e000 256K 0K 0K rw-p 0053e000 00:00 [anon]2b3428f97000 108K 92K 0K r-xp 00000000 08:01 /lib64/ld-2.4.so2b3428fb2000 8K 8K 8K rw-p 2b3428fb2000 00:00 [anon]2b3428fc1000 4K 4K 4K rw-p 2b3428fc1000 00:00 [anon]2b34290b1000 8K 8K 8K rw-p 0001a000 08:01 /lib64/ld-2.4.so2b34290b3000 1240K 248K 0K r-xp 00000000 08:01 /lib64/libc-2.4.so2b34291e9000 1024K 0K 0K ---p 00136000 08:01 /lib64/libc-2.4.so2b34292e9000 12K 12K 12K r--p 00136000 08:01 /lib64/libc-2.4.so2b34292ec000 8K 8K 8K rw-p 00139000 08:01 /lib64/libc-2.4.so2b34292ee000 1048K 36K 36K rw-p 2b34292ee000 00:00 [anon]7fff81afe000 84K 12K 12K rw-p 7fff81afe000 00:00 [stack]ffffffffff600000 8192K 0K 0K ---p 00000000 00:00 [vdso]Total: 12144K 440K 96K

從這個結(jié)果可以看到進程虛擬地址空間的使用情況，包括起始地址、大小、實際使用內(nèi)存、臟頁大小、權(quán)限、偏移、設(shè)備和映射文件等。 pmap 命令就是基于下面兩文件內(nèi)容進行解析的：

/proc/$pid/maps /proc/$pid/smaps

并且對于上述每個內(nèi)存塊區(qū)間，內(nèi)核會使用一個 vm_area_struct 結(jié)構(gòu)來維護，同時通過頁面建立與物理內(nèi)存的映射關(guān)系，如下圖所示。

?