1.技術(shù)背景

說到壓縮這個詞，我們并不陌生，應(yīng)該都能想到是降低占用空間，使同樣的空間可以存放更多的東西，類似于我們平時常用的文件壓縮,內(nèi)存壓縮同樣也是為了節(jié)省內(nèi)存。

盡管當(dāng)前android手機6GB，8GB甚至12GB的機器都較為常見了，但內(nèi)存無論多大，總是會有不夠用的時候。當(dāng)系統(tǒng)內(nèi)存緊張的時候，會將文件頁丟棄或回寫回磁盤（如果是臟頁），還可能會觸發(fā)LMK殺進程進行內(nèi)存回收。這些被回收的內(nèi)存如果再次使用都需要重新從磁盤讀取，而這個過程涉及到較多的IO操作。就目前的技術(shù)而言，IO的速度遠遠慢于這RAM操作速度。因此，如果頻繁地做IO操作，不僅影響flash使用壽命，還嚴重影響系統(tǒng)性能。內(nèi)存壓縮是一種讓IO過程平滑過渡的做法, 即盡量減少由于內(nèi)存緊張導(dǎo)致的IO，提升性能。

2.主流內(nèi)存壓縮技術(shù)

目前linux內(nèi)核主流的內(nèi)存壓縮技術(shù)主要有3種：zSwap, zRAM, zCache。

2.1zSwap

zSwap是在memory與flash之間的一層“cache”,當(dāng)內(nèi)存需要swap出去磁盤的時候，先通過壓縮放到zSwap中去，zSwap空間按需增長。達到一定程度后則會按照LRU的順序(前提是使用的內(nèi)存分配方法需要支持LRU)將就最舊的page解壓寫入磁盤swap device，之后將當(dāng)前的page壓縮寫入zSwap。

zswap本身存在一些缺陷或問題:

1) 如果開啟當(dāng)zswap滿交換出backing store的功能, 由于需要將zswap里的內(nèi)存按LRU順序解壓再swap out, 這就要求內(nèi)存分配器支持LRU功能。

2) 如果不開啟當(dāng)zswap滿交換出backing store的功能, 和zRam是類似的。

2.2zRram

zRram即壓縮的內(nèi)存， 使用內(nèi)存模擬block device的做法。實際不會寫到塊設(shè)備中去，只會壓縮后寫到模擬的塊設(shè)備中，其實也就是還是在RAM中，只是通過壓縮了。由于壓縮和解壓縮的速度遠比讀寫IO好，因此在移動終端設(shè)備廣泛被應(yīng)用。zRam是基于RAM的block device, 一般swap priority會比較高。只有當(dāng)其滿，系統(tǒng)才會考慮其他的swap devices。當(dāng)然這個優(yōu)先級用戶可以配置。

zRram本身存在一些缺陷或問題:

1) zRam大小是可靈活配置的, 那是不是配置越大越好呢? 如果不是,配置多大是最合適的呢?

2) 使用zRam可能會在低內(nèi)存場景由于頻繁的內(nèi)存壓縮導(dǎo)致kswapd進程占CPU高, 怎樣改善?

3) 增大了zRam配置,對系統(tǒng)內(nèi)存碎片是否有影響?

要利用好zRam功能, 并不是簡單地配置了就OK了, 還需要對各種場景和問題都做好處理, 才能發(fā)揮最優(yōu)的效果。

2.3zCache

zCache是oracle提出的一種實現(xiàn)文件頁壓縮技術(shù)，也是memory與block dev之間的一層“cache”,與zswap比較接近，但zcache目前壓縮的是文件頁，而zSwap和zRAM壓縮是匿名頁。

zcache本身存在一些缺陷或問題:

1) 有些文件頁可能本身是壓縮的內(nèi)容, 這時可能無法再進行壓縮了

2) zCache目前無法使用zsmalloc, 如果使用zbud,壓縮率較低

3) 使用的zbud/z3fold分配的內(nèi)存是不可移動的, 需要關(guān)注內(nèi)存碎片問題

3.內(nèi)存壓縮主流的內(nèi)存分配器

3.2.1Zsmalloc

zsmalloc是為ZRAM設(shè)計的一種內(nèi)存分配器。內(nèi)核已經(jīng)有slub了， 為什么還需要zsmalloc內(nèi)存分配器？這是由內(nèi)存壓縮的場景和特點決定的。zsmalloc內(nèi)存分配器期望在低內(nèi)存的場景也能很好地工作，事實上，當(dāng)需要壓縮內(nèi)存進行zsmalloc內(nèi)存分配時，內(nèi)存一般都比較緊張且內(nèi)存碎片都比較嚴重了。如果使用slub分配， 很可能由于高階內(nèi)存分配不到而失敗。另外，slub也可能導(dǎo)致內(nèi)存碎片浪費比較嚴重，最壞情況下，當(dāng)對象大小略大于PAGE_SIZE/2時，每個內(nèi)存頁接近一般的內(nèi)存將被浪費。

Android手機實測發(fā)現(xiàn)，anon pages的平均壓縮比大約在1:3左右，所以compressed anon page size很多在1.2K左右。如果是Slub，為了分配大量1.2K的內(nèi)存，可能內(nèi)存浪費嚴重。zsmalloc分配器嘗試將多個相同大小的對象存放在組合頁（稱為zspage）中，這個組合頁不要求物理連續(xù)，從而提高內(nèi)存的使用率。

需要注意的是, 當(dāng)前zsmalloc不支持LRU功能, 舊版本內(nèi)核分配的不可移動的頁, 對內(nèi)存碎片影響嚴重, 但最新版本內(nèi)核已經(jīng)是支持分配可移動類型內(nèi)存了。

3.2.2 Zbud

zbud是一個專門為存儲壓縮page而設(shè)計的內(nèi)存分配器。用于將2個objects存到1個單獨的page中。zbud是可以支持LRU的, 但分配的內(nèi)存是不可移動的。

3.2.3 Z3fold

z3fold是一個較新的內(nèi)存分配器, 與zbud不同的是, 將3個objects存到1個單獨的page中,也就是zbud內(nèi)存利用率極限是1:2, z3fold極限是1:3。同樣z3fold是可以支持LRU的, 但分配的內(nèi)存是不可移動的。

4.內(nèi)存壓縮技術(shù)與內(nèi)存分配器組合對比分析

結(jié)合上面zSwap / zRam /zCache的介紹, 與zsmalloc/zbud/z3fold分別怎樣組合最合適呢?

下面總結(jié)了一下, 具體原因可以看上面介紹的時候各類型的特點。

5.zRAM技術(shù)原理

本文重點介紹zRam內(nèi)存壓縮技術(shù)，它是目前移動終端廣泛使用的內(nèi)存壓縮技術(shù)。

5.1軟件框架

下圖展示了內(nèi)存管理大體的框架， 內(nèi)存壓縮技術(shù)處于內(nèi)存回收memory reclaim部分中。

再具體到zRam, 它的軟件架構(gòu)可以分為3部分， 分別是數(shù)據(jù)流操作，內(nèi)存壓縮算法 ，zram驅(qū)動。

數(shù)據(jù)流操作:提供串行或者并行的壓縮和解壓操作。

內(nèi)存壓縮算法：每種壓縮算法提供壓縮和解壓縮的具體實現(xiàn)回調(diào)接口供數(shù)據(jù)操作調(diào)用。

Zram驅(qū)動：創(chuàng)建一個基于ram的塊設(shè)備， 并提供IO請求處理接口。

5.2實現(xiàn)原理

Zram內(nèi)存壓縮技術(shù)本質(zhì)上就是以時間換空間。通過CPU壓縮、解壓縮的開銷換取更大的可用內(nèi)存空間。

我們主要描述清楚下面這2個問題：

1） 什么時候會進行內(nèi)存壓縮？

2） 進行內(nèi)存壓縮/解壓縮的流程是怎樣的？

進行內(nèi)存壓縮的時機：

1） Kswapd場景：kswapd是內(nèi)核內(nèi)存回收線程， 當(dāng)內(nèi)存watermark低于low水線時會被喚醒工作， 其到內(nèi)存watermark不小于high水線。

2） Direct reclaim場景：內(nèi)存分配過程進入slowpath, 進行直接行內(nèi)存回收。

下面是基于4.4內(nèi)核理出的內(nèi)存壓縮、解壓縮流程。

內(nèi)存回收過程路徑進行內(nèi)存壓縮。會將非活躍鏈表的頁進行shrink, 如果是匿名頁會進行pageout, 由此進行內(nèi)存壓縮存放到ZRAM中， 調(diào)用路徑如下：

在匿名頁換出到swap設(shè)備后， 訪問頁時， 產(chǎn)生頁訪問錯誤, 當(dāng)發(fā)現(xiàn)“頁表項不為空， 但頁不在內(nèi)存中”， 該頁就是已換到swap區(qū)中，由此會開始將該頁從swap區(qū)中重新讀取， 如果是ZRAM， 則是解壓縮的過程。調(diào)用路徑如下：

5.3內(nèi)存壓縮算法

目前比較主流的內(nèi)存算法主要為LZ0, LZ4, ZSTD等。下面截取了幾種算法在x86機器上的表現(xiàn)。各算法有各自特點， 有以壓縮率高的， 有壓縮/解壓快的等， 具體要結(jié)合需求場景選擇使用。

6.zRAM技術(shù)應(yīng)用

本節(jié)描述一下在使用ZRAM常遇到的一些使用或配置，調(diào)試的方法。

6.1如何配置開啟zRAM

1）配置內(nèi)存壓縮算法

下面例子配置壓縮算法為lz4

echo lz4 > /sys/block/zram0/comp_algorithm

2）配置ZRAM大小

下面例子配置zram大小為2GB

echo 2147483648 > /sys/block/zram0/disksize

3）使能zram

mkswap /dev/zram0

swapon /dev/zram0

6.2swappiness含義簡述

swappiness參數(shù)是內(nèi)核傾向于回收匿名頁到swap（使用的ZRAM就是swap設(shè)備）的積極程度， 原生內(nèi)核范圍是0~100， 參數(shù)值越大， 表示回收匿名頁到swap的比例就越大。如果配置為0， 表示僅回收文件頁，不回收匿名頁。默認值為60?？梢酝ㄟ^節(jié)點“/proc/sys/vm/swappiness”配置。

6.3zRam相關(guān)的技術(shù)指標(biāo)

1）ZRAM大小及剩余空間

Proc/meminfo中可以查看相關(guān)信息

SwapTotal：swap總大小, 如果配置為ZRAM, 這里就是ZRAM總大小

SwapFree：swap剩余大小, 如果配置為ZRAM, 這里就是ZRAM剩余大小

當(dāng)然， 節(jié)點 /sys/block/zram0/disksize是最直接的。

2）ZRAM壓縮率

/sys/block/zram/mm_stat中有壓縮前后的大小數(shù)據(jù)， 由此可以計算出實際的壓縮率

orig_data_size：壓縮前數(shù)據(jù)大小， 單位為bytes

compr_data_size ：壓縮后數(shù)據(jù)大小， 單位為bytes

3）換出/換入swap區(qū)的總量, proc/vmstat中中有相關(guān)信息

pswpin:換入總量， 單位為page

pswout:換出總量， 單位為page

6.4zRam相關(guān)優(yōu)化

上面提到zRam的一些缺陷, 怎么去改善呢?

1) zRam大小是可靈活配置的, 那是不是配置越大越好呢? 如果不是配置多大是最合適的呢?

zRam大小的配置比較靈活, 如果zRam配置過大, 后臺緩存了應(yīng)用過多, 這也是有可能會影響前臺應(yīng)用使用的流暢度。另外, zRam配置越大, 也需要關(guān)注系統(tǒng)的內(nèi)存碎片化情。因此zRam并不是配置越大越好,具體的大小需要根據(jù)內(nèi)存總大小及系統(tǒng)負載情況考慮及實測而定。

2) 使用zRam,可能會存在低內(nèi)存場景由于頻繁的內(nèi)存壓縮導(dǎo)致kswapd進程占CPU高, 怎樣改善?

zRam本質(zhì)就是以時間換空間, 在低內(nèi)存的情況下, 肯定會比較頻繁地回收內(nèi)存, 這時kswapd進程是比較活躍的, 再加上通過壓縮內(nèi)存, 會更加消耗CPU資源。 改善這種情況方法也比較多, 比如, 可以使用更優(yōu)的壓縮算法, 區(qū)別使用場景, 后臺不影響用戶使用的場景異步進行深度內(nèi)存壓縮, 與用戶體驗相關(guān)的場景同步適當(dāng)減少內(nèi)存壓縮, 通過增加文件頁的回收比例加快內(nèi)存回收等等。

3) 增大了zRam配置,對系統(tǒng)內(nèi)存碎片是否有影響?

使用zRam是有可能導(dǎo)致系統(tǒng)內(nèi)存碎片變得更嚴重的, 特別是zsmalloc分配不支持可移動內(nèi)存類型的時候。新版的內(nèi)核zsmalloc已經(jīng)支持可移動類型分配的， 但由于增大了zRam,結(jié)合android手機的使用特點, 仍然會有可能導(dǎo)致系統(tǒng)內(nèi)存碎片較嚴重的情況,因些內(nèi)存碎片問題也是需要重點關(guān)注的。解決系統(tǒng)內(nèi)存碎片的方法也比較多, 可以結(jié)合具體的原因及場景進行優(yōu)化。

7.參考資料

1)https://github.com/lz4/lz4

2) kernel\Documentation\blockdev\zram.txt

3) kernel\Documentation\vm\zswap.txt

4) kernel\Documentation\sysctl\vm.txt