InfiniBand 是一種被目前各種追求高性能的應(yīng)用廣泛使用的網(wǎng)絡(luò)互連技術(shù)，基于 IBTA（InfiniBand Trade Association）而定義的高帶寬、低延時(shí)、低 CPU 利用率、大規(guī)模易擴(kuò)展的通信技術(shù)。原生支持 RDMA 技術(shù)，在保證高帶寬輸出的基礎(chǔ)上，大大降低數(shù)據(jù)訪問延遲及通信過程中對(duì)于 CPU 資源的消耗，并支持各種先進(jìn)的網(wǎng)絡(luò)計(jì)算（In-Network Computing）技術(shù)，為高性能計(jì)算、人工智能、云計(jì)算、存儲(chǔ)等眾多數(shù)據(jù)密集型應(yīng)用提供了強(qiáng)大的網(wǎng)絡(luò)性能支撐。通過高速的 InfiniBand 技術(shù)，將業(yè)務(wù)負(fù)載由單機(jī)運(yùn)行轉(zhuǎn)化為基于多機(jī)協(xié)作的高性能計(jì)算集群，并使高性能集群的性能得以進(jìn)一步地釋放和優(yōu)化。

GreatSQL 是由萬里數(shù)據(jù)庫維護(hù)的國內(nèi)自主 MySQL 分支版本，專注于提升 MGR 可靠性及性能，支持 InnoDB 并行查詢特性，適用金融級(jí)應(yīng)用。

此次通過對(duì)比測試基于 InfiniBand 的 NVMe SSD 池化方案 及本地 NVMe SSD 的傳統(tǒng)方案的性能表現(xiàn)，評(píng)估使用基于 InfiniBand 的存算分離架構(gòu)對(duì)分布式數(shù)據(jù)庫性能的提升程度及擴(kuò)展性，經(jīng)過雙方合作，通過大量數(shù)據(jù)分析，可以看出基于 InfiniBand 池化方案的存算分離架構(gòu)的性能更優(yōu)穩(wěn)定性更強(qiáng)，為 GreatSQL 進(jìn)一步提升競爭力提供了有力的基礎(chǔ)平臺(tái)支撐。

1、NVIDIA InfiniBand 池化方案介紹

分布式數(shù)據(jù)庫集群由兩部分組成：

計(jì)算節(jié)點(diǎn)是無 SSD 盤的裸金屬服務(wù)器，運(yùn)行 MySQL 業(yè)務(wù)程序；

存儲(chǔ)節(jié)點(diǎn)提供 NVMe SSD 資源池，通過軟件聚合方式提供高性能 Lun 實(shí)現(xiàn)對(duì)于數(shù)據(jù)庫的數(shù)據(jù)的存儲(chǔ)服務(wù)。

兩部分服務(wù)器通過 Quantum 平臺(tái)的 InfiniBand 網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)計(jì)算節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)的無損連接，結(jié)合 NVMe-oF（NVMe over Fabric）高效的數(shù)據(jù)存儲(chǔ)傳輸協(xié)議，將存儲(chǔ)節(jié)點(diǎn)的 Lun 掛載到計(jì)算節(jié)點(diǎn)，實(shí)現(xiàn)結(jié)算節(jié)點(diǎn)本地高性能的數(shù)據(jù)存儲(chǔ)能力。

2. 測試環(huán)境

為了可以公平對(duì)比兩種方案的優(yōu)劣，兩次測試均采用同一臺(tái)計(jì)算服務(wù)器進(jìn)行測試，不同的是，本地方案存儲(chǔ)由本地的 PCIe4.0 NVMe SSD 承載，InfiniBand 池化方案由 100Gbps 速率的 HDR100 網(wǎng)卡接入，通過相同型號(hào)的 NVMe SSD 組成的全閃服務(wù)器借助 NVMe-oF 提供高性能虛擬 Lun 完成數(shù)據(jù)訪問。

2.1 存儲(chǔ)設(shè)備

InfiniBand 池化方案

本地 SSD

2.2 CPU&內(nèi)存

2.3 操作系統(tǒng)

文件系統(tǒng)

塊設(shè)備

2.4 壓測參數(shù)&指標(biāo)

壓測工具：sysbench

模式：oltp_read_write。

每輪壓測時(shí)長：900 秒。

每輪壓測休眠間隔：180 秒。

共 64 個(gè)表。

每個(gè)表 12500000 條記錄。

整個(gè)測試庫大小約 186 G。

采用InnoDB引擎。

并發(fā)線程數(shù)變化：8、16、32、64、128。

ibp（innodb buffer pool）變化：47G、93G、140G、186G（約為物理數(shù)據(jù)的25%、50%、75%、100%）。

主要參數(shù)選項(xiàng)：

sysbench 測試命令模板：

3. 性能表現(xiàn)&總結(jié)

3.1 測試總結(jié)

結(jié)論先行，整體測試情況如下：

當(dāng)ibp不足以覆蓋全部物理數(shù)據(jù)時(shí)：

1）GreatSQL 8.x 性能遠(yuǎn)高于 GreatSQL 5.7。2）并發(fā)線程數(shù)越高，IB+NVMe SSD vs 本地NVMe SSD 的差距越小。3）ibp 越大，GreatSQL 5.7 和 8.0 性能越接近。

當(dāng) ibp 基本可以覆蓋全部物理數(shù)據(jù)時(shí)：

1）GreatSQL 5.7 的性能整體比 GreatSQL 8.0 略好。

總的測試下來看，IB NVMe SSD 相比 本地 NVMe SSD 的性能要更好，也更穩(wěn)定一些。

嘗試對(duì)比測試了組提交（binlog group commit），在本案中對(duì)性能影響很小，這里不再贅述。

嘗試對(duì)比設(shè)置 innodb_thread_concurrency = 64|128，發(fā)現(xiàn)加上后，在 ibp 足夠大，且并發(fā)也打滿 128 線程后，性能更穩(wěn)定些，波動(dòng)沒那么大了，且最終整體性能也能提升約 8% ~ 10%（不過也要考慮到，真實(shí)生產(chǎn)環(huán)境中，很少會(huì)跑滿這么大壓力）。

總的來說，當(dāng)物理內(nèi)存不足以覆蓋業(yè)務(wù)數(shù)據(jù)時(shí)（生成環(huán)境中這種情況很常見），如果單靠增加物理內(nèi)存以提升數(shù)據(jù)庫性能可能從性價(jià)比角度看并不劃算，不如換個(gè)思路，提升本地物理 I/O 設(shè)備的性能，畢竟現(xiàn)在 NVMe SSD 的性能可以跑到很高。

3.2 測試數(shù)據(jù)對(duì)比圖表

1）ibp=47G

2）ibp=93G

3）ibp=140G

4）ibp=186G

4. 結(jié)語

從以上測試數(shù)據(jù)中，可以明顯看到采用了 InfiniBand 池化方案數(shù)據(jù)庫性能在不同場景中性能都有不同程度的明顯提升，由其在高并發(fā)場景下，表現(xiàn)由于突出。

未來，萬里數(shù)據(jù)庫將推動(dòng) GreatSQL 協(xié)同 NVIDIA 探索更多基于 InfiniBand 在數(shù)據(jù)庫中的結(jié)合點(diǎn)和創(chuàng)新點(diǎn)，基于 NVIDIA InfiniBand 打造數(shù)據(jù)庫+網(wǎng)絡(luò)軟硬一體化聯(lián)合解決方案，為用戶創(chuàng)造更多價(jià)值。