GPU是我們常用器件，采用GPU，才使得圖形顯示成為可能。在上期文章中，小編對(duì)GPU的加速原理等知識(shí)有所闡述。為增進(jìn)大家對(duì)GPU的認(rèn)識(shí)，本文將基于兩點(diǎn)介紹GPU：1.選擇GPU服務(wù)器需要考慮哪些情況，2.如何提升GPU存儲(chǔ)性能。如果你對(duì)GPU具有興趣，不妨繼續(xù)往下閱讀哦。

一、如何選擇GPU服務(wù)器

當(dāng)GPU型號(hào)選定后，再考慮用什么樣GPU的服務(wù)器。這時(shí)我們需要考慮以下幾種情況：

第一、在邊緣服務(wù)器上需要根據(jù)量來(lái)選擇T4或者P4等相應(yīng)的服務(wù)器，同時(shí)也要考慮服務(wù)器的使用場(chǎng)景，比如火車站卡口、機(jī)場(chǎng)卡口或者公安卡口等;在中心端做Inference時(shí)可能需要V100的服務(wù)器，需要考慮吞吐量以及使用場(chǎng)景、數(shù)量等。

第二、需要考慮客戶本身使用人群和IT運(yùn)維能力，對(duì)于BAT這類大公司來(lái)說(shuō)，他們自己的運(yùn)營(yíng)能力比較強(qiáng)，這時(shí)會(huì)選擇通用的PCI-e服務(wù)器;而對(duì)于一些IT運(yùn)維能力不那么強(qiáng)的客戶，他們更關(guān)注數(shù)字以及數(shù)據(jù)標(biāo)注等，我們稱這類人為數(shù)據(jù)科學(xué)家，選擇GPU服務(wù)器的標(biāo)準(zhǔn)也會(huì)有所不同。

第三、需要考慮配套軟件和服務(wù)的價(jià)值。

第四、要考慮整體GPU集群系統(tǒng)的成熟程度以及工程效率，比如像DGX這種GPU一體化的超級(jí)計(jì)算機(jī)，它有非常成熟的從底端的操作系統(tǒng)驅(qū)動(dòng)Docker到其他部分都是固定且優(yōu)化過(guò)的，這時(shí)效率就比較高。

二、如何提升GPU存儲(chǔ)性能

要獲得最佳的GPU存儲(chǔ)性能，就需要根據(jù)業(yè)務(wù)目標(biāo)對(duì)基礎(chǔ)架構(gòu)進(jìn)行微調(diào)。這里有三種方法可供考慮。

1.大規(guī)模調(diào)整性能

AI部署的快速增長(zhǎng)和ML訓(xùn)練數(shù)據(jù)集的大小增加了計(jì)算基礎(chǔ)架構(gòu)的負(fù)擔(dān)，STFC（The Science and Technology Facilities Council ）則是這種典型的代表。盡管STFC已添加了高端GPU服務(wù)器以提供更高的計(jì)算支持，但STFC缺乏在數(shù)百個(gè)Researchers 中擴(kuò)展資源所需的企業(yè)級(jí)存儲(chǔ)功能。

通過(guò)在具有RDMA功能的高速網(wǎng)絡(luò)（例如Infiniband或融合以太網(wǎng)（RoCE）v2上的RDMA）上實(shí)現(xiàn)NVMe-over-Fabrics協(xié)議，大型AI / ML用戶組（例如STFC）可以虛擬化NVMe SSD在各種服務(wù)器上未使用的存儲(chǔ)資源池，因此它們的性能就像在本地一樣。通過(guò)這樣做，可以在一個(gè)小時(shí)內(nèi)完成機(jī)器學(xué)習(xí)培訓(xùn)任務(wù)，而以前則需要三到四天。即使具有復(fù)雜的模型訓(xùn)練任務(wù)，GPU存儲(chǔ)也不再是瓶頸。

2.在并行文件系統(tǒng)下使用NVMe池化存儲(chǔ)

當(dāng)AI和ML應(yīng)用程序涉及從許多GPU服務(wù)器訪問(wèn)大量小文件時(shí)，作為存儲(chǔ)基礎(chǔ)架構(gòu)就必須部署并行分布式文件系統(tǒng)。并行文件系統(tǒng)還使存儲(chǔ)更容易實(shí)現(xiàn)大多數(shù)AI / ML使用所需的高吞吐量和低延遲。在并行文件系統(tǒng)下具有快速、靈活的池化NVMe存儲(chǔ)，可以改善對(duì)元數(shù)據(jù)的處理，從而實(shí)現(xiàn)更高的讀取性能和更低的延遲，從而提高GPU服務(wù)器的利用率。

例如，一家超大型技術(shù)提供商最近推出了一種AI解決方案，用于預(yù)估保險(xiǎn)公司使用的車輛碰撞場(chǎng)景。為了開(kāi)發(fā)應(yīng)用程序背后的AI邏輯，應(yīng)用程序工作流涉及培訓(xùn)模型，方法是攝取多達(dá)2000萬(wàn)個(gè)小文件數(shù)據(jù)集，其中每個(gè)文件大小在150-700 KB之間。數(shù)據(jù)提取通常每8小時(shí)以100萬(wàn)個(gè)文件的速度或者每個(gè)客戶端每秒最多35，000個(gè)文件進(jìn)行。

通過(guò)在并行分布式文件系統(tǒng)下使用池化NVMe存儲(chǔ)方法，該技術(shù)提供商消除了它遇到的存儲(chǔ)瓶頸，并將存儲(chǔ)性能提高了3-4倍。

3.檢查特定于GPU的“高速公路”

新的數(shù)據(jù)中心架構(gòu)正在以統(tǒng)一的方式提高服務(wù)器、網(wǎng)絡(luò)和存儲(chǔ)的性能。一種類似的方法于2019年秋季首次亮相，它將來(lái)自多個(gè)供應(yīng)商的基礎(chǔ)架構(gòu)元素與GPU優(yōu)化的網(wǎng)絡(luò)和存儲(chǔ)進(jìn)行集成，以在GPU內(nèi)存和存儲(chǔ)之間打開(kāi)直接的數(shù)據(jù)通道，從而完全繞開(kāi)CPU。這使數(shù)據(jù)能夠在GPU、存儲(chǔ)和網(wǎng)絡(luò)設(shè)備提供的“開(kāi)放高速公路”上進(jìn)行傳輸，從而實(shí)現(xiàn)了對(duì)NVMe企業(yè)級(jí)卓越性能的無(wú)障礙訪問(wèn)。