99精品伊人亚洲|最近国产中文炮友|九草在线视频支援|AV网站大全最新|美女黄片免费观看|国产精品资源视频|精彩无码视频一区|91大神在线后入|伊人终合在线播放|久草综合久久中文

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

GPU之間是怎么通信互聯(lián)的呢?

SDNLAB ? 來源:了不起的云計(jì)算 ? 2023-11-10 16:49 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

今天想跟大家一起學(xué)習(xí)下GPU之間是怎么通信互聯(lián)的

自從GPU出現(xiàn)后,計(jì)算機(jī)愛好者和發(fā)燒友們就一直尋找新的方法來進(jìn)一步提高系統(tǒng)GPU性能。

在單個GPU性能有限的情況下,將兩個或多個GPU連接起來這種在當(dāng)時看起來非?;闹嚨南敕ň谷粷u漸成為提升系統(tǒng)GPU性能的主流方法。

特別是隨著游戲、圖形應(yīng)用的發(fā)展,以及AI、HPC等新興應(yīng)用的助推,多個GPU之間的互聯(lián)技術(shù)得到了快速迭代和發(fā)展,如今的GPU互聯(lián)已經(jīng)成為系統(tǒng)內(nèi)非常常見的一種技術(shù)。今天我們就來聊聊這些GPU互聯(lián)的那些技術(shù)。

第一個連接多個GPU解決方案:SLI

SLI,全稱為 " 可擴(kuò)展的鏈接接口 "( Scalable Link Interface),最早是由 3DFx Interactive 開發(fā)。

然而,3DFx Interactive這家公司在2000年破產(chǎn),NVIDIA公司收購了這家公司并獲得了多GPU技術(shù)的權(quán)利。

于是,在2004年,NVIDIA首次推出了SLI技術(shù)版本,同時發(fā)布了GeForce 6800 Ultra GPU。該技術(shù)允許兩個GeForce 6800 Ultra GPU一起工作,以增強(qiáng)游戲時的圖形性能**。**因此,SLI技術(shù)迅速在游戲玩家和愛好者中流行起來。

SLI采用主從配置方式在系統(tǒng)中實(shí)現(xiàn)使用多個GPU,這種配置的重點(diǎn)是使用一個GPU作為主車,其他GPU作為從卡,SLI能夠同時連接4個GPU。

**SLI是第一個連接多個GPU的解決方案。**但是與所有技術(shù)一樣,SLI也有各種優(yōu)點(diǎn)和局限性。SLI配置必須選擇相同型號的兼容GPU。同時還需要分配一個單獨(dú)的PSU來滿足多個GPU的協(xié)調(diào)要求,導(dǎo)致GPU之間的通信延遲較高,且GPU之間的數(shù)據(jù)共享缺乏靈活性。

另外,NVIDIA大約在兩年前停止了對該技術(shù)的支持,為開發(fā)NVLink等新技術(shù)讓路。

SLI與CrossFire:多GPU解決方案之爭

雖然NVIDIA的SLI走在了多GPU互聯(lián)的前面,但也并非沒有競爭。

作為NVIDIA GPU市場上多年的老對手,AMD也推出了CrossFire這個技術(shù)來參與競爭。

與SLI技術(shù)類似,使用CrossFire技術(shù)時,用戶可選擇使用兩個或更多顯卡進(jìn)行渲染,從而增加幀數(shù)和提高游戲運(yùn)行效率。

CrossFire技術(shù)的一大優(yōu)點(diǎn)是用戶可以使用不同型號的AMD顯卡,從而節(jié)省成本。

然而,CrossFire也有其自身的優(yōu)勢和挑戰(zhàn),CrossFire經(jīng)常因其軟件堆棧而受到批評,一些用戶發(fā)現(xiàn)該軟件堆棧不如NVIDIA SLI可靠且配置更復(fù)雜。

盡管存在這些差異,但這兩種技術(shù)都致力于實(shí)現(xiàn)相同的目標(biāo):增強(qiáng)游戲和消費(fèi)者圖形體驗(yàn)。它們在處理更高級、數(shù)據(jù)密集型任務(wù)方面的局限性最終將為 NVLink等下一代解決方案鋪平道路。

隨著2010年代的到來,計(jì)算領(lǐng)域開始發(fā)生巨大變化。人工智能 (AI)、高性能計(jì)算(HPC)和大數(shù)據(jù)分析的興起需要更強(qiáng)大的多GPU解決方案。很明顯,最初設(shè)計(jì)時考慮到游戲和消費(fèi)者工作負(fù)載的SLI不足以滿足這些計(jì)算密集型任務(wù)。NVIDIA需要一個新的GPU互聯(lián)技術(shù)。

雙GPU卡:多GPU計(jì)算的獨(dú)特存在

雖然SLI和CrossFire等技術(shù)專注于連接多個獨(dú)立GPU,但還有另一種不太常見或者可以說是奇葩的多 GPU配置方法:雙GPU卡。

這些專用顯卡在單個PCB(印刷電路板)上安裝了兩個GPU核心,有效地充當(dāng)單張卡上的SLI或CrossFire 設(shè)置。NVIDIA GeForce GTX 690和AMD Radeon HD 6990等卡是這種方法的流行示例。

雙GPU卡具有多種優(yōu)勢, 他們通過將兩個GPU壓縮到一個卡槽中來節(jié)省空間,這使得它們對小型PC很有吸引力。同時他們還無需將單獨(dú)的卡與外部連接器連接起來,從而簡化了設(shè)置。

然而,這些雙GPU卡散熱是一個重大問題,可以說每一個卡都是一個**"小火爐"****。**通常這種配置方式需要先進(jìn)的冷卻解決方案。同時功耗也很高,需要強(qiáng)大的電源來提供穩(wěn)定的電流。

雙GPU卡的方式看起來是一種"兩全其美"的解決方案,將多GPU設(shè)置的原始功能與單卡的簡單性結(jié)合在一起。然而,由于其高成本和相關(guān)的技術(shù)挑戰(zhàn),雙GPU卡經(jīng)常被視為雞肋產(chǎn)品。

隨著NVLink等多GPU技術(shù)不斷發(fā)展以提供更高的帶寬和更低的延遲,對雙 GPU卡的需求已經(jīng)減少。盡管如此,它仍然是GPU發(fā)展史上一個獨(dú)特的存在。

****** NVLink 的誕生******

NVLink是2017年隨NVIDIA Volta架構(gòu)推出的技術(shù)。這項(xiàng)技術(shù)不僅僅是SLI技術(shù)的升級,而且是對GPU如何互連的根本性重新思考。

NVLink提供了更高的帶寬(最新版本高達(dá)900 GB/s)、更低的延遲以及允許GPU之間更復(fù)雜和大量互連的網(wǎng)狀拓?fù)?。此外,NVLink引入了統(tǒng)一內(nèi)存的概念,支持連接的 GPU 之間的內(nèi)存池,這對于需要大型數(shù)據(jù)集的任務(wù)來說是一個至關(guān)重要的功能。

SLI與NVLink有何區(qū)別?

乍一看,人們可能會認(rèn)為NVLink是SLI的簡單升級,但這過于武斷了。雖然這兩種技術(shù)都旨在連接多個GPU,但NVLink的設(shè)計(jì)考慮了不同的受眾。它專為科學(xué)研究、數(shù)據(jù)分析,尤其是人工智能和機(jī)器學(xué)習(xí)應(yīng)用而設(shè)計(jì)。更高的帶寬、更低的延遲和統(tǒng)一的內(nèi)存使NVLink成為應(yīng)對當(dāng)今計(jì)算挑戰(zhàn)的更加靈活和強(qiáng)大的解決方案。

雖然NVLink和SLI兩者均由Nvidia開發(fā),但存在一些差異。S****LI按照主從關(guān)系原理運(yùn)行,而NVLink通過網(wǎng)狀網(wǎng)絡(luò)運(yùn)行。結(jié)果,SLI中形成了NVLink中不存在的數(shù)據(jù)瓶頸。

采用網(wǎng)狀網(wǎng)絡(luò)開發(fā)的并行連接可增強(qiáng)GPU的性能。因此,多個GPU作為一個單元,有助于提供增強(qiáng)的處理能力。連接的GPU擁有自己的內(nèi)存,從而增加了系統(tǒng)的總可用內(nèi)存。NVLink橋還支持20至30 GB/s 的帶寬,為4個GPU 的設(shè)置提供超過100GB/s 的速度。

網(wǎng)狀網(wǎng)絡(luò)消除 GPU之間的層級關(guān)系。計(jì)算數(shù)據(jù)因此連接到每個GPU的節(jié)點(diǎn),從而提高了整體渲染速度。因此,150至200GB/s的帶寬也可以實(shí)現(xiàn)。與SLI 相比,NVLink的延遲非常低。

****** NVLink的技術(shù)原理******

NVLink代表了多GPU互聯(lián)技術(shù)的邏輯演變,不僅在速度方面,而且在架構(gòu)設(shè)計(jì)方面。NVLink的結(jié)構(gòu)由可以雙向傳輸數(shù)據(jù)的高速數(shù)據(jù)通道組成。與傳統(tǒng)的基于總線的系統(tǒng)不同,NVLink采用點(diǎn)對點(diǎn)連接,有效減少瓶頸并提高數(shù)據(jù)吞吐量。最新的迭代提供高達(dá)900GB/s的帶寬,比SLI的功能有了顯著增強(qiáng)。

NVLink與眾不同的關(guān)鍵功能之一是它支持網(wǎng)狀拓?fù)涞哪芰Α?/strong>與舊技術(shù)的菊花鏈或中心輻射型拓?fù)湎啾?,網(wǎng)格設(shè)置允許GPU之間實(shí)現(xiàn)更通用且數(shù)量更多的連接。這在數(shù)據(jù)中心和高性能計(jì)算應(yīng)用程序中特別有用,在這些應(yīng)用程序中,復(fù)雜的數(shù)據(jù)路由是常態(tài)。

統(tǒng)一內(nèi)存是NVLink的另一個特點(diǎn)。這允許GPU共享公共內(nèi)存池,從而實(shí)現(xiàn)更高效的數(shù)據(jù)共享并減少在GPU之間復(fù)制數(shù)據(jù)的需要。這對于機(jī)器學(xué)習(xí)和大數(shù)據(jù)分析等應(yīng)用程序來說是一個巨大的推動,在這些應(yīng)用程序中,大型數(shù)據(jù)集通常超過單個GPU的內(nèi)存容量。

NVLink還改善了延遲,這是任何高性能計(jì)算設(shè)置中的一個關(guān)鍵因素。較低的延遲可確保GPU之間更快的數(shù)據(jù)傳輸和同步,從而實(shí)現(xiàn)更高效的并行計(jì)算。這是通過NVLink的直接內(nèi)存訪問 (DMA) 功能實(shí)現(xiàn)的,允許GPU直接讀寫彼此的內(nèi)存,而不需要CPU的參與。

NVlink的影響

鑒于人工智能在現(xiàn)代計(jì)算中的重要性日益增加,NVLink的優(yōu)勢不僅是漸進(jìn)式的,而且是變革性的。在AI模型訓(xùn)練和數(shù)據(jù)創(chuàng)建中,NVLink可實(shí)現(xiàn)GPU之間更快的數(shù)據(jù)傳輸,從而實(shí)現(xiàn)更高效的并行處理。這在處理大型訓(xùn)練數(shù)據(jù)集時尤其有用,這是一個與人工智能模型訓(xùn)練數(shù)據(jù)創(chuàng)建的新興領(lǐng)域密切相關(guān)的主題。

隨著量子模擬、實(shí)時分析和下一代人工智能算法等先進(jìn)計(jì)算的需求不斷增長,我們可以期待NVLink的功能進(jìn)一步增強(qiáng)。無論是帶寬的增加還是促進(jìn)GPU之間更好合作的新功能,NVLink或其后繼者無疑仍將是滿足未來計(jì)算需求的核心。

從SLI到NVLink的過渡是多GPU技術(shù)的一個重要里程碑,它反映了NVIDIA 對創(chuàng)新的承諾以及對不斷變化的計(jì)算環(huán)境的敏銳理解。從游戲到人工智能,從消費(fèi)應(yīng)用程序到數(shù)據(jù)中心,NVLink和SLI的發(fā)展歷程說明了需求對孕育創(chuàng)新、推動技術(shù)發(fā)展的重要價(jià)值。







審核編輯:劉清

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • NVIDIA
    +關(guān)注

    關(guān)注

    14

    文章

    5309

    瀏覽量

    106465
  • gpu
    gpu
    +關(guān)注

    關(guān)注

    28

    文章

    4949

    瀏覽量

    131309
  • HPC
    HPC
    +關(guān)注

    關(guān)注

    0

    文章

    333

    瀏覽量

    24343
  • PSU
    PSU
    +關(guān)注

    關(guān)注

    0

    文章

    47

    瀏覽量

    12178

原文標(biāo)題:一文讀懂:多卡GPU是如何互聯(lián)通信的?

文章出處:【微信號:SDNLAB,微信公眾號:SDNLAB】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    華為助力算力互聯(lián)網(wǎng)跨域算間無損互聯(lián)

    近日,NIDA發(fā)布的《工信部首提數(shù)據(jù)通信產(chǎn)業(yè),賦能算力互聯(lián)網(wǎng)新征程》一文引發(fā)廣泛關(guān)注。文章解讀工信部最新發(fā)布的《算力互聯(lián)互通行動計(jì)劃》,清晰地揭示了數(shù)據(jù)通信產(chǎn)業(yè)與算力
    的頭像 發(fā)表于 06-14 11:17 ?518次閱讀

    如何破解GPU集群集合通信路徑的“黑盒”難題?

    集合通信庫(如NCCL、HCCL)的運(yùn)行細(xì)節(jié)用戶完全無感知,形成“黑盒”狀態(tài)。EPS通過實(shí)時解析集合通信庫的底層運(yùn)行狀態(tài),將隱蔽的通信路徑、GPU與網(wǎng)卡狀態(tài)等信息可視化,并提供智能路由
    的頭像 發(fā)表于 05-22 10:13 ?360次閱讀
    如何破解<b class='flag-5'>GPU</b>集群集合<b class='flag-5'>通信</b>路徑的“黑盒”難題?

    高性能GPU服務(wù)器推薦

    面對市場上種類繁多的GPU服務(wù)器,如何選擇一款適合自身需求的設(shè)備?接下來,AI部落小編為您推薦。
    的頭像 發(fā)表于 03-20 10:14 ?478次閱讀

    OpenVINO?檢測到GPU,但網(wǎng)絡(luò)無法加載到GPU插件,為什么?

    OpenVINO?安裝在舊的 Windows 10 版本 Windows? 10 (RS1) 上。 已安裝 GPU 驅(qū)動程序版本 25.20.100.6373,檢測到 GPU,但網(wǎng)絡(luò)無法加載
    發(fā)表于 03-05 06:01

    GPU云計(jì)算服務(wù)怎么樣

    在當(dāng)今數(shù)字化快速發(fā)展的時代,高性能計(jì)算需求日益增長。為滿足這些需求,GPU云計(jì)算服務(wù)應(yīng)運(yùn)而生。那么,GPU云計(jì)算服務(wù)怎么樣?接下來,AI部落小編帶您了解。
    的頭像 發(fā)表于 02-05 15:01 ?480次閱讀

    將兩片TLK3101之間用光收發(fā)模塊通過光纖互聯(lián),TLK3101和光收發(fā)模塊之間的接口匹配不存在問題,為什么?

    我們將兩片 TLK 3101之間用光收發(fā)模塊通過光纖互聯(lián),TLK 3101和光收發(fā)模塊之間的接口匹配不存在問題,光功率都在正常的范圍之內(nèi) ,但在實(shí)驗(yàn)室測試中經(jīng)常出現(xiàn)TLK 3101幀同步丟失
    發(fā)表于 02-05 07:22

    設(shè)備之間互聯(lián)互通解決方案

    實(shí)現(xiàn)物聯(lián)網(wǎng)的廣泛應(yīng)用,需要解決設(shè)備之間互聯(lián)互通問題。由于不同的設(shè)備和傳感器使用不同的通信協(xié)議和接口,因此需要一個中間設(shè)備來實(shí)現(xiàn)不同設(shè)備之間通信
    的頭像 發(fā)表于 01-24 16:31 ?920次閱讀
    設(shè)備<b class='flag-5'>之間</b>的<b class='flag-5'>互聯(lián)</b>互通解決方案

    高速ADC、DAC與處理器之間是怎么通信?

    一般低速的ADC、DAC通過串行通信接口,比如SPI與處理器/DSP通信,但高速ADC、DAC與處理器之間是怎么通信
    發(fā)表于 01-10 08:30

    DAC7568與C8051F040之間的串行通信接口可否用GPIO代替?

    DAC7568芯片與C8051之間的接線如圖:但是由于MCU采用的是C8051F040芯片,其只有兩組“TX RX”串行通信接口,均用于他用了,那么與DAC7568通訊的“TX RX”是否可采用普通I/O?若采用普通I/O
    發(fā)表于 01-07 07:51

    GPU加速云服務(wù)器怎么用的

    GPU加速云服務(wù)器是將GPU硬件與云計(jì)算服務(wù)相結(jié)合,通過云服務(wù)提供商的平臺,用戶可以根據(jù)需求靈活租用帶有GPU資源的虛擬機(jī)實(shí)例。那么,GPU加速云服務(wù)器怎么用的
    的頭像 發(fā)表于 12-26 11:58 ?467次閱讀

    常見GPU問題及解決方法

    各種問題。以下是一些常見的GPU問題及其解決方法: GPU驅(qū)動程序過時或不兼容 問題描述:GPU驅(qū)動程序是GPU與操作系統(tǒng)之間的橋梁,負(fù)責(zé)將
    的頭像 發(fā)表于 10-27 14:12 ?3699次閱讀

    DS1302芯片與FPGA之間SPI通信原理

    本文通過以DS1302芯片為基礎(chǔ),介紹該芯片與FPGA之間SPI通信原理,詳細(xì)描述硬件設(shè)計(jì)原理及FPGA SPI接口驅(qū)動設(shè)計(jì)。
    的頭像 發(fā)表于 10-24 14:16 ?1568次閱讀
    DS1302芯片與FPGA<b class='flag-5'>之間</b>SPI<b class='flag-5'>通信</b>原理

    GPU算力租用平臺是什么

    GPU算力租用平臺是一種基于云計(jì)算的服務(wù)模式,它允許用戶通過互聯(lián)網(wǎng)按需租用高性能GPU資源,而無需自行購買、部署和維護(hù)這些硬件。
    的頭像 發(fā)表于 10-16 10:15 ?685次閱讀

    數(shù)字信號處理與通信原理之間的關(guān)系

    數(shù)字信號處理(Digital Signal Processing,簡稱DSP)和通信原理是信息科學(xué)領(lǐng)域中兩個密切相關(guān)的領(lǐng)域。它們在理論和應(yīng)用層面都有很多相互聯(lián)系和相互依賴的地方。 在現(xiàn)代通信系統(tǒng)中
    的頭像 發(fā)表于 08-09 09:35 ?1833次閱讀

    暴漲預(yù)警!NVIDIA GPU供應(yīng)大跳水

    gpu
    jf_02331860
    發(fā)布于 :2024年07月26日 09:41:42