NVIDIA Zero Touch RoCE （ ZTR ）使數(shù)據(jù)中心能夠無縫部署 聚合以太網(wǎng)上的 RDMA （ RoCE ） ，而無需任何特殊交換機(jī)配置。直到最近， ZTR 還僅適用于中小型數(shù)據(jù)中心。同時，大規(guī)模部署傳統(tǒng)上依賴于顯式擁塞通知（ ECN ）來啟用 RoCE 網(wǎng)絡(luò)傳輸，這需要交換機(jī)配置。

新的 NVIDIA 擁塞控制算法往返時間擁塞控制（ RTTCC ） – 允許 ZTR 在不影響性能的情況下擴(kuò)展到數(shù)千臺服務(wù)器。通過使用 ZTR 和 RTTCC ，數(shù)據(jù)中心運(yùn)營商可以在無需任何交換機(jī)配置的情況下，享受部署和操作的便利性，以及大規(guī)模遠(yuǎn)程直接內(nèi)存訪問（ RDMA ）的卓越性能。

這篇文章描述了以前在大規(guī)模和小型 RoCE 部署中推薦的 RoCE 擁塞控制。然后介紹了一種新的擁塞控制算法，該算法允許 ZTR 的無配置大規(guī)模實現(xiàn)，其性能類似于支持 ECN 的 RoCE 。

具有數(shù)據(jù)中心量化擁塞通知的 RoCE 部署

在典型的基于 TCP 的環(huán)境中，分布式內(nèi)存請求需要許多步驟和 CPU 周期，這會對應(yīng)用程序性能產(chǎn)生負(fù)面影響。 RDMA 消除了服務(wù)器之間內(nèi)存數(shù)據(jù)傳輸?shù)乃?CPU 參與，大大加快了對存儲數(shù)據(jù)的訪問和應(yīng)用程序性能。

RoCE 在以太網(wǎng)環(huán)境中提供 RDMA ，這是數(shù)據(jù)中心的主要網(wǎng)絡(luò)結(jié)構(gòu)。以太網(wǎng)需要高級擁塞控制機(jī)制來支持 RDMA 網(wǎng)絡(luò)傳輸。數(shù)據(jù)中心量化擁塞通知（ DCQCN ）是一種擁塞控制算法，能夠響應(yīng)擁塞通知并動態(tài)調(diào)整流量傳輸速率。

DCQCN 的實現(xiàn)需要啟用顯式擁塞通知（ ECN ），這需要配置網(wǎng)絡(luò)交換機(jī)。 ECN 將交換機(jī)配置為設(shè)置擁塞經(jīng)歷（ CE ）位，以指示即將發(fā)生的擁塞。

具有無功擁塞控制的零接觸 RoCE

NVIDIA 開發(fā)的 ZTR 技術(shù)允許 RoCE 部署，無需配置交換機(jī)基礎(chǔ)設(shè)施。 ZTR 根據(jù) InfiniBand Trade Association （ IBTA ） RDMA 標(biāo)準(zhǔn)構(gòu)建，完全符合 RoCE specifications ，支持 RoCE 的無縫部署。 ZTR 還擁有與傳統(tǒng)交換機(jī)啟用的 RoCE 相當(dāng)?shù)男阅?，并且明顯優(yōu)于傳統(tǒng)的基于 TCP 的內(nèi)存訪問。此外，通過 ZTR ， RoCE 網(wǎng)絡(luò)傳輸服務(wù)在普通 TCP / IP 環(huán)境中與非 RoCE 通信并行運(yùn)行。

正如 NVIDIA 零接觸 RoCE 技術(shù)為 Microsoft Azure Stack HCI 實現(xiàn)了云經(jīng)濟(jì) 文章中所指出的，微軟已經(jīng)為其 Azure Stack HCI 平臺驗證了 ZTR ，該平臺通?？蓴U(kuò)展到幾十個節(jié)點。在這樣的環(huán)境中， ZTR 依賴于隱式丟包通知，這對于小規(guī)模部署來說已經(jīng)足夠了。通過添加新的基于往返計時器（ RTT ）的擁塞控制算法， ZTR 變得更加健壯和可擴(kuò)展，而無需依賴丟包來通知服務(wù)器網(wǎng)絡(luò)擁塞。

引入往返時間擁塞控制

新的 NVIDIA 擁塞控制算法 RTTCC 主動監(jiān)控網(wǎng)絡(luò) RTT ，以便在丟棄數(shù)據(jù)包之前主動檢測并適應(yīng)擁塞的發(fā)生。 RTTCC 使用基于硬件的反饋環(huán)路實現(xiàn)動態(tài)擁塞控制，與基于軟件的擁塞控制算法相比，該反饋環(huán)路提供了顯著優(yōu)越的性能。 RTTCC 還支持更快的傳輸速率，可以在更大范圍內(nèi)部署 ZTR 。帶有 RTTCC 的 ZTR 現(xiàn)在作為測試版功能提供， GA 計劃在 2022 年下半年推出。

ZTR-RTTCC 的工作原理

ZTR-RTTCC 通過基于硬件 RTT 的擁塞控制算法擴(kuò)展了 RoCE 網(wǎng)絡(luò)中的 DCQCN 。

圖 1 服務(wù)器之間的往返計時

定時數(shù)據(jù)包（上圖中的綠色網(wǎng)絡(luò)數(shù)據(jù)包）定期從啟動器發(fā)送到目標(biāo)。立即返回定時數(shù)據(jù)包，從而能夠測量往返延遲。 RTTCC 測量數(shù)據(jù)包發(fā)送和啟動器接收數(shù)據(jù)包之間的時間間隔。差異（接收時間–發(fā)送時間）衡量往返延遲，這表明路徑擁塞。未壓縮流繼續(xù)傳輸數(shù)據(jù)包，以最佳利用可用網(wǎng)絡(luò)路徑帶寬。延遲增加的流意味著路徑擁塞， RTTCC 會對流量進(jìn)行節(jié)流，以避免緩沖區(qū)溢出和數(shù)據(jù)包丟失。

隨著擁塞的減少或增加，網(wǎng)絡(luò)流量可以實時地向上或向下調(diào)整。主動監(jiān)控和應(yīng)對擁塞的能力對于使 ZTR 能夠主動管理擁塞至關(guān)重要。這種主動速率控制還可以減少數(shù)據(jù)包的重新傳輸，提高 RoCE 性能。使用 ZTR-RTTCC ，數(shù)據(jù)中心節(jié)點不會等待數(shù)據(jù)包丟失的通知；相反，它們主動識別擁塞 prior to 數(shù)據(jù)包丟失并作出相應(yīng)反應(yīng)，通知啟動器調(diào)整傳輸速率。

如前所述， ZTR 的一個關(guān)鍵優(yōu)勢是能夠提供 RoCE 功能，同時在普通 TCP / IP 流量中與非 RoCE 通信同時運(yùn)行。 ZTR 提供 RoCE 網(wǎng)絡(luò)功能的無縫部署。通過添加 RTTCC 主動監(jiān)控?fù)砣?ZTR 提供數(shù)據(jù)中心范圍內(nèi)的操作，無需交換機(jī)配置。請繼續(xù)閱讀，看看它的性能如何。

具有 RTTCC 性能的 ZTR

如圖 2 所示，當(dāng)通過網(wǎng)絡(luò)結(jié)構(gòu)配置 ECN 和 PFC 時，帶有 RTTCC 的 ZTR 提供了與 RoCE 相當(dāng)?shù)膽?yīng)用程序性能。這些測試是在最壞的多對一（ in-cast ）情況下進(jìn)行的，以模擬擁擠條件下的吞吐量。

結(jié)果表明，具有 RTTCC 的 ZTR 不僅可以擴(kuò)展到數(shù)千個節(jié)點，而且其性能與目前可用的最快 RoCE 解決方案相當(dāng)。

在小規(guī)模（ 256 個連接及以下）下，具有 RTTCC 的 ZTR 在啟用 ECN 擁塞控制（傳統(tǒng) RoCE ）的 RoCE 的 99% 范圍內(nèi)執(zhí)行。

通過 16000 多個連接，具有 RTTCC 吞吐量的 ZTR 是傳統(tǒng) RoCE 吞吐量的 98% 。

帶有 RTTCC 的 ZTR 在不需要任何開關(guān)配置的情況下，提供了與傳統(tǒng) RoCE 幾乎相同的性能。

圖 2 連接不斷增加的應(yīng)用程序帶寬

配置 ZTR

要使用新的 RTTCC 算法配置 ZTR ， 下載 并為 NVIDIA 網(wǎng)絡(luò)接口卡安裝最新固件和工具，請執(zhí)行以下步驟。

配置 ZTR

要使用新的 RTTCC 算法配置 ZTR ， 下載 并為 NVIDIA 網(wǎng)絡(luò)接口卡安裝最新固件和工具，請執(zhí)行以下步驟。

使用mlxconfig（持續(xù)配置）啟用可編程擁塞控制：

mlxconfig -d /dev/mst/mt4125_pciconf0 -y s
ROCE_CC_LEGACY_DCQCN=0

使用mlxfwreset重置設(shè)備或重新啟動主機(jī)：

mlxfwreset -d /dev/mst/mt4125_pciconf0 -l 3 -y r

完成這些步驟后，當(dāng) RDMA-CM 用于增強(qiáng)連接建立（ ECE ， MLNX _ OFED 版本 5.1 支持）時，將使用 ZTR-RTTCC 。

如果出現(xiàn)錯誤，無論 RDMA-CM 同步狀態(tài)如何，都可以強(qiáng)制使用 ZTR-RTTCC ：

mlxreg -d /dev/mst/mt4125_pciconf0 --reg_id 0x506e --reg_len
0x40 --set "0x0.0:8=2,0x4.0:4=15" -y

總結(jié)

NVIDIA RTTCC 是 ZTR 的新?lián)砣刂扑惴?，在?shù)據(jù)中心范圍內(nèi)提供卓越的 RoCE 性能，無需對交換機(jī)基礎(chǔ)設(shè)施進(jìn)行任何特殊配置。此增強(qiáng)功能使數(shù)據(jù)中心能夠在現(xiàn)有和新的數(shù)據(jù)中心基礎(chǔ)架構(gòu)中無縫實現(xiàn) RoCE ，并從即時的應(yīng)用程序性能改進(jìn)中獲益。

關(guān)于作者

Aviv Barnea 是 NVIDIA 網(wǎng)絡(luò)軟件工程的高級主管。他監(jiān)督網(wǎng)絡(luò)適配器 RDMA 軟件和擁塞控制機(jī)制的開發(fā)，實現(xiàn)高速、低延遲的數(shù)據(jù)中心連接。 Aviv 是 RDMA 和 RoCE 通信協(xié)議方面的專家，擁有該領(lǐng)域的多項專利，在推動 RDMA / RoCE 在業(yè)界的發(fā)展方面發(fā)揮了重要作用，在客戶和合作伙伴大規(guī)模部署加速網(wǎng)絡(luò)解決方案時與他們密切合作，并實現(xiàn)了無與倫比的性能和易用性。 Aviv 擁有特拉維夫大學(xué)工商管理碩士學(xué)位和理工學(xué)院物理與電氣工程學(xué)士學(xué)位。

Itay Ozery 是 NVIDIA 網(wǎng)絡(luò)產(chǎn)品營銷總監(jiān)。他為 Mellanox 的云網(wǎng)絡(luò)解決方案推動戰(zhàn)略性產(chǎn)品營銷和產(chǎn)品管理計劃。 Itay 在網(wǎng)絡(luò)安全領(lǐng)域領(lǐng)導(dǎo)了大規(guī)模的業(yè)務(wù)和項目，并與數(shù)據(jù)中心和電信服務(wù)提供商在 IT 系統(tǒng)和網(wǎng)絡(luò)工程領(lǐng)域擔(dān)任過多個職位。

審核編輯：郭婷