Fungible 自主設(shè)計的TrueFabric網(wǎng)絡(luò)傳輸協(xié)議，是Fungible最核心的競爭力，具有媲美RDMA/RoCEv2的性能以及接近TCP的穩(wěn)定性。

我們來共同學(xué)習。

Fungible TrueFabric：數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)的根本性改進

作者：Fungible CEO，Pradeep Sindhu先生

Truefabric是基于開放標準的網(wǎng)絡(luò)技術(shù)，并且集成到Fungible DPU中。它旨在提高基于橫向擴展原則構(gòu)建的數(shù)據(jù)中心的性能、經(jīng)濟性、可靠性和安全性，單個集群規(guī)?？梢詮膸讉€機架擴展到數(shù)千個機架。它展示了八個基本的屬性：跨越多個數(shù)量級的可伸縮性、任意節(jié)點到任意節(jié)點橫截面帶寬、低可預(yù)測延遲、公平性、避免擁塞、容錯、端到端軟件定義的安全性，以及使用開放標準來提供優(yōu)秀的經(jīng)濟性能。沒有任何現(xiàn)有技術(shù)在單個實現(xiàn)中提供所有這些屬性。因此，TruFabric打開了通往單一通用數(shù)據(jù)中心網(wǎng)絡(luò)的大門，該網(wǎng)絡(luò)可用于數(shù)據(jù)中心內(nèi)的所有網(wǎng)絡(luò)任務(wù)，最大化網(wǎng)絡(luò)的價值，并實現(xiàn)真正通用和強大的計算基礎(chǔ)設(shè)施。

1 介紹

橫向擴展架構(gòu)已經(jīng)在數(shù)據(jù)中心中使用了近20年。這些架構(gòu)的優(yōu)點在Barroso、Clidarras和H?lzle的一篇題為“作為計算機的數(shù)據(jù)中心:倉庫規(guī)模機器的設(shè)計介紹”的開創(chuàng)性論文中得到了描述。如今，毫無疑問，幾乎所有的數(shù)據(jù)中心，無論是小型、中型還是大型，無論是公有還是私有，都以這種方式建立。橫向擴展數(shù)據(jù)中心設(shè)計的基本思想是，數(shù)據(jù)中心中的所有服務(wù)器節(jié)點都通過可靠的高性能局域網(wǎng)連接。這允許數(shù)據(jù)中心提供的服務(wù)的實現(xiàn)方式是，由于故障或計劃中的事件導(dǎo)致的單個服務(wù)器的丟失不會危及服務(wù)本身。

雖然有一些特定的網(wǎng)絡(luò)技術(shù)，如Infiniband、Fiber Channel和RoCE，聲稱提供了數(shù)據(jù)中心結(jié)構(gòu)的一些屬性，但事實是，今天大多數(shù)橫向擴展的數(shù)據(jù)中心使用以太網(wǎng)之上的TCP/IP作為事實上的互聯(lián)技術(shù)。TCP/IP發(fā)明于20世紀70年代，用來解決通過使用多種網(wǎng)絡(luò)技術(shù)建立的廣域網(wǎng)連接全球范圍內(nèi)的計算機的問題。隨后，它被用于在數(shù)據(jù)中心內(nèi)提供服務(wù)器之間的連接，并且達到了前所未有的規(guī)模。考慮到局域網(wǎng)的物理參數(shù)比廣域網(wǎng)的速度快三個數(shù)量級或更多，TCP/IP能起到的作用是很值得注意的，因為它已經(jīng)堅持了20多年了。對此的部分解釋是TCP軟件堆棧經(jīng)過了大量優(yōu)化，以滿足對網(wǎng)絡(luò)日益增長的需求。為某些TCP函數(shù)提供“卸載”的并行嘗試不是很成功，因為很難在CPU和卸載引擎之間清晰地拆分TCP。

在過去的十年中，以太網(wǎng)接口和SSD設(shè)備的性能比通用CPU提高得更快。這一點很重要，因為絕大多數(shù)TCP實現(xiàn)都運行在這樣的CPU上的軟件中，因此它們不能滿足性能要求。在應(yīng)用程序方面，廣泛使用跨節(jié)點遠程過程調(diào)用的“微服務(wù)”體系結(jié)構(gòu)現(xiàn)在已成為標準實踐。此外，許多新應(yīng)用程序需要訪問必須跨服務(wù)器節(jié)點“分片”或分散的大數(shù)據(jù)集。應(yīng)用端的這兩方面的發(fā)展特征都增加了數(shù)據(jù)中心內(nèi)部的網(wǎng)絡(luò)流量?？偟膩碚f，技術(shù)和應(yīng)用領(lǐng)域的發(fā)展共同給網(wǎng)絡(luò)棧的軟件實現(xiàn)帶來了巨大的壓力，特別是在以太網(wǎng)上的TCP/IP。因此，通用CPU計算能力的很大一部分都花在了與網(wǎng)絡(luò)的交互上，從而減少了應(yīng)用程序的可用資源。當前的狀況是，將一切構(gòu)建在TCP/IP的軟件實現(xiàn)之上的辦法越來越難以為繼。

這些發(fā)展為TrueFabric作為單一的基于標準的網(wǎng)絡(luò)技術(shù)的引入奠定了基礎(chǔ)，從而推動數(shù)據(jù)中心從橫向擴展時代進入以數(shù)據(jù)為中心的時代。

2 術(shù)語

在深入了解TrueFabric的細節(jié)之前，先定義一些基本術(shù)語是有幫助的。首先，我們在本文中以比標準行業(yè)實踐更精確的方式使用Fabric這個術(shù)語。我們用它來指滿足一組最低要求的互連技術(shù)：可伸縮性；完全的任意節(jié)點-任意節(jié)點橫截面帶寬；公平；可預(yù)見的低延遲；擁塞避免；和誤差控制。當在現(xiàn)有技術(shù)約束下構(gòu)建橫向擴展的基礎(chǔ)設(shè)施時，這些最低要求是基本的、不可避免的——也就是說，CPU、內(nèi)存和IO接口等單個基本構(gòu)建塊的性能不能無限地提升。我們使用商標術(shù)語TrueFabric是對Fungible技術(shù)的確認，因為“Fabric”這個詞已經(jīng)因為過度使用而變得毫無意義。然而，在本文中，我們將準確地使用上面描述的大寫術(shù)語Fabric和商標術(shù)語TrueFabric來具體指代可替換技術(shù)。

理想Fabric是一種具有無限橫截面帶寬和零節(jié)點到節(jié)點延遲的互連技術(shù)。然而，這種Fabric顯然是不可實現(xiàn)的。可實現(xiàn)的Fabric是可以以合理的成本實現(xiàn)的，同時提供Fabric的定義屬性。在可實現(xiàn)的Fabric中，每個節(jié)點以固定的帶寬連接，該帶寬獨立于Fabric中的節(jié)點數(shù)量(稱為可伸縮擴展性的屬性)。Fabric的橫截面帶寬是有限的，但是隨著節(jié)點數(shù)量的增加而增加，而且根據(jù)物理定律，延遲是允許最小的。

還需要區(qū)分實現(xiàn)內(nèi)存模型的互連技術(shù)和實現(xiàn)網(wǎng)絡(luò)模型的互連技術(shù)。前者用于使用讀、寫原語和可能的緩存原語連接處理器到內(nèi)存；這些互連的帶寬和延遲要求都非常高，但規(guī)模必然有限。網(wǎng)絡(luò)互連用于使用發(fā)送和接收等網(wǎng)絡(luò)原語將整個服務(wù)器節(jié)點彼此連接；這些網(wǎng)絡(luò)互連的帶寬和延遲要求比較寬松，但規(guī)模可以非常大，可以包含多達一百萬個節(jié)點。使用上述術(shù)語，TrueFabric是一個實現(xiàn)網(wǎng)絡(luò)模型的可實現(xiàn)Fabric。除了合并可實現(xiàn)Fabric的定義屬性之外，它還實現(xiàn)了兩個非常理想的附加屬性：它構(gòu)建在開放標準之上，并且支持強大的安全性。我們順便注意到，雖然TrueFabric是一個網(wǎng)絡(luò)互連，但它的性能已經(jīng)足夠好，可以使用RDMA在上面實現(xiàn)內(nèi)存模型。TrueFabric的所有特性都是通過基于標準UDP/ IP以太網(wǎng)的新型Fabric控制協(xié)議(FCP)實現(xiàn)的。

對于中小型規(guī)模，TrueFabric使用單層標準IP/Ethernet Spine交換機，其中服務(wù)器節(jié)點直接連接到Spine交換機。對于大規(guī)模，它使用兩層拓撲結(jié)構(gòu)，由位于每個機架頂部的標準IP/Ethernet Spine交換機和標準IP/Ethernet Leaf交換機組成。在這種情況下，服務(wù)器節(jié)點連接到Leaf交換機。盡管當前TrueFabric的最大部署中不需要使用超過兩層的交換機，但是FCP可以在包含三層或更多交換機的現(xiàn)有網(wǎng)絡(luò)上完美地運行。

在接下來的內(nèi)容中，我們將把Leaf、Spine和任何更高的交換層統(tǒng)稱為網(wǎng)絡(luò)核心。網(wǎng)絡(luò)邊緣是TrueFabric在服務(wù)器節(jié)點內(nèi)部的Fungible DPU內(nèi)實現(xiàn)的端點。TrueFabric是網(wǎng)絡(luò)核心和網(wǎng)絡(luò)邊緣的集合。

有四種服務(wù)器類型的多個實例：CPU服務(wù)器、AI/數(shù)據(jù)分析服務(wù)器、SSD服務(wù)器和HDD服務(wù)器。每個服務(wù)器實例包含一個Fungible DPU，它以固定的帶寬(比如100GE)連接到網(wǎng)絡(luò)。雖然每個DPU只有一個100GE接口連接到網(wǎng)絡(luò)核心，但TrueFabric即使在最大的部署規(guī)模下，也能讓每個DPU之間都有一條專用的100GE鏈路。事實上，服務(wù)器無法進行任何實驗來揭示網(wǎng)絡(luò)核心與抽象圖中顯示的完整網(wǎng)格有任何不同。

3 TrueFabric的屬性

TrueFabric展示了構(gòu)建現(xiàn)代橫向擴展數(shù)據(jù)中心的8個基本屬性：

可擴展性：TrueFabric可以從使用100GE接口的小規(guī)模部署的服務(wù)器集群擴展到使用200GE-400GE接口的數(shù)十萬臺服務(wù)器的大規(guī)模部署。所有部署都使用相同的互連拓撲，小型到中型部署使用單層Spine交換機，大型部署使用Spine層和Leaf層?？梢栽隽康財U展部署，而無需關(guān)閉網(wǎng)絡(luò)以實現(xiàn)真正的始終在線操作。

全截面帶寬：TrueFabric支持任何節(jié)點到任何節(jié)點的全截面帶寬，適用于標準IP以太網(wǎng)數(shù)據(jù)包大小，不限制所承載的流量的時間或空間特征。至關(guān)重要的是，TrueFabric支持短的、低延遲消息的高效交換，以支持服務(wù)器節(jié)點之間的頻繁交互式通信。這種類型的通信對于TCP是不可能的，因為TCP是一種字節(jié)流協(xié)議。另一方面，TCP可以非常有效地在FCP之上實現(xiàn)。

低延遲和低抖動：TrueFabric提供節(jié)點之間的最小的端到端延遲，以及非常嚴格的尾巴延遲控制。節(jié)點之間的最小延遲意味著流量總是使用任意兩個節(jié)點之間的最短路徑。對尾部延遲的嚴格控制意味著，即使提供的負載利用率超過90%，99%的延遲也很少超過平均延遲的1.5倍。

公平性：在競爭節(jié)點之間以微秒粒度公平分配網(wǎng)絡(luò)帶寬。此外，網(wǎng)絡(luò)帶寬還可以在由給定節(jié)點生成的流之間公平地分配。帶寬分配取決于IP包的標準服務(wù)質(zhì)量水平。

擁塞避免:TrueFabric有內(nèi)置的主動擁塞避免，這意味著數(shù)據(jù)包基本上不會因為擁塞而丟失，即使在非常高的負載下(大于90%)。值得注意的是，擁塞避免技術(shù)并不依賴于核心網(wǎng)絡(luò)交換機來提供任何與擁塞控制相關(guān)的特性。

容錯：TrueFabric有內(nèi)置的檢測和恢復(fù)數(shù)據(jù)包丟失，因為任何類型的網(wǎng)絡(luò)故障，包括但不限于電纜切斷，交換機故障由于硬件或軟件故障，瞬態(tài)錯誤導(dǎo)致交換機內(nèi)或在終端的數(shù)據(jù)包下降，瞬態(tài)或永久的光電子故障，以及不可避免的銅線或光纜上的隨機噪聲。FCP的錯誤恢復(fù)比依賴于路由協(xié)議的傳統(tǒng)恢復(fù)技術(shù)快五個數(shù)量級。

軟件定義的安全和策略：TrueFabric支持基于AES標準的端到端加密。此外，可以通過軟件配置將給定的部署劃分為單獨的加密域，每個域為其節(jié)點提供任意對任意連接，但禁止從一個域的節(jié)點到另一個域的節(jié)點的通信。

開放標準：TrueFabric的FCP建立在基于以太網(wǎng)的標準IP之上，可以與以太網(wǎng)上的標準TCP/IP完全互操作。這允許使用現(xiàn)成的Spine和TOR交換機，也允許在一些服務(wù)器節(jié)點采用DPU，而其他節(jié)點不采用DPU。開放的標準還允許TrueFabric提供優(yōu)異的經(jīng)濟效益。

總的來說，這八個屬性使得TrueFabric能夠?qū)M向擴展的數(shù)據(jù)中心的性能、經(jīng)濟性、可靠性和安全性產(chǎn)生實質(zhì)性的優(yōu)化。它們在單一技術(shù)中的實現(xiàn)代表了數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)的根本性進步。

性能和經(jīng)濟性改進的部分原因是網(wǎng)絡(luò)本身的性能比現(xiàn)有網(wǎng)絡(luò)高出3倍以上，主要原因是它具有更高的網(wǎng)絡(luò)利用率，同時仍然提供出色的低延遲。雖然這是一個巨大的改進，但網(wǎng)絡(luò)通常只占數(shù)據(jù)中心花費的一小部分(約15%)，即使有如此大的改進，數(shù)據(jù)中心運營商仍不傾向于在此投入。他們這樣做對自己是一種損害，因為絕大多數(shù)的性能和經(jīng)濟性改善是由于TrueFabric，不是來自網(wǎng)絡(luò)的直接經(jīng)濟效益，并且間接來自于整個數(shù)據(jù)中心的計算和存儲資源池的有效利用。這樣可以減輕CPU的網(wǎng)絡(luò)負擔。TrueFabric實際上可以有效地解構(gòu)數(shù)據(jù)中心中的所有資源

我們將高效解構(gòu)大多數(shù)數(shù)據(jù)中心資源的能力稱為超解構(gòu)，而不是超融合——超融合是一種將資源定位在單一類型服務(wù)器內(nèi)的方法。在超融合方法中，節(jié)點內(nèi)部的CPU可以有效地使用本地資源，但這些資源不能跨服務(wù)器節(jié)點池。因此，資源使用的效率大大降低。通過比較企業(yè)數(shù)據(jù)中心(由于資源滯留導(dǎo)致利用率低于8%)與超大規(guī)模數(shù)據(jù)中心(通過部分分解達到利用率超過30%)的平均利用率，我們估計這種效率損失超過4倍。

數(shù)據(jù)中心的可靠性和安全性改進是上面列出的幾個屬性的直接結(jié)果。首先，TrueFabric從根本上改善了數(shù)據(jù)中心網(wǎng)絡(luò)的可靠性：它通過完全避免擁塞而不是事后對擁塞做出反應(yīng)，從而消除了擁塞作為丟包的來源；它還可以從所有網(wǎng)絡(luò)硬件和軟件故障(包括多個故障)中恢復(fù)，確?？煽窟\行，而無需承擔通常與此級別的可靠性相關(guān)的成本。因此，TrueFabic還從根本上提高了數(shù)據(jù)中心提供的服務(wù)的整體可靠性。第二，TrueFabric的性能特點意味著可以普遍使用糾刪碼來保護所有存儲的數(shù)據(jù)，特別是高性能存儲中的熱點數(shù)據(jù)。這使得我們可以大大提高存儲數(shù)據(jù)的可靠性，而不是創(chuàng)建多副本的成本。

在安全方面，TrueFabric支持數(shù)據(jù)中心所有DPU-DPU流量的端到端加密。此外，在軟件控制下，支持DPU的服務(wù)器可以劃分為不相連的子集，每個子集形成一個單獨的加密安全域。此功能提供了最強大的安全性(除了在服務(wù)器組之間提供物理空隙之外)。

4 性能特征

在本節(jié)中，我們將介紹TrueFabric的性能特征，重點關(guān)注嚴重網(wǎng)絡(luò)擁塞的場景。現(xiàn)有技術(shù)不能很好地處理這些場景。

4.1 高負載下的Fabric時延

圖3顯示了用于在重負載網(wǎng)絡(luò)條件下測試不同流量模式的模擬設(shè)置。該設(shè)置包含64個相同的機架，每個機架由16個DPU組成，連接到一個6.4Tbps TOR。TOR配置了32x100GE鏈路連接到DPU(每個DPU 2x100GE)和32x100GE鏈路連接到32個Spine，每個Spine 100GE——換句話說，TOR和Spine層都是不會超額認購的。

我們測量了在三種不同的流量場景下，從發(fā)送DPU的網(wǎng)絡(luò)單元的輸入端口到接收DPU的輸出端口的端到端單向延遲：

一對一：每個DPU發(fā)送報文到另一個唯一的DPU。在這個場景中沒有擁塞。數(shù)據(jù)包大小從行業(yè)標準IMIX配置文件中挑選。

隨機目的地:每個DPU將其每個數(shù)據(jù)包發(fā)送到從1024個DPU中隨機抽取的DPU。在這種情況下，所有的數(shù)據(jù)包都被選擇為相同的大小(1KB)，以在目的DPU上均衡負載。

最大Incast：所有1024個DPU發(fā)送到一個接受者DPU——這是擁塞的極限測試。數(shù)據(jù)包大小從行業(yè)標準IMIX配置文件中挑選。下表顯示了這三種場景中的Fabric利用率、平均延遲、延遲方差和P99延遲。

三種情況下，F(xiàn)abric利用率均超過90%。平均延遲在1-2μs范圍內(nèi)；P99時延的絕對值在1 ~ 3μs范圍內(nèi)。值得注意的是，Spine和TOR交換機占了大約0.5μs的延遲預(yù)算，其余的在發(fā)送和接收DPU之間分布。最后，P99延遲與平均延遲的比率是1.16,1.57和1.02,分別。

4.2 與RoCEv2在擁塞情況下的比較

我們比較了TrueFabric和RoCEv2在10:1 Incast條件下的性能。所比較的兩種配置是相同的，除了一個在10臺服務(wù)器上使用Mellanox ConnectX-5網(wǎng)卡，另一個在10臺服務(wù)器上使用Fungible的DPU。圖5顯示了設(shè)置:

第一組測量顯示了TrueFabric與RoCEv2在10:1 Incast下分配給每個發(fā)送方的瞬時帶寬隨時間的變化。參見下面的圖6。很明顯，TrueFabric提供給發(fā)送者的帶寬幾乎是相等的，而且隨著時間的推移也很穩(wěn)定。對于RoCEv2，跨發(fā)送者和跨時間的分布是高度可變的。

查看相同數(shù)據(jù)的另一種方法是在10:1 Incast場景下測量TrueFabric和RoCEv2的P99尾部延遲。TrueFabric的每個流的端到端應(yīng)用程序延遲為987μs, RoCEv2為16302μs，或者更高的16.5倍。圖7以直方圖的形式顯示了數(shù)據(jù)。

圖7 TrueFabric和RoCEv2之間的P99尾延遲比較

5 結(jié)論

在橫向擴展數(shù)據(jù)中心中，服務(wù)器之間相互連接的網(wǎng)絡(luò)是以給定成本構(gòu)建最通用、最強大的計算設(shè)施的關(guān)鍵。這個網(wǎng)絡(luò)需要有一組屬性，這些屬性對于實現(xiàn)高性能、卓越的經(jīng)濟性、高可靠性和強安全性的目標至關(guān)重要。在本文中，我們精確地定義了這些屬性，并解釋了它們?nèi)绾斡兄趯崿F(xiàn)高級目標。

無論是當前的TCP/IP以太網(wǎng)，還是InfiniBand、光纖通道和RoCEv2等更利基的技術(shù)，都不能完全提供前面確定的所有屬性。

TrueFabric是業(yè)界首次專注于提供基于開放標準的單一、統(tǒng)一的網(wǎng)絡(luò)技術(shù)，該技術(shù)具有在大范圍內(nèi)構(gòu)建高性能、經(jīng)濟、可靠和安全數(shù)據(jù)中心所需的所有屬性。因此，它代表了數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)水平的根本進步。

原文標題：DPU怎樣顛覆數(shù)據(jù)中心網(wǎng)絡(luò)？

文章出處：【微信公眾號：SSDFans】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責任編輯：haq