1. 方案背景和挑戰(zhàn)

裸金屬服務(wù)器是云上資源的重要部分，其網(wǎng)絡(luò)需要與云上的虛擬機(jī)和容器互在同一個(gè)VPC下，并且能夠像容器和虛擬機(jī)一樣使用云的網(wǎng)絡(luò)功能和能力。

傳統(tǒng)的裸金屬服務(wù)器使用開(kāi)源的 OpenStack Ironic組件，配合 OpenStack Neutron網(wǎng)絡(luò)實(shí)現(xiàn)。

傳統(tǒng)方案1：在Neutron使用VLAN網(wǎng)絡(luò)時(shí)，每個(gè)VPC網(wǎng)絡(luò)會(huì)分配一個(gè)唯一的VLAN標(biāo)簽。通過(guò)在裸金屬服務(wù)器的網(wǎng)卡上配置相應(yīng)交換機(jī)端口的VLAN標(biāo)簽，使其與目標(biāo)網(wǎng)絡(luò)的VLAN標(biāo)簽匹配，就可以將裸金屬服務(wù)器的網(wǎng)絡(luò)切換到對(duì)應(yīng)的VPC中。

盡管VLAN網(wǎng)絡(luò)在流量管理和網(wǎng)絡(luò)隔離方面具有較高效率，但也存在一些缺點(diǎn)：

• 可擴(kuò)展性有限，僅支持4096個(gè)VLAN，不能應(yīng)用在大規(guī)模和復(fù)雜環(huán)境中；
• 管理復(fù)雜，需要一致性配置和手動(dòng)維護(hù)；
• 廣播域限制，可能導(dǎo)致網(wǎng)絡(luò)擁塞。

為了解決傳統(tǒng)方案1的擴(kuò)展性和管理靈活性問(wèn)題，業(yè)界逐漸開(kāi)始采用傳統(tǒng)方案2：利用SDN交換機(jī)進(jìn)行VXLAN/Geneve處理。裸金屬服務(wù)器通過(guò)VLAN接入SDN交換機(jī)，后者負(fù)責(zé)對(duì)數(shù)據(jù)包進(jìn)行封裝，然后將流量引入對(duì)應(yīng)的VPC網(wǎng)絡(luò)，實(shí)現(xiàn)裸機(jī)與虛擬機(jī)互通。如下圖所示：

這種方案相比傳統(tǒng)方案1，提升了網(wǎng)絡(luò)的可擴(kuò)展性，通過(guò)Overlay網(wǎng)絡(luò)提高了網(wǎng)絡(luò)可擴(kuò)展性、靈活性和安全性。但是，這種方案仍面臨很多問(wèn)題與挑戰(zhàn)：

1. 網(wǎng)絡(luò)架構(gòu)割裂問(wèn)題：該方案未能實(shí)現(xiàn)虛擬網(wǎng)絡(luò)與裸機(jī)網(wǎng)絡(luò)架構(gòu)的統(tǒng)一管理，導(dǎo)致兩者的配置和管理流程存在差異，增加了運(yùn)維團(tuán)隊(duì)的學(xué)習(xí)成本和操作復(fù)雜度。這種割裂不僅減緩了網(wǎng)絡(luò)變更的響應(yīng)速度，還可能引發(fā)配置錯(cuò)誤，影響網(wǎng)絡(luò)的穩(wěn)定性和一致性。
2. 成本與維護(hù)負(fù)擔(dān)：依賴SDN交換機(jī)進(jìn)行網(wǎng)絡(luò)封裝處理，雖然帶來(lái)了技術(shù)上的進(jìn)步，但同時(shí)也引入了額外的硬件采購(gòu)與維護(hù)成本。這些交換機(jī)的部署與升級(jí)都需要專(zhuān)業(yè)的技術(shù)支持，且設(shè)備本身的價(jià)格不菲，長(zhǎng)期來(lái)看對(duì)預(yù)算造成壓力。此外，特定品牌和型號(hào)的SDN交換機(jī)可能限制了技術(shù)選型的自由度，影響網(wǎng)絡(luò)架構(gòu)的擴(kuò)展性和兼容性，不利于技術(shù)迭代和未來(lái)升級(jí)。
3. 靈活性與擴(kuò)展性局限：在該方案中，裸金屬服務(wù)器僅通過(guò)單一物理網(wǎng)卡接入SDN交換機(jī)，這種連接方式的固定性，限制了網(wǎng)絡(luò)接口的靈活性和擴(kuò)展能力。尤其是缺乏熱插拔支持，意味著在需要調(diào)整網(wǎng)絡(luò)配置或增加網(wǎng)絡(luò)帶寬時(shí)，必須停機(jī)操作，這不僅影響了業(yè)務(wù)連續(xù)性，也降低了數(shù)據(jù)中心的運(yùn)維效率和資源的快速調(diào)配能力。

綜上所述，盡管傳統(tǒng)方案2在一定程度上改善了網(wǎng)絡(luò)的擴(kuò)展性和安全性，但其存在的架構(gòu)復(fù)雜性、較高的成本投入、以及有限的靈活性和擴(kuò)展性，成為制約裸金屬服務(wù)高效運(yùn)營(yíng)和未來(lái)發(fā)展的主要障礙。因此，探索更優(yōu)化的網(wǎng)絡(luò)解決方案，以實(shí)現(xiàn)網(wǎng)絡(luò)架構(gòu)的統(tǒng)一管理、降低成本負(fù)擔(dān)、并增強(qiáng)靈活性與擴(kuò)展性，顯得尤為迫切。

2. 方案介紹

2.1. 整體方案架構(gòu)

本方案基于DPU的網(wǎng)絡(luò)能力，采用開(kāi)源 Kubernetes底座架構(gòu)，以O(shè)VN/OVS做為網(wǎng)絡(luò)轉(zhuǎn)發(fā)面，整體架構(gòu)如下圖所示：

在集群架構(gòu)中，裸金屬服務(wù)器既可以單獨(dú)使用，也可以作為Worker節(jié)點(diǎn)加入Kubernetes集群，部署Pod或虛擬機(jī)（VM）。無(wú)論是作為裸金屬服務(wù)器，還是作為Worker節(jié)點(diǎn)，網(wǎng)絡(luò)I/O均由DPU卸載，并通過(guò)OVN進(jìn)行統(tǒng)一管理。在使用SmartNIC或普通網(wǎng)卡的Worker節(jié)點(diǎn)中，OVN的流表管理和下發(fā)邏輯保持不變，僅將網(wǎng)絡(luò)I/O交由主機(jī)側(cè)處理。整體方案采用統(tǒng)一的OVN控制器進(jìn)行策略下發(fā)和調(diào)度，實(shí)現(xiàn)DPU裸機(jī)網(wǎng)絡(luò)與Pod/VM之間的網(wǎng)絡(luò)互通。

本方案的關(guān)鍵組件為自研，包括以下組件：

●bmctl：類(lèi)似于 kubectl的一個(gè)便于操作裸金屬的命令行工具。

● ycloud-cni：為裸金屬提供虛擬網(wǎng)卡配置功能，實(shí)現(xiàn)CNI接口，并對(duì)本地 OVS網(wǎng)絡(luò)進(jìn)行配置。

● ycloud-ovn-controller：該組件執(zhí)行K8S內(nèi)資源到OVN資源的翻譯工作，其作用相當(dāng)于SDN系統(tǒng)的控制平面。監(jiān)聽(tīng)所有和網(wǎng)絡(luò)相關(guān)的資源事件，并根據(jù)資源變化情況更新OVN內(nèi)的邏輯網(wǎng)絡(luò)。

2.1. 方案詳細(xì)描述

裸金屬的網(wǎng)絡(luò)完全由DPU卡來(lái)配置，裸金屬機(jī)器本身可以不攜帶任何物理網(wǎng)卡，而是通過(guò)DPU提供的PF/VF設(shè)備作為網(wǎng)卡設(shè)備。這些設(shè)備由DPU SOC（SOC可以靈活對(duì)軟件升級(jí)和部署服務(wù)）側(cè)的OVS進(jìn)行配置，而不依賴外部交換機(jī)，可以實(shí)現(xiàn)VXLAN、Geneve等各種虛擬網(wǎng)絡(luò)，本方案具有性能優(yōu)越、靈活性強(qiáng)、部署簡(jiǎn)化、管理統(tǒng)一、高可擴(kuò)展性等優(yōu)點(diǎn)，是一種高效和可靠的裸金屬網(wǎng)絡(luò)解決方案。如下圖所示：

在裸金屬方案中，網(wǎng)卡被抽象為彈性虛機(jī)網(wǎng)卡（VNic）對(duì)象，由bm-controller根據(jù)用戶需求創(chuàng)建VNic對(duì)象，并由Ycloud-cni組件將VNic綁定到裸金屬。在這個(gè)過(guò)程中，bm-controller會(huì)為Host側(cè)分配PF/VF，并調(diào)用OVS將相應(yīng)的端口綁定到OVS網(wǎng)橋，進(jìn)行必要的配置。這種方案無(wú)需更改交換機(jī)的配置，同時(shí)將控制面和數(shù)據(jù)面都卸載到DPU中處理，使得管理流程與虛擬網(wǎng)絡(luò)中的POD/VM基本一致。唯一的區(qū)別在于本地虛擬網(wǎng)絡(luò)設(shè)備的生成過(guò)程，使用Ycloud-cni-ds處理配置DPU本地網(wǎng)絡(luò)。如下圖所示：

總體來(lái)說(shuō)，基于DPU的裸金屬網(wǎng)絡(luò)方案為裸金屬服務(wù)器提供了靈活且高效的網(wǎng)絡(luò)管理解決方案。

基于DPU的裸金屬方案使用DPU的VF設(shè)備提供網(wǎng)卡功能，動(dòng)態(tài)配置網(wǎng)卡，無(wú)需冗余網(wǎng)卡。Ycloud-cni組件負(fù)責(zé)管理PF/VF設(shè)備，實(shí)現(xiàn)網(wǎng)卡的動(dòng)態(tài)插拔和配置。相比原生Ironic的冗余網(wǎng)卡需求，這種方案更靈活高效，避免資源浪費(fèi)。 DPU提供數(shù)百個(gè)以上的VF，足以滿足不同用戶需求，使得網(wǎng)卡的熱插拔變得簡(jiǎn)單而高效，提高資源利用率。

3. 測(cè)試與驗(yàn)證

3.1. 資源創(chuàng)建

與其他k8s資源的創(chuàng)建類(lèi)似，裸金屬的通過(guò)一個(gè)yaml描述進(jìn)行創(chuàng)建，同時(shí)創(chuàng)建POD、VM：

裸機(jī)yaml中網(wǎng)絡(luò)信息：

VM yaml中的網(wǎng)絡(luò)信息：

POD yaml中的網(wǎng)絡(luò)信息：

查看資源信息如下：

創(chuàng)建后，可通過(guò)kubectl命令查看：

裸機(jī)可以看到bm-01、bm-02及bm-node3三個(gè)裸金屬實(shí)例，均為Running狀態(tài)。

我們提供了類(lèi)似 kubectl的一個(gè) bmctl命令行工具，方便進(jìn)行管理維護(hù)。通過(guò)該命令，可以方便的進(jìn)行登錄、重啟、網(wǎng)卡插拔等操作：

3.2. 聯(lián)通性

驗(yàn)證BM跟POD和VM的網(wǎng)絡(luò)互通情況

裸機(jī)和POD互通：

裸機(jī)和VM互通：

3.3. 熱插拔

通過(guò)提供的 bmctl命令行工具操作。

添加網(wǎng)卡：

查看網(wǎng)卡：

刪除網(wǎng)卡：

查看網(wǎng)卡bm-02

3.4. 統(tǒng)一管理

K8S納管DPU節(jié)點(diǎn)，且DPU SOC中使用OVS，可以看到pf0hpf使用的是馭數(shù)的驅(qū)動(dòng)。

4. 總結(jié)

4.1. 統(tǒng)一管理方案優(yōu)勢(shì)

DPU賦能的裸金屬網(wǎng)絡(luò)解決方案，在以下幾個(gè)方面具有顯著優(yōu)勢(shì)：

1. 精簡(jiǎn)網(wǎng)絡(luò)架構(gòu)，提升管理效率：通過(guò)將Overlay網(wǎng)絡(luò)的終結(jié)點(diǎn)設(shè)在DPU層面，該方案有效精簡(jiǎn)了網(wǎng)絡(luò)層級(jí)，削減了不必要的組件，從而大幅降低了網(wǎng)絡(luò)架構(gòu)的復(fù)雜度。這一設(shè)計(jì)不僅增強(qiáng)了網(wǎng)絡(luò)的可管理性，還為未來(lái)的擴(kuò)展需求奠定了靈活的基礎(chǔ)。
2. 優(yōu)化設(shè)備配置，實(shí)現(xiàn)成本與效率雙贏：采用DPU為核心的技術(shù)路徑，該方案成功減少了對(duì)物理交換機(jī)的依賴，從根本上簡(jiǎn)化了網(wǎng)絡(luò)設(shè)備配置，降低了硬件成本及運(yùn)維開(kāi)支。此舉不僅經(jīng)濟(jì)高效，也為網(wǎng)絡(luò)環(huán)境的輕量化與高效運(yùn)作提供了有力支撐。
3. 增強(qiáng)網(wǎng)絡(luò)接口靈活性，確保業(yè)務(wù)連續(xù)性：得益于DPU的動(dòng)態(tài)特性，支持網(wǎng)絡(luò)接口的熱插拔成為可能。這意味著在服務(wù)器持續(xù)運(yùn)行的同時(shí)，可以根據(jù)需要輕松添加或移除網(wǎng)絡(luò)接口，確保了業(yè)務(wù)的不間斷與基礎(chǔ)設(shè)施的即時(shí)適應(yīng)性。
4. 統(tǒng)一控制，深化SDN潛能：整合統(tǒng)一的SDN控制器，實(shí)現(xiàn)策略精準(zhǔn)下發(fā)與智能調(diào)度，不僅超越了傳統(tǒng)VLAN的限制，兼容VXLAN和Geneve等先進(jìn)技術(shù)，還內(nèi)置了SDN ACL安全策略，模擬云環(huán)境下的安全組功能，強(qiáng)化了網(wǎng)絡(luò)安全防護(hù)。這一策略不僅統(tǒng)一了管理界面，簡(jiǎn)化了SDN軟件棧，還顯著提高了網(wǎng)絡(luò)的靈活性和響應(yīng)速度，降低了維護(hù)難度，確保了網(wǎng)絡(luò)管理的高效與直觀。

綜上所述，DPU驅(qū)動(dòng)的裸金屬網(wǎng)絡(luò)方案通過(guò)一系列創(chuàng)新設(shè)計(jì)，從根本上重塑了網(wǎng)絡(luò)的部署與管理方式，為追求高效、靈活及安全的現(xiàn)代數(shù)據(jù)中心提供了強(qiáng)有力的支持。

本方案來(lái)自于中科馭數(shù)軟件研發(fā)團(tuán)隊(duì)，團(tuán)隊(duì)核心由一群在云計(jì)算、數(shù)據(jù)中心架構(gòu)、高性能計(jì)算領(lǐng)域深耕多年的業(yè)界資深架構(gòu)師和技術(shù)專(zhuān)家組成，不僅擁有豐富的實(shí)戰(zhàn)經(jīng)驗(yàn)，還對(duì)行業(yè)趨勢(shì)具備敏銳的洞察力，該團(tuán)隊(duì)致力于探索、設(shè)計(jì)、開(kāi)發(fā)、推廣可落地的高性能云計(jì)算解決方案，幫助最終客戶加速數(shù)字化轉(zhuǎn)型，提升業(yè)務(wù)效能，同時(shí)降低運(yùn)營(yíng)成本。