什么是ECN？

顯式擁塞通知（ECN）是計算機網(wǎng)絡(luò)中的一種機制，它允許發(fā)送設(shè)備明確地通知接收設(shè)備網(wǎng)絡(luò)擁塞，而不是依賴于傳統(tǒng)的“丟包”方法。在傳統(tǒng)的TCP/IP網(wǎng)絡(luò)中，當路由器或交換機出現(xiàn)擁塞時，它會丟棄數(shù)據(jù)包以防止進一步的數(shù)據(jù)包丟失，這是有損的。

ECN通過引入一種新的數(shù)據(jù)包標記類型來解決這些問題，這種標記稱為 “CE” （經(jīng)歷擁塞），它在不丟棄數(shù)據(jù)包的情況下通知發(fā)送方網(wǎng)絡(luò)擁塞。ECN允許設(shè)備做出智能化的決策，以減少它們的流量速率來緩解擁塞。在這種情況下，端側(cè)擁塞控制協(xié)議，比如DCQCN將被用來減少流量速率以進行擁塞控制。

ECN如何工作？

ECN標記機制的工作原理是基于出口隊列利用率來使用標記概率線。當隊列使用率低于最小閾值（Kmin）時，不標記任何數(shù)據(jù)包。對于Kmin和Kmax之間的隊列使用率，應(yīng)用概率P來標記數(shù)據(jù)包。

sonic-mgmt/docs/ECN-test-plan.md at master · sonic-net/sonic-mgmt

SONiC無損隊列？

交換機隊列（如圖1）是存儲等待被交換機轉(zhuǎn)發(fā)數(shù)據(jù)包的緩沖區(qū)。它就像一個臨時存儲區(qū)域，數(shù)據(jù)包在這里暫時存儲，然后被傳輸?shù)剿鼈兊淖罱K目的地。

圖1、端口隊列

“SONiC默認有兩個無損優(yōu)先級：3和4。需要注意的是，只有無損優(yōu)先級才能對PFC幀做出反應(yīng)或生成PFC幀。換句話說，PFC幀不應(yīng)該對有損優(yōu)先級的流量有任何影響。DSCP 3和4的數(shù)據(jù)包分別映射到優(yōu)先級3和4?！?/p>

sonic-mgmt/docs/testplan/PFC-test-plan.md at master · sonic-net/sonic-mgmt

本例中，我們不采用優(yōu)先級流控制（PFC）來管理擁塞，只是遵循SONiC無損隊列的指導(dǎo)原則。

把AI負載的DSCP映射到隊列中，需要如下的步驟：

映射DSCP-TC → 綁定接口DSCP-TC配置 → 映射TC-queue → 綁定接口TC-queue配置。

?把DSCP映射Traffic Class（TC）（圖2）。

圖2、DSCP映射到Traffic Class

?你可以通過config命令（需要sudo）創(chuàng)建多個dscp-tc的配置（圖3）。

圖3、創(chuàng)建dscp-tc配置

?為接口綁定dscp-tc配置，如下命令，其中AZURE是創(chuàng)建的profile的名稱，Ethernet144是綁定的端口

config interface qos dscp-tc bind Ethernet144 AZURE

?映射Traffic Class到隊列

圖4、TC與隊列映射配置

?為接口綁定tc-queue配置，如下命令

config interface qos tc-queue bind Ethernet144 AZURE

隊列的緩存配置

交換機上的入口和出口緩沖區(qū)在轉(zhuǎn)發(fā)過程中都扮演著關(guān)鍵角色。具體來說，入口緩沖區(qū)有助于觸發(fā)PFC的決策過程，而出口緩沖區(qū)則在決定何時用ECN-CE標記數(shù)據(jù)包方面起著至關(guān)重要的作用。

圖5、入口及出口緩沖區(qū)

同時，你還需要為接口配置緩沖區(qū)大小。如下命令，其中egress_lossless_profile 為緩沖區(qū)配置的名稱。

config interface buffer bind queue Ethernet144 3 egress_lossless_profile

ECN水線調(diào)優(yōu)

通過SONiC ECN設(shè)置，您可以配置多達三個不同的[min, max, P]集，這些配置集通過一個包含綠色、黃色和紅色后綴來設(shè)置。在本例中，我們也將利用這個特性來探索其潛在益處。

我們將添加一個新的WRED配置文件‘test’，并首先配置紅色集。

config wred add test --mode ecn

config wred update --ecn-gmin 20000000 --ecn-gmax 26000000 --ecn-gmark 80 --no-ecn-yellow --no-ecn-red --mode ecn test

圖6、第一次嘗試水線

將ECN配置與接口綁定

config interface wred bind queue Ethernet144 3 test

結(jié)合Keysight AI工作負載模擬和DCQCN特性，我們可以估計總線帶寬利用率大約為20.77 GB/s，這相當于理想帶寬利用率的約42%。被標記為ECN-CE的數(shù)據(jù)包數(shù)量較多，這表明流量速率控制介入較晚，導(dǎo)致緩沖區(qū)使用率升高，相應(yīng)地，標記概率也較高。

圖7、第一次嘗試集合通信基準測試

為了主動管理擁塞，我們可以嘗試設(shè)置較低的ECN最小和最大閾值，以便更早地觸發(fā)擁塞控制機制。

config wred update --ecn-gmin 10000000 --ecn-gmax 20000000 --ecn-gmark 80 --no-ecn-yellow --no-ecn-red --mode ecn test

圖8、第二次嘗試水線

在進行了這些調(diào)整之后，我們成功地實現(xiàn)了大約53%的優(yōu)化總線帶寬利用率，同時在模擬過程中顯著減少了接收到的ECN-CE數(shù)據(jù)包。

圖9、第二次嘗試集合通信基準測試

在嘗試調(diào)整Kmin和Kmax設(shè)置后，我們發(fā)現(xiàn)逐步調(diào)整并不能始終如一地實現(xiàn)最佳總線帶寬利用率。因此，我們引入了額外的黃色集配置來進一步優(yōu)化性能。

config wred update --ecn-gmin 20000000 --ecn-gmax 30000000 --ecn-gmark 80 --ecn-ymin 2000000 --ecn-ymax 20000000 --ecn-ymark 20 --no-ecn-red --mode ecn test

圖10、第三次嘗試水線

最終我們通過引入黃色配置集達到了96%的優(yōu)化總線帶寬利用率，使用少量的ECN-CE數(shù)據(jù)包來控制擁塞，成功的達到了調(diào)優(yōu)目標。

圖11、第三次嘗試集合通信基準測試

總結(jié)

優(yōu)化AI工作負載的ECN閾值需要精巧的平衡：在確保工作負載期間沒有數(shù)據(jù)包丟失的同時，最小化ECN-CE標記。隨著緩沖區(qū)消耗的增加，它可能導(dǎo)致接口上的轉(zhuǎn)發(fā)延遲變長，最終影響作業(yè)完成時間。為了克服這一挑戰(zhàn)，早期介入和降低標記概率至關(guān)重要。此外，將優(yōu)先級流控制（PFC）作為補充解決方案可以進一步增強擁塞管理并優(yōu)化整體系統(tǒng)性能。

關(guān)于是德科技

是德科技（NYSE：KEYS）啟迪并賦能創(chuàng)新者，助力他們將改變世界的技術(shù)帶入生活。作為一家標準普爾 500 指數(shù)公司，我們提供先進的設(shè)計、仿真和測試解決方案，旨在幫助工程師在整個產(chǎn)品生命周期中更快地完成開發(fā)和部署，同時控制好風(fēng)險。我們的客戶遍及全球通信、工業(yè)自動化、航空航天與國防、汽車、半導(dǎo)體和通用電子等市場。我們與客戶攜手，加速創(chuàng)新，創(chuàng)造一個安全互聯(lián)的世界。