設(shè)計目標(biāo)：
RDMA技術(shù)采用無感傳輸機(jī)制，消除傳統(tǒng)網(wǎng)絡(luò)傳輸中需要CPU介入下的多重數(shù)據(jù)復(fù)制與內(nèi)核參與環(huán)節(jié)，實(shí)現(xiàn)直接跨主機(jī)內(nèi)存訪問的機(jī)制。其設(shè)計目標(biāo)為優(yōu)化分布式環(huán)境下的數(shù)據(jù)傳輸效率，降低CPU負(fù)載。
RoCEv2基于標(biāo)準(zhǔn)網(wǎng)絡(luò)的以太網(wǎng)、網(wǎng)絡(luò)層和傳輸層（UDP）協(xié)議，這可以使得RoCEv2的網(wǎng)絡(luò)流量可以經(jīng)過傳統(tǒng)的網(wǎng)絡(luò)路由器路由。之前RDMA簡介1~8有對相關(guān)資料介紹，這里強(qiáng)調(diào)的是：它是目前性價比最高的RDMA實(shí)現(xiàn)方式，雖然IB模式在一些高校應(yīng)用較多，但因?yàn)樗膶Ｓ刑匦?，價格較貴，難廣泛用于產(chǎn)品中。

設(shè)計思考
基于PC-PC或GPU-GPU之間RDMA設(shè)計已有較多廠商投入，雖然有的大廠投入幾年后折羽而歸，但不影響PC領(lǐng)域成熟應(yīng)用產(chǎn)品的推廣。這里主要討論在FPGA上設(shè)計RDMA over RoCE V2，雖然已有xilinx的ernic應(yīng)用，但是性價比以及國產(chǎn)化需求還是有其發(fā)展空間。這里討論設(shè)計需要著重考慮地方：
1）通用性
一般項目中的數(shù)據(jù)采集前端基于 FPGA 進(jìn)行開發(fā)。第一，各數(shù)據(jù)采集前端使用的 FPGA型號各不相同，需要實(shí)現(xiàn)的設(shè)計能夠工作在多種不同型號 FPGA 上；第二，為了降低設(shè)計部署成本，需要實(shí)現(xiàn)的設(shè)計能夠在脫離 CPU 控制下獨(dú)立運(yùn)行和控制傳輸；第三，一些廠商不愿意采用私有化協(xié)議，主要是考慮其被迫被捆綁，私有協(xié)議也就意味著難以與其他系統(tǒng)兼容，一旦存在功能或性能設(shè)計不足，只能前功盡棄。考慮到以上三點(diǎn)需求，設(shè)計時建議采用純邏輯電路實(shí)現(xiàn)。
2）高性能
數(shù)據(jù)采集前端得到的數(shù)據(jù)，數(shù)據(jù)塊大小不固定、數(shù)據(jù)速率也不盡相同。同時對于數(shù)據(jù)傳輸?shù)男枨笠膊⒉幌嗤?，存在一對一、一對多、多對多等多種傳輸情況。面對大量離散數(shù)據(jù)時，需要增加 RDMA 隊列數(shù)量及深度，同時靈活調(diào)整數(shù)據(jù)包大小來保證傳輸性能，而面對大量連續(xù)數(shù)據(jù)請求時，則可通過減少隊列數(shù)量的方式來降低功耗。
同時，在面對一對多或多對多傳輸需求時，則要求設(shè)計能夠正確地處理網(wǎng)絡(luò)擁塞情況并正確地進(jìn)行流量控制。因此，需要實(shí)現(xiàn)完備的隊列管理及擁塞處理功能，在滿足性能要求的同時適應(yīng)不同的應(yīng)用環(huán)境。具體要求為使用 QSFP28 及以上光纖接口，在傳輸不小于 256 MB 的連續(xù)數(shù)據(jù)時，數(shù)據(jù)傳輸速率不小于 90 Gbps。在傳輸包大小為 4KB 時，延遲不高于 10 μs、包吞吐量不小于 1000 kpps。這里也只是簡要指標(biāo)分析，上面這些指標(biāo)在PC-FPGA之間實(shí)現(xiàn)較容易，在FPGA-FPGA之間還是有一些挑戰(zhàn)。這也反映競爭環(huán)境下適者生存，最后生存的不大可能是大多數(shù)。雖然我們設(shè)計的IP性能（包括我們A, FPGA-FPGA)早已超越這些指標(biāo)，相信其他廠家也能滿足。
3）易集成、用戶操作簡便
實(shí)現(xiàn)的 RDMA 協(xié)議棧和控制邏輯，應(yīng)能夠簡易地集成到應(yīng)用生產(chǎn)環(huán)境中，并提供簡易的用戶操作方式來實(shí)現(xiàn)數(shù)據(jù)傳輸控制及隊列控制。因此，設(shè)計需要使用標(biāo)準(zhǔn)化接口，同時盡可能地降低資源占用率，并具備 DMA 數(shù)據(jù)傳輸功能。
4）穩(wěn)定性
這里強(qiáng)調(diào)的是，如果只是預(yù)研項目，就不大需要考慮穩(wěn)定性，其特有的功能和性能才是項目需要重點(diǎn)解決的。但是作為商用IP，就需要考慮其穩(wěn)定性，不能出現(xiàn)上次可以，這次就工作不正常，或者性能下降明顯情況。

它涉及到?幾個因素：
1）高速接口的匹配性?：RDMA數(shù)傳通道一般采用AXI總線，它需確保IP核與FPGA的如AXI4-Stream/AXI4-Lite等兼容性，避免因協(xié)議不匹配導(dǎo)致傳輸錯誤； ?
2）?時序優(yōu)化：一般它需要跨時鐘域設(shè)計，因此對時鐘同步、信號路徑規(guī)劃和資源分配等關(guān)鍵因素需要重點(diǎn)考慮；
3）?存儲資源分配?：合理設(shè)計FIFO深度，（一般采用2的整數(shù)次冪深度設(shè)計）和RAM塊數(shù)量，避免因資源不足導(dǎo)致數(shù)據(jù)丟失或性能下降。 ?

這里給出IP讀寫性能情況：

B站已給出相關(guān)性能的視頻，如想進(jìn)一步了解，請搜索B站用戶：專注與守望
鏈接：https://space.bilibili.com/585132944/dynamic?spm_id_from=333.1365.list.card_title.click

審核編輯 黃宇