NVMe IP放棄XDMA原因

選用XDMA做NVMe IP的關(guān)鍵傳輸模塊，可以加速I(mǎi)P的設(shè)計(jì)，但是XDMA對(duì)于開(kāi)發(fā)者來(lái)說(shuō)，還是不方便，原因是它就象一個(gè)黑匣子，調(diào)試也非一番周折，尤其是后面PCIe4.0升級(jí)。因此決定直接采用PCIe設(shè)計(jì)，雖然要費(fèi)一番周折，但是目前看，還是值得的，uvm驗(yàn)證也更清晰。

PCIe 加速模塊設(shè)計(jì)

PCIe 加速模塊負(fù)責(zé)處理PCIe事務(wù)層，并將其與NVMe功能和AXI接口直接綁定。如圖1所示，PCIe加速模塊按照請(qǐng)求發(fā)起方分為請(qǐng)求模塊和應(yīng)答模塊。請(qǐng)求模塊負(fù)責(zé)將內(nèi)部請(qǐng)求事務(wù)轉(zhuǎn)換為配置管理接口信號(hào)或axis請(qǐng)求方請(qǐng)求接口信號(hào)(axis_rq)，以及解析 axis 請(qǐng)求方完成接口信號(hào)(axis_rc);應(yīng)答模塊負(fù)責(zé)接收axis完成方請(qǐng)求接口信號(hào)(axis_cq)，將請(qǐng)求內(nèi)容轉(zhuǎn)換為AXI4接口信號(hào)或其它內(nèi)部信號(hào)做進(jìn)一步處理，同時(shí)將應(yīng)答事務(wù)通過(guò)axis完成方完成接口axis_cc)發(fā)送給PCIE集成塊.

圖1 PCIe加速模塊結(jié)構(gòu)和連接關(guān)系圖

PCIe 加速模塊不僅承擔(dān)了TLP與其它接口信號(hào)的轉(zhuǎn)換功能，也是降低傳輸延遲增加吞吐量的核心部件。接下來(lái)分別對(duì)請(qǐng)求模塊和應(yīng)答模塊的結(jié)構(gòu)設(shè)計(jì)進(jìn)行具體分析。

PCIe 請(qǐng)求模塊設(shè)計(jì)

請(qǐng)求模塊的具體任務(wù)是將系統(tǒng)的請(qǐng)求轉(zhuǎn)換成為axis接口形式的TLP或配置管理接口信號(hào)。這些請(qǐng)求主要包含初始化配置請(qǐng)求和門(mén)鈴寫(xiě)請(qǐng)求。初始化配置請(qǐng)求由初始化模塊發(fā)起，當(dāng)配置請(qǐng)求的總線號(hào)為0時(shí)，請(qǐng)求通過(guò)Cfg_mgmt接口發(fā)送給PCIE集成塊;當(dāng)配置請(qǐng)求的總線號(hào)不為0時(shí)，請(qǐng)求以PCIe配置請(qǐng)求TLP的格式從axis_rq接口發(fā)送到PCIE集成塊，然后由硬核驅(qū)動(dòng)數(shù)據(jù)鏈路層和物理層通過(guò)PCIe接口發(fā)送給下游設(shè)備，下游設(shè)備的反饋通過(guò)axis_rc接口以Cpl或CplD的形式傳回。門(mén)鈴寫(xiě)請(qǐng)求由NVMe控制模塊發(fā)起，請(qǐng)求以PCIe存儲(chǔ)器寫(xiě)請(qǐng)求TLP的格式從axis_rq接口交由PCIE集成塊發(fā)送。

由于發(fā)起請(qǐng)求的模塊存在多個(gè)，并且在時(shí)間順序上初始化模塊先占用請(qǐng)求，NVMe控制模塊后占用請(qǐng)求，不會(huì)出現(xiàn)請(qǐng)求的競(jìng)爭(zhēng)，因此設(shè)置一條內(nèi)部請(qǐng)求總線用于發(fā)起請(qǐng)求和接收響應(yīng)，該請(qǐng)求總線也作為請(qǐng)求模塊的上游接口。請(qǐng)求模塊的請(qǐng)求總線接口說(shuō)明如表1所示。無(wú)論是配置請(qǐng)求還是門(mén)鈴寫(xiě)請(qǐng)求，請(qǐng)求的數(shù)據(jù)長(zhǎng)度都只有一個(gè)雙字，因此設(shè)置讀寫(xiě)數(shù)據(jù)位寬均為32比特。

表1 請(qǐng)求總線接口

在接收到請(qǐng)求總線接口的請(qǐng)求事務(wù)后，當(dāng)請(qǐng)求類型的值為0時(shí)，表示通過(guò)PCIE集成塊的配置管理接口發(fā)送請(qǐng)求，由于請(qǐng)求接口的接口和時(shí)序與配置管理接口基本一致，因此此時(shí)直接將請(qǐng)求接口信號(hào)驅(qū)動(dòng)到配置管理接口完成請(qǐng)求的發(fā)送，請(qǐng)求讀數(shù)據(jù)和響應(yīng)也通過(guò)選通器連接到配置管理接口。當(dāng)請(qǐng)求類型值不為0時(shí)，則需要將請(qǐng)求轉(zhuǎn)換為T(mén)LP以axis接口形式發(fā)送，這一過(guò)程通過(guò)請(qǐng)求狀態(tài)機(jī)實(shí)現(xiàn)，請(qǐng)求狀態(tài)機(jī)的狀態(tài)轉(zhuǎn)移圖如圖2所示。

圖2 PCIe請(qǐng)求狀態(tài)轉(zhuǎn)移圖

各狀態(tài)說(shuō)明如下：

IDLE：空閑狀態(tài)，復(fù)位后的初始狀態(tài)。當(dāng)請(qǐng)求寫(xiě)有效或請(qǐng)求讀有效，且請(qǐng)求類型值不為0時(shí)，如果請(qǐng)求寫(xiě)有效跳轉(zhuǎn)到WR_HEAD狀態(tài)，如果請(qǐng)求讀有效或讀寫(xiě)同時(shí)有效跳轉(zhuǎn)到RD_HEAD狀態(tài)，否則保持IDLE狀態(tài)。實(shí)際的上層設(shè)計(jì)中讀寫(xiě)請(qǐng)求不會(huì)同時(shí)發(fā)生，這里的狀態(tài)跳轉(zhuǎn)條件增加了讀優(yōu)先設(shè)計(jì)，從而避免異常情況的出現(xiàn)。

WR_HEAD：請(qǐng)求寫(xiě)TLP頭發(fā)送狀態(tài)。該狀態(tài)下根據(jù)請(qǐng)求類型、請(qǐng)求地址組裝寫(xiě)請(qǐng)求的TLP報(bào)文頭部，并將報(bào)文頭部通過(guò)axis_rq接口發(fā)送。當(dāng)axis_rq接口握手時(shí)跳轉(zhuǎn)到WR_DATA狀態(tài)。

WR_DATA：請(qǐng)求寫(xiě)TLP數(shù)據(jù)發(fā)送狀態(tài)。該狀態(tài)下將請(qǐng)求寫(xiě)的數(shù)據(jù)通過(guò)axis_rq接口發(fā)送，當(dāng)axis_rq接口握手時(shí)跳轉(zhuǎn)到DONE狀態(tài)。

RD_HEAD：請(qǐng)求讀TLP頭發(fā)送狀態(tài)。該狀態(tài)下組裝讀請(qǐng)求TLP報(bào)頭通過(guò)axis_rq接口發(fā)送，當(dāng)接口握手時(shí)跳轉(zhuǎn)到RD_DATA狀態(tài)。

RD_DATA：請(qǐng)求讀CplD接收狀態(tài)。該狀態(tài)下監(jiān)測(cè)axis_rc接口信號(hào)，當(dāng)出現(xiàn)數(shù)據(jù)傳輸有效時(shí)，啟動(dòng)握手并接受數(shù)據(jù)，然后跳轉(zhuǎn)到DONE狀態(tài)。

DONE：請(qǐng)求完成狀態(tài)。該狀態(tài)下使能req_ack請(qǐng)求響應(yīng)信號(hào)，如果是讀請(qǐng)求同時(shí)將RD_DATA狀態(tài)下接收的數(shù)據(jù)發(fā)送到req_rdata請(qǐng)求讀數(shù)據(jù)接口。一個(gè)時(shí)鐘周期后回到IDLE狀態(tài)。