7.RAS概述

PCIe錯(cuò)誤分為可校正的錯(cuò)誤(Correctable Error)和不可校正的錯(cuò)誤（Uncorrectable Error）, Uncorrectable又分為致命的（Fatal）和非致命的（Nonfatal）。可校正錯(cuò)誤可以自動(dòng)地被硬件識(shí)別并被自動(dòng)的校正或恢復(fù)。非致命錯(cuò)誤可能會(huì)導(dǎo)致特定的傳輸變得不可靠，但是鏈路和硬件的其他功能不受影響。設(shè)備驅(qū)動(dòng)軟件提供恢復(fù)機(jī)制，并不會(huì)影響到鏈路和其他設(shè)備的運(yùn)行。致命錯(cuò)誤會(huì)導(dǎo)致鏈路和硬件異常，只有通過(guò)系統(tǒng)軟件進(jìn)行復(fù)位操作實(shí)現(xiàn)恢復(fù)。

7.1 硬件故障分類

三類硬件故障（Fault）：

同步且精確的CPU異常（exception），這些異?？赡苁怯捎跀?shù)據(jù)中止、指令預(yù)取中止，或由于訪問(wèn)某個(gè)故障地址時(shí)出現(xiàn)硬件故障而導(dǎo)致的某種形式的總線錯(cuò)誤。

異步和不精確的CPU異常，可能由CPU內(nèi)部的不可糾正錯(cuò)誤（Uncorrected Error，UE）、可糾正錯(cuò)誤（Corrected Error，CE）或外部總線錯(cuò)誤觸發(fā)。

異步和不精確的系統(tǒng)異?；蛑袛啵@些異常發(fā)生在CPU子系統(tǒng)之外，一般通過(guò)中斷線或者消息中斷（MSI）報(bào)告給CPU，通知CPU發(fā)生硬件故障。

7.2 硬件錯(cuò)誤傳播

主機(jī)系統(tǒng)和CCIX設(shè)備可以有類似的組件集：

不同類型的存儲(chǔ)

不同類型的緩存和寄存器堆

處理單元（Processing Elements）

一致性互連

上述每個(gè)組件都可能消耗、產(chǎn)生或是檢測(cè)硬件錯(cuò)誤。這些硬件錯(cuò)誤可能與ECC、命令故障、傳輸錯(cuò)誤、解碼錯(cuò)誤、邏輯錯(cuò)誤、超時(shí)/看門(mén)狗等有關(guān)。

當(dāng)數(shù)據(jù)中毒（poisoned）時(shí)，錯(cuò)誤可能會(huì)在整個(gè)系統(tǒng)中從一個(gè)實(shí)體傳播到另一個(gè)實(shí)體，這可能是由處理單元，或者緩存/監(jiān)聽(tīng)邏輯啟動(dòng)的事務(wù)觸發(fā)的。下圖展示了有毒數(shù)據(jù)如何流經(jīng)連接到CCIX設(shè)備的主機(jī)系統(tǒng)。

CCIX規(guī)范只規(guī)定了如何報(bào)告和處理CCIX錯(cuò)誤。

7.3 CCIX協(xié)議錯(cuò)誤報(bào)告（Protocol Error Reporting，PER）

有兩類硬件故障（Fault）可以引起CCIX硬件錯(cuò)誤（Error）：

PCIe傳輸錯(cuò)誤，通過(guò)標(biāo)準(zhǔn)的PCIe機(jī)制報(bào)告

CCIX協(xié)議錯(cuò)誤（CCIX Protocol Errors ，PER），在設(shè)備端通過(guò)CCIX PER消息報(bào)告，并記錄到CCIX DVSEC空間；在主機(jī)端，錯(cuò)誤被報(bào)告給錯(cuò)誤代理，錯(cuò)誤代理向CPU報(bào)告錯(cuò)誤

7.3.1 PER消息格式

PER消息格式：

其中的PER Type字段的含義是：

0x0：Memory Error Type Structure

0x1：Cache Error Type Structure

0x2：ATC Error Type Structure

0x3：Port Error Type Structure

0x4：CCIX Link Error Type Structure

0x5：Agent Internal

在規(guī)范的7.3.3 – 7.3.8章節(jié)有具體介紹。

7.3.2 PER日志結(jié)構(gòu)

CCIX PER日志用于報(bào)告會(huì)導(dǎo)致協(xié)議錯(cuò)誤的硬件故障。協(xié)議錯(cuò)誤通常與特定的CCIX協(xié)議組件（即CCIX鏈路、端口、HA、SA或RA）相關(guān)。每個(gè)日志結(jié)構(gòu)開(kāi)始的偏移量（字節(jié)數(shù)）由各種能力結(jié)構(gòu)的錯(cuò)誤日志偏移量表示。

每個(gè)日志頭由256位組成。DW0和DW1表示錯(cuò)誤日志屬性字段。DW2和DW3提供錯(cuò)誤的故障地址。DW4提供錯(cuò)誤的錯(cuò)誤地址掩碼長(zhǎng)度。DW5-7保留供將來(lái)使用。后面的具體結(jié)構(gòu)說(shuō)明全都略去。

7.4 CCIX錯(cuò)誤控制和狀態(tài)結(jié)構(gòu)

CCIX在兩個(gè)級(jí)別提供錯(cuò)誤控制機(jī)制：

Level 1：CCIX設(shè)備錯(cuò)誤控制和狀態(tài)（每個(gè)CCIX設(shè)備）

Level 2：組件錯(cuò)誤控制和狀態(tài)（根據(jù)CCIX協(xié)議組件）

必須禁用CCIX設(shè)備中所有錯(cuò)誤控制和狀態(tài)寄存器的重置值。主機(jī)軟件必須明確啟用CCIX設(shè)備和每個(gè)CCIX協(xié)議組件的錯(cuò)誤報(bào)告。啟用后，默認(rèn)情況下，除非軟件設(shè)置了掩碼位，否則錯(cuò)誤將被不能被屏蔽。

7.4.1 錯(cuò)誤控制寄存器定義

設(shè)備和組件的控制寄存器如下：

7.4.2 設(shè)備錯(cuò)誤控制流程

本章節(jié)介紹錯(cuò)誤屏蔽規(guī)則和啟動(dòng)時(shí)啟用錯(cuò)誤的流程，略過(guò)。

8.地址翻譯服務(wù)（Address Translation Services）

ATS機(jī)制是在PCIe中定義的。簡(jiǎn)單介紹一下，為節(jié)省CPU資源，PCIe設(shè)備常采用DMA方式訪問(wèn)內(nèi)存。Root Complex需要將DMA請(qǐng)求進(jìn)行一次地址轉(zhuǎn)換才能將訪問(wèn)到真實(shí)物理存儲(chǔ)地址。進(jìn)行地址轉(zhuǎn)換可以防止非法DMA請(qǐng)求，并且有利于實(shí)現(xiàn)虛擬化傳輸。但是，RC進(jìn)行DMA地址轉(zhuǎn)換是需要時(shí)間的，相較于不進(jìn)行地址轉(zhuǎn)換，顯然進(jìn)行DMA地址轉(zhuǎn)換會(huì)增加DMA訪問(wèn)的時(shí)間。為了減小地址轉(zhuǎn)換的影響，設(shè)計(jì)人員常常在需要進(jìn)行地址轉(zhuǎn)換的地方添加地址轉(zhuǎn)換緩存（Address Translation Cache，ATC）。需要設(shè)備設(shè)計(jì)出具有良好的ATC機(jī)制，包括ATC的預(yù)測(cè)、地址翻譯請(qǐng)求的長(zhǎng)度、發(fā)送翻譯請(qǐng)求的時(shí)機(jī)等。

8.1 介紹

CCIX請(qǐng)求代理（RA）發(fā)出的內(nèi)存請(qǐng)求時(shí)使用的是物理地址。因此與RA關(guān)聯(lián)的加速器功能（Accelerator Functions，AFs）必須向RA提供物理地址。但是軟件使用的是虛擬地址，所以AFs需要執(zhí)行地址轉(zhuǎn)換。

請(qǐng)求代理不可以向CCIX鏈路發(fā)出帶有未翻譯虛擬地址的內(nèi)存請(qǐng)求，因?yàn)檫@可能會(huì)違反基于頁(yè)表的安全性或虛擬化。

AF可以使用兩種方法來(lái)轉(zhuǎn)換虛擬地址。第一種是使用PCIe定義的地址轉(zhuǎn)換服務(wù)變體從主機(jī)系統(tǒng)獲取地址轉(zhuǎn)換。第二種方法是讓AF包含一個(gè)MMU，以支持主機(jī)系統(tǒng)頁(yè)表格式。

8.2 ATS

PCIe格式的ATS轉(zhuǎn)換請(qǐng)求、轉(zhuǎn)換完成、失效請(qǐng)求、頁(yè)面請(qǐng)求和頁(yè)面響應(yīng)通過(guò)VC0發(fā)送。除CCIX VC外，可以在任何VC上發(fā)送失效響應(yīng)。

8.3 無(wú)效語(yǔ)義

略過(guò)。

8.4 內(nèi)存類型

除了獲取翻譯后的頁(yè)面地址外，CCIX請(qǐng)求代理還需要內(nèi)存類型信息，以便與內(nèi)存正確交互。內(nèi)存類型信息決定了CCIX鏈路上支持的操作類型，以及數(shù)據(jù)是否可以在本地緩存。

帶有內(nèi)存屬性的ATS翻譯完成的格式和定義如下：

其中Mem[2:0]的定義如下：

關(guān)于Reodering，Early write acknowledge這些在之前的文章中介紹過(guò)。

至此，CCIX規(guī)范的內(nèi)容大致粗過(guò)一遍，其中PCIe部分基本都略過(guò)了，有的地方介紹了一點(diǎn)概念性知識(shí)。真需要用到CCIX的時(shí)候，還是多看協(xié)議。

審核編輯：劉清