容錯中間件［1-2］是一個可為開發(fā)者提供分布式應(yīng)用容錯支持的開發(fā)平臺。容錯中間件將容錯邏輯從應(yīng)用邏輯中分離出來，為容錯應(yīng)用開發(fā)提供框架支持，簡化業(yè)務(wù)應(yīng)用開發(fā)，同時使開發(fā)過程變得清晰。目前，容錯中間件的研究和實(shí)現(xiàn)主要是基于分布對象。國外主要產(chǎn)品有：基于JavaRMI的Arjuna系統(tǒng)，F(xiàn)ilterFresh系統(tǒng)等；基于DCOM的COMERA系統(tǒng)；基于CORBA的OGS系統(tǒng)，Enteral系統(tǒng)等。國內(nèi)方面主要有國防科學(xué)技術(shù)大學(xué)研發(fā)的分布應(yīng)用容錯計算平臺StarFT。

中間件包括平臺功能，自身具有自治性、自主性、隔離性、社會化、激發(fā)性、主動性、并發(fā)性、認(rèn)識能力等特性，是近似于Agent的結(jié)構(gòu)，因此利用Agent來建立容錯中間件是一個不錯的選擇。

失效檢測［3］與恢復(fù)是實(shí)現(xiàn)容錯的核心問題。檢測到失效是容錯恢復(fù)的前提，因此，失效檢測是實(shí)現(xiàn)容錯不可或缺的一部分。失效恢復(fù)是容錯的目標(biāo)，也是容錯技術(shù)提高系統(tǒng)效率的關(guān)鍵所在。

本文在分析介紹Agent［4］和多Agent系統(tǒng)［5-9］之后，給出了容錯中間件中的失效檢測模型和恢復(fù)策略，最后討論了基于JADE［10-12］的系統(tǒng)實(shí)現(xiàn)。

1 相關(guān)技術(shù)

1.1 Agent的定義及其結(jié)構(gòu)

Agent（代理）概念起源于人工智能領(lǐng)域，是指用于模仿人類能力的自主實(shí)體，駐留在某一環(huán)境下能持續(xù)、自主地發(fā)揮作用。Agent的基本結(jié)構(gòu)如圖1所示。

Agent一般具有自主性、反應(yīng)性、交互性、協(xié)作性、主動性和智能性等特性。但在實(shí)際的系統(tǒng)中，Agent并不能保證具有以上的全部特性。

1.2 多Agent系統(tǒng)

多Agent系統(tǒng)是由多個Agent組成的一個社會整體，不同的Agent可以控制或影響環(huán)境的不同部分，多個Agent可以通過Agent通信語言進(jìn)行交互，分工合作，實(shí)現(xiàn)更為復(fù)雜、單個Agent無法解決的問題。多Agent系統(tǒng)可以有效地解決數(shù)據(jù)、控制具有分布性的問題，并能提高系統(tǒng)的效率和魯棒性。

1.3 容錯技術(shù)

使得系統(tǒng)在部分節(jié)點(diǎn)失效或是部分對象崩潰的情況下仍能正常運(yùn)行并得到預(yù)期結(jié)果的技術(shù)稱為容錯技術(shù)。軟件容錯借鑒硬件容錯的成功經(jīng)驗，經(jīng)常采用冗余技術(shù)進(jìn)行處理。軟件容錯方法主要有錯誤回卷恢復(fù)、恢復(fù)塊、N版本軟件。

錯誤回卷恢復(fù)主要分為兩大類：基于檢查點(diǎn)的錯誤回卷恢復(fù)、基于日志的錯誤回卷恢復(fù)?；跈z查點(diǎn)的錯誤回卷恢復(fù)的核心思想是任務(wù)執(zhí)行過程中設(shè)置檢查點(diǎn)，發(fā)現(xiàn)失效時不需要從頭開始運(yùn)行，而是直接從最后一個成功執(zhí)行的檢查點(diǎn)往下執(zhí)行?；谌罩镜腻e誤回卷恢復(fù)則是在判斷失效發(fā)生后，利用發(fā)生失效前最近的檢查點(diǎn)和日志信息完全重新運(yùn)行作業(yè)的過程。

恢復(fù)塊的主要思想是：系統(tǒng)被劃分成若干恢復(fù)塊，整個系統(tǒng)由這些恢復(fù)塊組成。每個塊包含一個首要執(zhí)行模塊和一些替換模塊。若首要執(zhí)行模塊輸出結(jié)果驗收失敗，則調(diào)用第二個模塊；若再次失敗，則繼續(xù)調(diào)用另外的替換模塊。重復(fù)該操作，直到所有模塊均被調(diào)用，或超出時間限制。

N版本軟件的方法與硬件容錯的NMR方法類似。N（N》=2）個以不同方式實(shí)現(xiàn)的功能相同的模塊同時執(zhí)行，由表決器判定正確的結(jié)果，作為模塊的結(jié)果。

2 失效檢測

2.1 失效檢測模型

本文設(shè)計的失效檢測系統(tǒng)主要由兩部分組成：局部檢測Agent，LDA（Local Detector Agent）和全局檢測Agent，GDA（Global Detector Agent）。LDA駐留在各節(jié)點(diǎn)，負(fù)責(zé)所駐留節(jié)點(diǎn)中實(shí)體的檢測工作；GDA負(fù)責(zé)各LDA及其所駐留節(jié)點(diǎn)的檢測工作。設(shè)計的檢測模型如圖2所示。

各部分詳細(xì)描述如下：

檢測對象：需要進(jìn)行檢測的實(shí)體，可以是一個應(yīng)用程序?qū)ο?、也可以是一個進(jìn)程、甚至是一個Agent；任何檢測對象在啟動時均需向LDA注冊。

LDA：每個工作中的節(jié)點(diǎn)均駐留有一個專屬的LDA，負(fù)責(zé)所屬節(jié)點(diǎn)中檢測對象的檢測及在發(fā)現(xiàn)失效時給出通告；任何LDA必須成功注冊到GDA后才能開始工作。

GDA：整個系統(tǒng)只有一個GDA，GDA駐留在主控節(jié)點(diǎn)，主要負(fù)責(zé)對各LDA的失效檢測、分類及通告的工作。

失效處理器：接收來自LDA或GDA的失效通告，對失效進(jìn)行處理。

2.2 局部檢測Agent

LDA必須成功注冊到GDA后才能開始工作，若注冊失敗，允許重啟，當(dāng)重啟次數(shù)超過設(shè)定閾值（比如3次）則給出警告，提請系統(tǒng)管理員介入，查看是否LDA程序出現(xiàn)錯誤。

任何檢測對象在啟動時都需要向該節(jié)點(diǎn)所屬LDA注冊，LDA根據(jù)各檢測對象的注冊信息建立并維護(hù)檢測對象及其狀態(tài)等信息的狀態(tài)表。流程如圖3所示。

LDA定時對狀態(tài)表中各檢測對象執(zhí)行失效檢測算法，然后更新狀態(tài)表，并在發(fā)現(xiàn)失效對象時通告失效處理器。執(zhí)行流程如圖4所示。

失效檢測主要有兩種模式：心跳模式，或稱“推”模式；輪詢模式，或稱“拉”模式?！巴啤蹦Ｊ降乃枷胧牵罕粰z測實(shí)體定時向檢測器發(fā)送心跳信息，檢測器在一段設(shè)定的時間內(nèi)沒收到心跳信息，則判定實(shí)體失效；“拉”模式則為：檢測器定時向被檢測實(shí)體發(fā)送詢問信息，被檢測實(shí)體應(yīng)答檢測器以申明自己未失效，檢測器在發(fā)出詢問后一段設(shè)定的時間內(nèi)沒收到應(yīng)答，則判定實(shí)體失效。

本文采用的測試模式是“拉”模式，在一個檢測間隔里完成對所有檢測對象的詢問及應(yīng)答的接收或失效的判斷。如果檢測間隔太短，將無法正確處理對所有對象的檢測；而如果檢測間隔太長，則無法及時發(fā)現(xiàn)失效。因此，檢測間隔的設(shè)定需要一個綜合的折中考慮。

2.3 全局檢測Agent

整個系統(tǒng)只有一個GDA，GDA駐留在主控節(jié)點(diǎn)，主要負(fù)責(zé)對各LDA及其所在節(jié)點(diǎn)的失效檢測工作。如LDA維護(hù)檢測對象的狀態(tài)信息表一般，GDA根據(jù)各LDA注冊信息創(chuàng)建并維護(hù)針對LDA的狀態(tài)信息表。由于GDA與LDA一般駐留在不同節(jié)點(diǎn)，檢測時需要進(jìn)行遠(yuǎn)程通信，當(dāng)發(fā)現(xiàn)LDA失效，需要進(jìn)一步識別失效類型。主要失效類型有：LDA失效；通信失效；LDA所在節(jié)點(diǎn)失效。

3 失效恢復(fù)

3.1 恢復(fù)策略

本文主要采取的恢復(fù)策略是REDO策略，即檢測對象失效時，由失效處理器根據(jù)接收到的失效通告重啟該對象。在此基礎(chǔ)上針對一些比較特殊的檢測對象，執(zhí)行更為符合其需求的恢復(fù)方法。

對于大數(shù)據(jù)量處理的對象，其執(zhí)行可能涉及成千上萬的數(shù)據(jù)庫記錄，如果只是簡單的REDO，則已經(jīng)處理過的記錄將會全部被再次處理，造成性能的重大浪費(fèi)。因此，可以建立該對象的執(zhí)行日志，維護(hù)該對象成功處理的記錄條數(shù)或是序號；當(dāng)該對象需要被恢復(fù)時，根據(jù)執(zhí)行日志直接從最后成功處理的記錄往下執(zhí)行，也就是對該對象進(jìn)行定點(diǎn)恢復(fù)。采用定點(diǎn)恢復(fù)將大大的提高系統(tǒng)的性能，避免大量時間的浪費(fèi)。

對于在同一節(jié)點(diǎn)多次失效的對象，則可以考慮在另外的節(jié)點(diǎn)重新啟動，稱為對該對象的異機(jī)恢復(fù)。

3.2 定點(diǎn)恢復(fù)、異機(jī)恢復(fù)

定點(diǎn)恢復(fù)很重要的一個方面是恢復(fù)點(diǎn)的記錄，本文采用的是建立執(zhí)行日志的方式。對于大量數(shù)據(jù)庫記錄處理的對象，假設(shè)需要處理1 000條記錄，每10條記錄設(shè)置一個恢復(fù)點(diǎn)，即當(dāng)成功執(zhí)行第10、20、30、……、1 000條記錄時，執(zhí)行日志將產(chǎn)生一行日志信息表示該條記錄以及其之前的記錄已成功執(zhí)行。若對象在執(zhí)行第901至910條記錄時失效，恢復(fù)該對象時根據(jù)執(zhí)行日志最后一行信息可以知道第900條以及之前的記錄已成功執(zhí)行，于是，可以直接從第901條記錄開始處理，而不是從第1條記錄開始。由此可見，運(yùn)用定點(diǎn)恢復(fù)可以避免大量無謂的時間浪費(fèi)，很大程度上提高系統(tǒng)的性能。

一個對象在同一個節(jié)點(diǎn)失效次數(shù)超過設(shè)定閾值（比如4次），無論是該節(jié)點(diǎn)機(jī)器兼容性問題還是資源搶占問題，單純的在本機(jī)上的REDO已經(jīng)不能解決問題。因此，可以考慮對該對象進(jìn)行異機(jī)恢復(fù)，在另一個節(jié)點(diǎn)重啟該對象。

對于只采取REDO恢復(fù)策略的對象，只需要在選定的節(jié)點(diǎn)上啟動該對象，并在注冊信息里修改該對象所在地址即可實(shí)現(xiàn)異機(jī)恢復(fù)。

對于已運(yùn)用定點(diǎn)恢復(fù)策略的對象，異機(jī)恢復(fù)時可以不考慮其已執(zhí)行情況，簡單地在另一個節(jié)點(diǎn)重啟；也可以結(jié)合異機(jī)恢復(fù)與定點(diǎn)恢復(fù)，將該對象執(zhí)行日志復(fù)制到選定的節(jié)點(diǎn)，實(shí)現(xiàn)在異機(jī)上的定點(diǎn)恢復(fù)。

4 系統(tǒng)實(shí)現(xiàn)

4.1 基于JADE的系統(tǒng)實(shí)現(xiàn)

JADE中，任何Agent必須向AMS注冊［11］。因此，對于檢測對象是Agent的情形，其主要注冊信息可由AMS獲取，負(fù)責(zé)檢測該Agent的LDA或者GDA只需記錄該Agent的標(biāo)識及其狀態(tài)。

系統(tǒng)實(shí)現(xiàn)的各Agent按照職能不同分別駐留在主控節(jié)點(diǎn)和各計算節(jié)點(diǎn)上。主要有駐留在主控節(jié)點(diǎn)的容錯Agent（FTA，F(xiàn)ault Tolerant Agent）、日志收集Agent（LCA，Log Collector Agent）；駐留在各計算節(jié)點(diǎn)的局部檢測Agent（LDA，Local Detector Agent）、日志Agent（LA，Log Agent）、恢復(fù)Agent（RA，Recovery Agent）；檢測對象為在各計算節(jié)點(diǎn)上提供服務(wù)的計算Agent（CA，Compute Agent）。各Agent相互關(guān)系如圖5所示。

各Agent詳細(xì)功能如下所述：

LDA：負(fù)責(zé)CA、LA、RA的檢測工作。發(fā)現(xiàn)LA或CA失效時向RA發(fā)出本機(jī)恢復(fù)請求；必要時向FTA發(fā)出CA異機(jī)恢復(fù)請求；負(fù)責(zé)RA的本機(jī)恢復(fù)工作。（本文設(shè)定檢測間隔為1 000 ms）

FTA：負(fù)責(zé)LDA、LCA的檢測工作。發(fā)現(xiàn)LDA失效時向其所在節(jié)點(diǎn)的RA發(fā)出LDA恢復(fù)請求；接收來自LDA的CA異機(jī)恢復(fù)請求并將該請求轉(zhuǎn)發(fā)到合適的節(jié)點(diǎn)；負(fù)責(zé)LCA的恢復(fù)工作。另外，F(xiàn)TA還負(fù)責(zé)LDA所在主機(jī)的檢測及通報工作。

RA：接收來自LDA的本機(jī)恢復(fù)請求，并按照請求恢復(fù)本機(jī)的LA或CA；接收來自FTA的LDA恢復(fù)請求，并按照請求恢復(fù)本機(jī)上的LDA；接收來自FTA的CA異機(jī)恢復(fù)請求，并在本機(jī)上啟動指定的CA，實(shí)現(xiàn)異機(jī)恢復(fù)；必要時對CA進(jìn)行定點(diǎn)恢復(fù)。

CA：計算能力提供者，屬于業(yè)務(wù)系統(tǒng)，本文所設(shè)計容錯系統(tǒng)的服務(wù)對象。

LA：本機(jī)日志記錄器；負(fù)責(zé)本機(jī)上各Agent運(yùn)行情況的記錄，并將必要的信息發(fā)送給日志收集器LCA；負(fù)責(zé)用于定點(diǎn)恢復(fù)CA所必須的CA執(zhí)行日志的創(chuàng)建及維護(hù)。

LCA：日志收集器；負(fù)責(zé)收集各節(jié)點(diǎn)的日志信息（CA執(zhí)行日志不在收集范圍內(nèi)）；負(fù)責(zé)記錄FTA的運(yùn)行情況。

分析上述Agent詳細(xì)功能，RA即為前述檢測模型中的失效處理器（主要處理策略是REDO，即重新啟動）；LDA除去本機(jī)檢測工作外，還負(fù)擔(dān)了一部分失效處理器的工作（RA的恢復(fù)）；FTA主要表現(xiàn)為前述模型中的全局檢測器GDA，此外，也負(fù)擔(dān)了一部分失效處理器的工作（LCA的恢復(fù)；LDA恢復(fù)請求、CA異機(jī)恢復(fù)請求的轉(zhuǎn)發(fā)）。

4.2 容錯Agent

容錯Agent（FTA）在系統(tǒng)中起著極其重要的作用，負(fù)責(zé)全局檢測工作與恢復(fù)請求的調(diào)度。為檢測各LDA，F(xiàn)TA需要維護(hù)一張記錄LDA信息的狀態(tài)表。由于LDA作為一個Agent，其主要信息均可從AMS獲取，F(xiàn)TA實(shí)際需要維護(hù)的信息僅僅是LDA標(biāo)識（AID）及LDA狀態(tài)（是否正常）。本文選用HashMap作為記錄LDA狀態(tài)信息的數(shù)據(jù)結(jié)構(gòu)，key-value對分別記錄LDA標(biāo)識及LDA狀態(tài)。

定義一個TickerBehaviour負(fù)責(zé)周期性的更新LDA狀態(tài)表和LDA的失效判斷與處理工作。周期設(shè)定為1 000 ms。LDA失效判斷與處理算法如下描述：

（1）從AMS獲取Agent描述信息AMSAgentDescription；

（2）遍歷LDA狀態(tài)表，與AMSAgentDescription進(jìn)行比對，更新狀態(tài)表；

（3）若所有LDA狀態(tài)均為true，則算法結(jié)束；否則，轉(zhuǎn)到（4）；

（4）對狀態(tài)為false的LDA，通過AMSAgentDescription找尋與該LDA同節(jié)點(diǎn)的恢復(fù)Agent（RA）；若該RA存在，則轉(zhuǎn)到（5）；若不存在，則ping該節(jié)點(diǎn)地址，然后轉(zhuǎn)到（6）；

（5）標(biāo)識失效類型為LDA失效并請求該RA恢復(fù)其節(jié)點(diǎn)所屬LDA，然后轉(zhuǎn)到（7）；

（6）若ping該節(jié)點(diǎn)有響應(yīng)，則標(biāo)識失效類型為節(jié)點(diǎn)系統(tǒng)失效并給出警告；若無響應(yīng)，則標(biāo)識失效類型為節(jié)點(diǎn)主機(jī)失效并給出警告；

（7）若全部狀態(tài)為false的LDA均處理完畢，則算法結(jié)束；否則，取下一個狀態(tài)為false的LDA，然后轉(zhuǎn)到（4）。

5 實(shí)驗結(jié)果

系統(tǒng)主控節(jié)點(diǎn)的計算機(jī)配置如下：Windows 7（32位）操作系統(tǒng)；Intel（R）Core（TM）i3-2120 CPU@3.30 GHz；4 GB內(nèi)存。

系統(tǒng)計算節(jié)點(diǎn)（3臺）的計算機(jī)配置如下：Windows 7（32位）操作系統(tǒng)；Intel（R）Core（TM）2 Quad CPU Q8400@2.66GHz 2.67GHz；4.00 GB內(nèi)存。

5.1 系統(tǒng)測試

臺風(fēng)預(yù)報系統(tǒng)［13］中的相似路徑計算是一個分布式、多Agent的計算過程，其計算節(jié)點(diǎn)的失效將導(dǎo)致整體計算結(jié)果的不可靠，故為其提供容錯是必要的。在此背景下，本文以在臺風(fēng)預(yù)報系統(tǒng)中提供相似路徑計算服務(wù)的計算Agent為系統(tǒng)檢測對象，對系統(tǒng)進(jìn)行功能和性能上的測試。主控和各計算節(jié)點(diǎn)啟動、各功能Agent加載后，可在主控節(jié)點(diǎn)RMA控制界面查看詳細(xì)信息。

Main_Container（主容器）包含維持JADE平臺功能的3個服務(wù)：ams、df和rma；masterContainer（主控節(jié)點(diǎn)容器）包含3個Agent：容錯Agent（FTA）、日志收集Agent（LCA）和主控Agent（MA），MA屬于臺風(fēng)預(yù)報系統(tǒng)的業(yè)務(wù)處理Agent，主要負(fù)責(zé)計算任務(wù)的分發(fā)，不是本文研究重點(diǎn)，故不進(jìn)行詳細(xì)敘述；之后是3個computeContainer（計算節(jié)點(diǎn)容器），每個computeContainer里包含有計算Agent（CA）、局部檢測Agent（LDA）、日志Agent（LA）、恢復(fù)Agent（RA）以及負(fù)載平衡Agent（LBA），LBA負(fù)責(zé)計算各計算節(jié)點(diǎn)的負(fù)載值和計算能力值，為MA分發(fā)任務(wù)和FTA申請異機(jī)恢復(fù)時選擇節(jié)點(diǎn)提供參考。為方便操作，特制定Agent命名規(guī)則如下：（XXXXAgent）_（IP）_（端口號）。如：

recoverAgent_218.193.124.101_1013@Softlab-C-PC：1099/JADE

其中，“@”之前為本文系統(tǒng)指定的Agent名，“@”之后則為JADE平臺自動添加的標(biāo)識。

5.2 結(jié)論

經(jīng)過比較大量的測試，各Agent本機(jī)恢復(fù)均可在1 s內(nèi)完成；異機(jī)恢復(fù)花費(fèi)時間較長，在2 s到3 s之間。系統(tǒng)功能和性能上均符合本文前述內(nèi)容的要求。由此印證本文提出的兩層失效檢測模型和改進(jìn)行的REDO恢復(fù)策略真實(shí)可行。

Agent所表現(xiàn)出來的自主性、反應(yīng)性、交互性、協(xié)作性、主動性和智能性等特性，為構(gòu)建容錯中間件提供了一種新的技術(shù)途徑。采用兩層的失效檢測模型，局部檢測Agent與全局檢測Agent等多Agent分工合作，能夠較好地協(xié)作完成失效檢測的工作。定點(diǎn)恢復(fù)的采用大大的提高了系統(tǒng)的效率。基于多Agent的容錯中間件融合了Agent技術(shù)、容錯技術(shù)與中間件技術(shù)，能夠為分布式容錯應(yīng)用開發(fā)提供框架支持，提供自主的、協(xié)作的失效檢測和恢復(fù)服務(wù)，簡化業(yè)務(wù)應(yīng)用開發(fā)過程，提高系統(tǒng)的效率和魯棒性。

編輯：jq