來自IBM Watson和亞利桑那州立大學(xué)的一組研究人員發(fā)表了一項(xiàng)關(guān)于可解釋人工智能規(guī)劃（XAIP）的工作調(diào)查。 這項(xiàng)調(diào)查涉及67份文件和圖表，顯示了該領(lǐng)域的最新趨勢(shì)。

該小組由ASU的Yochan實(shí)驗(yàn)室的Subbarao Kambhampati教授領(lǐng)導(dǎo)，重點(diǎn)審查了自動(dòng)化規(guī)劃系統(tǒng)領(lǐng)域：那些產(chǎn)生旨在實(shí)現(xiàn)目標(biāo)狀態(tài)的行動(dòng)（或計(jì)劃）序列的系統(tǒng)。 可解釋的規(guī)劃系統(tǒng)能夠回答為什么選擇特定的行動(dòng)或行動(dòng)順序的問題。 該小組指出，這一領(lǐng)域中可解釋的系統(tǒng)可分為基于算法的系統(tǒng)、基于模型的系統(tǒng)或基于計(jì)劃的系統(tǒng)，近年來所有類型的研究都有所增加，但大多數(shù)工作都是基于模型的系統(tǒng)。

可解釋AI（X AI）近年來一直是一個(gè)積極的研究課題，受到DARPA2016年倡議的推動(dòng)。 計(jì)算機(jī)視覺和自然語言處理等“感知”問題的機(jī)器學(xué)習(xí)的廣泛采用，導(dǎo)致了分類器的可解釋性技術(shù)的發(fā)展，包括LIME和AllenNLP解釋技術(shù)。 雖然感知是決定其環(huán)境現(xiàn)狀的一項(xiàng)重要技能，但一個(gè)自主系統(tǒng)-機(jī)器人、自動(dòng)駕駛汽車，甚至是一個(gè)玩游戲的人工智能-也必須決定該做什么。 這些人工智能系統(tǒng)通常采用規(guī)劃，這產(chǎn)生一系列行動(dòng)，供人工智能采取，以實(shí)現(xiàn)其目標(biāo)。

可解釋的人工智能規(guī)劃（XAIP）系統(tǒng)能夠回答有關(guān)其計(jì)劃的問題;例如，為什么某一特定行動(dòng)被或不包括在計(jì)劃中。 該團(tuán)隊(duì)將這些系統(tǒng)分類為基于算法、基于模型或基于計(jì)劃的系統(tǒng)。 基于算法的解釋通常對(duì)系統(tǒng)設(shè)計(jì)者調(diào)試算法最有幫助，而不是最終用戶。 基于計(jì)劃的解釋使用摘要或抽象，使用戶能夠理解“在長時(shí)間范圍內(nèi)和在大的狀態(tài)空間內(nèi)運(yùn)行的計(jì)劃。” 大多數(shù)研究都是基于模型的解釋，其中考慮到了這樣一個(gè)事實(shí)，即用戶的計(jì)算能力比人工智能低得多，而且往往有一個(gè)不同于“地面真相”的心理模型。 對(duì)于這些系統(tǒng)，解釋需要協(xié)調(diào)用戶的心理模型和系統(tǒng)模型。

DARPA的XAI計(jì)劃指出，可解釋系統(tǒng)的一個(gè)動(dòng)機(jī)是提高用戶對(duì)AI結(jié)果的信任。 然而，Kambhampati的研究團(tuán)隊(duì)指出，解釋過程也可能被“劫持”，以產(chǎn)生“不再是真實(shí)的，而是用戶認(rèn)為滿意的任何東西”的解釋。 其他研究人員認(rèn)為，如果人工智能和機(jī)器人要在社會(huì)上有效，這種欺騙甚至可能是必要的。 深度學(xué)習(xí)的先驅(qū)杰弗里·辛頓（GeoffreyHinton）在推特上淡化了解釋能力的必要性：

假設(shè)你患有癌癥，你必須在一個(gè)黑匣子AI外科醫(yī)生之間做出選擇，這個(gè)醫(yī)生無法解釋它是如何工作的，但治愈率為90%，而人類外科醫(yī)生的治愈率為80%。 你想讓人工智能外科醫(yī)生違法嗎？

Kambhampati認(rèn)為這是一個(gè)“錯(cuò)誤的二分法”，認(rèn)為從長遠(yuǎn)來看，我們既要有準(zhǔn)確性，也要有可解釋性。