引言

推理是人類智能活動(dòng)的重要組成部分，一直以來是人工智能研究的核心內(nèi)容。人工智能進(jìn)入了以深度學(xué)習(xí)技術(shù)為主導(dǎo)的新時(shí)代, 無論是計(jì)算機(jī)視覺、語音識(shí)別、語言理解、機(jī)器翻譯、對(duì)話系統(tǒng)等，似乎無處不是數(shù)據(jù)驅(qū)動(dòng)下深度學(xué)習(xí)的“功勞”。從推理的視角來看，從已知的事實(shí)（有標(biāo)注的數(shù)據(jù)），得出未知的結(jié)論，就是推理。但對(duì)智能系統(tǒng)做出的推理結(jié)果，需要有一個(gè)行為的解釋機(jī)制。

深度學(xué)習(xí)是一個(gè)黑箱，最大的弊端是缺乏對(duì)其結(jié)果的解釋能力?；叵朐谥R(shí)工程時(shí)代，基于規(guī)則的專家系統(tǒng)技術(shù)，其結(jié)果卻具有很好的解釋性。受此啟發(fā)，我們提出這樣一個(gè)問題：在解決“可解釋”的推理上，傳統(tǒng)的知識(shí)工程技術(shù)是否可以繼續(xù)發(fā)揮作用？可解釋的人工智能未來的發(fā)展方向是什么?

基于知識(shí)工程的可解釋推理

讓我們回顧一下人工智能推理的早期階段——知識(shí)工程時(shí)代。知識(shí)工程包括知識(shí)的獲取、表達(dá)和推理，其本質(zhì)是將數(shù)據(jù)轉(zhuǎn)換為易于機(jī)器處理的結(jié)構(gòu)化知識(shí)。一個(gè)典型的專家系統(tǒng)由知識(shí)庫(kù)與推理機(jī)組成，前者需要專家人工構(gòu)建（見圖1）。知識(shí)工程的代表——專家系統(tǒng)，可以順著推理機(jī)使用到的規(guī)則, 表現(xiàn)出很好的解釋能力。從20 世紀(jì)90 年代后期開始，知識(shí)工程因以下一些困擾而進(jìn)入了低潮。

圖1：傳統(tǒng)知識(shí)工程的組成

1. 知識(shí)獲取困難。知識(shí)庫(kù)構(gòu)建過程中依賴專家人工構(gòu)建的方式。如Cyc[1] 在2000 年，積累了160 萬條常識(shí)性知識(shí)，在耗費(fèi)了350 人/ 年的成本后最終失敗。

2. 構(gòu)建專家系統(tǒng)需要完備的領(lǐng)域知識(shí)（包括常識(shí)），對(duì)于大部分問題本身具有的不確定性，要從專家的經(jīng)驗(yàn)中構(gòu)建推理引擎非常困難，這限制了專家系統(tǒng)的應(yīng)用。

盡管知識(shí)工程這個(gè)名詞已不再流行，但知識(shí)工程將數(shù)據(jù)轉(zhuǎn)換為易于機(jī)器處理的結(jié)構(gòu)化知識(shí)的本質(zhì)，其自頂向下的演繹推理方式可能是解開目前可解釋性缺失困擾的途徑之一。目前已經(jīng)出現(xiàn)的一系列研究正在彌補(bǔ)傳統(tǒng)知識(shí)工程的缺陷，并努力將知識(shí)引導(dǎo)與數(shù)據(jù)驅(qū)動(dòng)這兩種知識(shí)獲取與推理方式進(jìn)行融合，其中一個(gè)典型的代表就是CMU 的永不停息語言學(xué)習(xí)者NELL[2]。NELL 通過機(jī)器學(xué)習(xí)、NLP 等數(shù)據(jù)驅(qū)動(dòng)手段并結(jié)合人工介入，來從互聯(lián)網(wǎng)網(wǎng)頁(yè)中析取斷言式知識(shí)(beliefs)，形成海量的通用知識(shí)圖譜，這從一定程度上解決了解釋性中知識(shí)來源的問題，改善了傳統(tǒng)知識(shí)工程知識(shí)獲取困難的問題。在基于知識(shí)的推理方面，IBM 的Watson 系統(tǒng)[3] 在Jeopardy 挑戰(zhàn)中戰(zhàn)勝了兩位人類冠軍，其核心算法Deep QA 通過生成問題答案的候選（假設(shè)），在非結(jié)構(gòu)化數(shù)據(jù)中收集證據(jù)，并用機(jī)器學(xué)習(xí)模型對(duì)證據(jù)進(jìn)行評(píng)分，最后利用聚合算法實(shí)現(xiàn)對(duì)假設(shè)的排序。這種方式借鑒了專家系統(tǒng)中推理引擎的推理流程，實(shí)現(xiàn)了數(shù)據(jù)驅(qū)動(dòng)算法與推理流程的有機(jī)融合。圖神經(jīng)網(wǎng)絡(luò)[4] 等研究也正嘗試將傳統(tǒng)的貝葉斯網(wǎng)絡(luò)和知識(shí)圖譜，與深度學(xué)習(xí)相融合，來探索深度學(xué)習(xí)的可解釋機(jī)制。

未來與展望

可解釋性的問題正在引起各界的關(guān)注。2017 年7 月美國(guó)國(guó)防部高級(jí)研究計(jì)劃署啟動(dòng)了7 000 萬美元的可解釋性人工智能計(jì)劃（XAI）[5] 旨在對(duì)軍事領(lǐng)域智能算法的認(rèn)知進(jìn)行理解。歐盟在2018 年生效的通用數(shù)據(jù)保護(hù)法中引入解釋的權(quán)力[6]，旨在處理算法不可解釋帶來的問題。學(xué)術(shù)界也正從多個(gè)不同的角度入手開展研究，出現(xiàn)了反事實(shí)探測(cè)[7]、可視化[8]、轉(zhuǎn)移學(xué)習(xí)[9] 等一系列基于事后解析的方法。在實(shí)時(shí)分析方面，則出現(xiàn)了多跳注意力[10]、推導(dǎo)過程生成[11]，以及可解釋性網(wǎng)絡(luò)[12] 等一系列研究。其中知識(shí)計(jì)算延續(xù)了知識(shí)工程的目標(biāo)，是一種融合實(shí)時(shí)與事后可解釋性分析的計(jì)算框架，是傳統(tǒng)知識(shí)工程與大數(shù)據(jù)、算法與群體智慧融合后的產(chǎn)物。知識(shí)的獲取已不單純依靠從專家的經(jīng)驗(yàn)中總結(jié)出來, 而是綜合應(yīng)用多種“計(jì)算”手段而獲得的（見圖2）。

圖2：知識(shí)計(jì)算框架

知識(shí)計(jì)算人在回路的架構(gòu)，為可解釋的人工智能的實(shí)現(xiàn)提供了框架，是大數(shù)據(jù)下的新型知識(shí)工程。未來在探索可解釋的人工智能推理的研究中，我們?nèi)孕柙诖嘶A(chǔ)上建立知識(shí)、數(shù)據(jù)和反饋于一體的人工智能理論和模型，有機(jī)協(xié)調(diào)“知識(shí)指導(dǎo)下的演繹”、“數(shù)據(jù)驅(qū)動(dòng)中的歸納”與“行為強(qiáng)化內(nèi)的規(guī)劃”。 知識(shí)工程從提出至今，作為早期的知識(shí)推理手段對(duì)后續(xù)的一系列研究產(chǎn)生了深遠(yuǎn)的影響，從這個(gè)意義上講，知識(shí)工程并沒有過時(shí)，在未來將繼續(xù)在人工智能研究中扮演重要的角色。

參考文獻(xiàn)

[1] Lenat, D.B., M. Prakash, and M. Shepherd, CYC: Using common sense knowledge to overcome brittleness andknowledge acquisition bottlenecks. AI magazine, 1985. 6(4): 65.

[2] Carlson, A., et al. Toward an architecture for never-ending language learning. in AAAI. 2010. Atlanta.

[3] Ferrucci, D.A., Introduction to “this is watson”. IBM Journal of Research and Development, 2012. 56(3.4): 1: 1-1:15.

[4] Battaglia, P.W., et al. Relational inductive biases, deep learning, and graph networks. arXiv preprintarXiv:1806.01261, 2018.

[5] Gunning, D., Explainable artificial intelligence (xai). Defense Advanced Research Projects Agency (DARPA), ndWeb, 2017.

[6] Goodman, B. and S.R. Flaxman, European Union regulations on algorithmic decision-making and a. 2017.

[7] Ribeiro, M.T., S. Singh, and C. Guestrin. Why should i trust you?: Explaining the predictions of any classifier. inProceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining. 2016.ACM.

[8] Zeiler, M.D. and R. Fergus. Visualizing and understanding convolutional networks. in European conference oncomputer vision. 2014. Springer.

[9] Wang, H., et al. Emergent Predication Structure in Hidden State Vectors of Neural Readers. arXiv preprintarXiv:1611.07954, 2016.

[10] Shen, Y., et al. Reasonet: Learning to stop reading in machine comprehension. in Proceedings of the 23rd ACMSIGKDD International Conference on Knowledge Discovery and Data Mining. 2017. ACM.

[11] Ling, W., et al. Program induction by rationale generation: Learning to solve and explain algebraic word problems.arXiv preprint arXiv:1705.04146, 2017.

[12] Zhang, Q., Y.N. Wu, and S.-C. Zhu. Interpretable convolutional neural networks. in The IEEE Conference onComputer Vision and Pattern Recognition (CVPR). 2018.