據(jù)TechnologyReview報(bào)道，當(dāng)機(jī)器人決定走特定路線前往倉庫，或無人駕駛汽車決定左轉(zhuǎn)或右轉(zhuǎn)時(shí)，它們的人工智能（AI）算法是靠什么做出決定的？現(xiàn)在，AI還無法向人們解釋自己做出某項(xiàng)決定的理由，這或許是個(gè)需要搞清楚的大問題。

　　2016年，美國新澤西州蒙茅斯縣（Monmouth County）安靜的公路上出現(xiàn)一輛奇怪的無人駕駛汽車。這是芯片制造商英偉達(dá)的研究人員開發(fā)出的試驗(yàn)車，盡管它看起來與谷歌、特斯拉以及通用汽車公司研發(fā)的無人駕駛汽車沒什么不同，但它展現(xiàn)出AI的更多力量。

　　幫助汽車實(shí)現(xiàn)自動駕駛堪稱是令人印象深刻的壯舉，但同時(shí)也讓人感覺有點(diǎn)兒不安，因?yàn)楝F(xiàn)在我們還不是非常清楚汽車如何作出決策。汽車傳感器收集的信息被直接傳給龐大的人工神經(jīng)網(wǎng)絡(luò)，后者可對數(shù)據(jù)進(jìn)行處理，然后發(fā)出相應(yīng)指令，指揮汽車方向盤、制動以及其他系統(tǒng)運(yùn)行。

　　表面看起來，它似乎與能與人類駕駛員的反應(yīng)相匹配。但是當(dāng)其發(fā)生意外事件，比如撞上樹或闖紅燈時(shí)，我們可能很難從中找出原因。這些AI算法非常復(fù)雜，甚至就連設(shè)計(jì)它們的工程師都無能為力?，F(xiàn)在我們還沒有辦法設(shè)計(jì)出這樣的系統(tǒng)：它總是能夠向人們解釋為何要做出上述決定。

　　這些無人駕駛汽車的“神秘意識”正指向一個(gè)與AI有關(guān)的、迫在眉睫的問題。這些汽車算法以AI技術(shù)（又被稱為深度學(xué)習(xí)）為基礎(chǔ)，近年來其已被證明是解決諸多問題的強(qiáng)大工具。這種技術(shù)被廣泛用于圖像字幕、語音識別以及語言翻譯等領(lǐng)域。現(xiàn)在，同樣的技術(shù)也被期望能夠幫助診斷致命疾病、做出價(jià)值數(shù)百萬美元的交易決策以及無數(shù)足以改變整個(gè)行業(yè)的其他事情。

　　但是直到我們找到新的方式，能讓深度學(xué)習(xí)等技術(shù)變得更容易被其創(chuàng)造者所理解、更容易向用戶就自己的行為作出解釋后，上述場景才會出現(xiàn)或應(yīng)該出現(xiàn)。否則很難預(yù)測它們何時(shí)會出現(xiàn)故障，而且出現(xiàn)故障將是不可避免的。這也是英偉達(dá)無人駕駛汽車依然處于測試狀態(tài)的原因之一。

　　目前，數(shù)學(xué)模型正被用于幫助確定誰該獲得假釋、誰應(yīng)獲得貸款以及誰該求職被錄用。如果你能接觸到這些數(shù)字模型，很可能了解它們的推理過程。但是銀行、軍隊(duì)、雇主以及其他人現(xiàn)在正將注意力轉(zhuǎn)向更復(fù)雜的機(jī)器學(xué)習(xí)上，它可以幫助自動決策變得更令人匪夷所思，而深度學(xué)習(xí)可能從根本上改變了計(jì)算機(jī)的編程方式。麻省理工學(xué)院機(jī)器學(xué)習(xí)教授湯米·雅科拉（Tommi Jaakkola）表示：“這個(gè)問題不僅與當(dāng)前有關(guān)，更攸關(guān)未來的許多問題。無論是投資決策、醫(yī)療決策亦或是軍事決策，我們都不能簡單地依賴這種‘黑箱’?！?/p>

　　已經(jīng)有人提議，將詢問AI系統(tǒng)如何得出結(jié)論或做出決定作為一項(xiàng)基本法律權(quán)利。從2018年夏季開始，歐盟可能要求公司向用戶提供其自動化系統(tǒng)作出決策的理由。這似乎是不可能的，即使對于表面來看相對簡單的系統(tǒng)來說，比如使用深度學(xué)習(xí)服務(wù)廣告或推薦歌曲的應(yīng)用和網(wǎng)站。運(yùn)行這些服務(wù)的計(jì)算機(jī)已經(jīng)在進(jìn)行自我編程，它們正以我們無法理解的方式工作，即使開發(fā)這些應(yīng)用的工程師也無法明確解釋它們的行為。

　　這就引出許多令人難以置信的問題。隨著技術(shù)的進(jìn)步，我們可能很快就會越過一些門檻，幫助AI實(shí)現(xiàn)飛躍。雖然我們?nèi)祟愐膊⒎强偸悄軌蚪忉屒宄约旱乃季S過程，但我們能找到通過直覺信任和判斷某人的方法。機(jī)器也有類似人類的思維嗎？此前，我們從未開發(fā)出創(chuàng)造者也無法理解其運(yùn)行方式的機(jī)器，我們?nèi)绾闻c這些不可預(yù)測、無法理解的智能機(jī)器交流或和睦相處？這些問題促使我踏上了解密AI算法的征途，從蘋果到谷歌再到其他許多地方，甚至包括會見了我們這個(gè)時(shí)代最偉大的一位哲學(xué)家。

　　圖：藝術(shù)家亞當(dāng)·費(fèi)里斯（Adam Ferriss）利用谷歌Deep Dream程序創(chuàng)造了這張圖，Deep Dream可以通過刺激深度神經(jīng)網(wǎng)絡(luò)的模式識別能力調(diào)整圖像。這張圖是利用神經(jīng)網(wǎng)絡(luò)中間層創(chuàng)作的。

　　2015年，紐約西奈山醫(yī)院的研究團(tuán)隊(duì)獲得靈感，將深度學(xué)習(xí)應(yīng)用到醫(yī)院中龐大的病例數(shù)據(jù)庫中。這個(gè)數(shù)據(jù)集中有攸關(guān)病人的數(shù)百個(gè)變量，包括測試結(jié)果以及醫(yī)生診斷等。由此產(chǎn)生的程序被研究人員命名為Deep Patient，它被利用70多萬名病人的數(shù)據(jù)訓(xùn)練。但測試新的病例時(shí)，它展現(xiàn)出令人不可思議的能力--非常擅長預(yù)測疾病。無需專家指導(dǎo)，Deep Patient可以在醫(yī)院數(shù)據(jù)中找出隱藏模式，并通過病人的各種癥狀確認(rèn)疾病，包括肝癌。西奈山醫(yī)院團(tuán)隊(duì)的項(xiàng)目領(lǐng)導(dǎo)者約珥·杜德利（Joel Dudley）說：“利用病例數(shù)據(jù)，許多方法都能預(yù)測出疾病，但我們的方法更好用?！?/p>

　　與此同時(shí)，Deep Patient也讓人覺得有點(diǎn)兒困惑，它對于診斷精神疾?。ū热缇穹至寻Y）非常準(zhǔn)確。但是眾所周知，即使是醫(yī)生也很難診斷精神分裂癥，為此杜德利想知道為何Deep Patient具備這樣的能力，但他未能找到答案，這種新工具未提供任何線索。如果像Deep Patient這樣的工具真能幫助醫(yī)生，在理想情況下，它應(yīng)該可以提供預(yù)測推理，以確保其結(jié)論的準(zhǔn)確性。但杜德利說：“雖然我們可以建立模型，可是我們真的不知道它們是如何做出決定的?！?/p>

　　AI并非總是如此。從一開始，就有兩個(gè)學(xué)派就如何理解或解釋AI產(chǎn)生分歧。許多人認(rèn)為，根據(jù)規(guī)則和邏輯開發(fā)的機(jī)器最有意義，因?yàn)樗鼈兊膬?nèi)部運(yùn)作是透明的，任何人都可以檢查它們的代碼。其他人則認(rèn)為，如果機(jī)器能夠從生物學(xué)中獲得靈感，并通過觀察和體驗(yàn)學(xué)習(xí)，更有可能出現(xiàn)智能。這意味著，計(jì)算機(jī)具備了編程能力。它們不再需要程序要輸入指令以解決問題，程序本身就可以基于示例數(shù)據(jù)和期望輸出產(chǎn)生算法。根據(jù)后一種模式，這種機(jī)器學(xué)習(xí)技術(shù)后來進(jìn)化為今天最強(qiáng)大的AI系統(tǒng)，機(jī)器本身就是程序。

　　最初，這種方法在實(shí)際使用中十分有限，20世紀(jì)60年代到70年代，它在很大程度上依然被限于“場地邊緣”。隨后，許多行業(yè)的計(jì)算機(jī)化和大數(shù)據(jù)集出現(xiàn)重新引發(fā)人們的興趣。這鼓勵更強(qiáng)大的機(jī)器學(xué)習(xí)技術(shù)誕生，特別是最新被稱為人工神經(jīng)網(wǎng)絡(luò)的技術(shù)。到20世紀(jì)90年代，神經(jīng)網(wǎng)絡(luò)已經(jīng)可以自動數(shù)字化手寫內(nèi)容。

　　但是直到2010年初，經(jīng)過幾次巧妙的調(diào)整和改進(jìn)，更加龐大或更有深度的神經(jīng)網(wǎng)絡(luò)才在自動知覺方面有了巨大進(jìn)步。深度學(xué)習(xí)是促使當(dāng)今AI呈現(xiàn)爆發(fā)式增長的主要驅(qū)動力，它賦予計(jì)算機(jī)非凡的能力，比如像人那樣識別口語的能力，代替手動向機(jī)器輸入復(fù)雜代碼的能力等。深度學(xué)習(xí)已經(jīng)改變了計(jì)算機(jī)視覺，并大幅改進(jìn)機(jī)器翻譯?，F(xiàn)在，它正被用于指導(dǎo)醫(yī)療、金融以及制造業(yè)等領(lǐng)域的各種關(guān)鍵決策。

　　與手動編碼系統(tǒng)相比，任何機(jī)器學(xué)習(xí)技術(shù)的運(yùn)作本質(zhì)上都是不透明的，即使對于計(jì)算機(jī)科學(xué)家來說也是如此。這并非是說將來所有AI技術(shù)同樣不可預(yù)知，但就其本質(zhì)而言，深度學(xué)習(xí)是特別黑的“黑箱”。你無法透視深度神經(jīng)網(wǎng)絡(luò)內(nèi)部看其如何運(yùn)行。網(wǎng)絡(luò)推理實(shí)際上是數(shù)以千計(jì)的模擬神經(jīng)元的共同行為，它們排列成數(shù)十甚至數(shù)百個(gè)錯綜復(fù)雜的互聯(lián)層中。第一層的每個(gè)神經(jīng)元都會接收輸入，就像圖片上的像素強(qiáng)度，然后進(jìn)行運(yùn)算，并輸出新的信號。這些輸出會進(jìn)入更復(fù)雜的網(wǎng)絡(luò)，即下一層的神經(jīng)元中。這樣一層層傳遞，直到最后產(chǎn)生整體輸出結(jié)果。此外，還有被稱為“反向傳播”的過程，通過調(diào)整單個(gè)神經(jīng)元的計(jì)算，讓網(wǎng)絡(luò)了解到需要產(chǎn)生的“期望輸出”。

　　圖：藝術(shù)家亞當(dāng)·費(fèi)里斯（Adam Ferriss）利用谷歌Deep Dream程序創(chuàng)造的圖像

　　深度網(wǎng)絡(luò)的多層結(jié)構(gòu)讓它能在不同的抽象層上識別事物，以被設(shè)計(jì)用于識別狗狗的系統(tǒng)為例，較低的層次可識別顏色或輪廓等簡單的東西，更高的層次則可識別更復(fù)雜的東西，比如皮毛或眼睛等，最頂層則會確定其對象是狗。同樣的方法也可被應(yīng)用到其他輸入方面，這些輸入可讓機(jī)器自學(xué)，包括演講中所用詞匯的發(fā)音、文本中形成句子的字母和單詞或駕駛所需的方向盤動作等。

　　為了捕捉和更詳細(xì)地解釋這些系統(tǒng)中到底發(fā)生了什么，研究人員使用了許多巧妙策略。2015年，谷歌研究人員修改了基于深度學(xué)習(xí)開發(fā)的圖片識別算法，它不需要在圖片中發(fā)現(xiàn)目標(biāo)，而是生成目標(biāo)或修改它們。通過有效地反向運(yùn)行該算法，他們發(fā)現(xiàn)這種算法可被用于識別鳥或建筑物。

　　被稱為Deep Dream的程序產(chǎn)生的圖像，顯示出看起來非常怪誕的動物從云層或植物中現(xiàn)身，如幻境中的寶塔出現(xiàn)在森林或山脈上。這些圖片證明，深度學(xué)習(xí)并非完全不可理解，算法也需要熟悉的視覺特征，比如鳥喙或羽毛等。但這些圖片也顯示，深度學(xué)習(xí)與人類感知截然不同，會讓我們忽略的東西變得不可思議。谷歌研究人員注意到，當(dāng)算法生成啞鈴圖像時(shí)，也會生成舉著它的人類雙臂。機(jī)器得出的結(jié)論是，手臂是啞鈴的一部分。

　　利用來自神經(jīng)科學(xué)和認(rèn)知科學(xué)領(lǐng)域的想法，這種技術(shù)取得更大進(jìn)步。由美國懷俄明大學(xué)副教授杰夫·克盧恩（Jeff Clune）領(lǐng)導(dǎo)的團(tuán)隊(duì)已經(jīng)采用光學(xué)錯覺AI測試深度神經(jīng)網(wǎng)絡(luò)。2015年，克盧恩的團(tuán)隊(duì)展示了特定圖像如何欺騙神經(jīng)網(wǎng)絡(luò)，讓它們誤以為目標(biāo)不存在，因?yàn)閳D像利用了系統(tǒng)搜索的低層次模式?？吮R恩的同事杰森（Jason Yosinski）還開發(fā)出類似探針的工具，它以網(wǎng)絡(luò)中部的神經(jīng)元為目標(biāo)，尋找最容易被激活的圖像。盡管圖像以抽象的方式顯現(xiàn)，但卻凸顯了機(jī)器感知能力的神秘本質(zhì)。

　　可是，我們不僅僅沒法窺探AI的思維，也沒有簡單的解決方案。深層神經(jīng)網(wǎng)絡(luò)內(nèi)部計(jì)算的相互作用對高層次模式識別和復(fù)雜的決策至關(guān)重要，但是這些計(jì)算堪稱是數(shù)學(xué)函數(shù)和變量的泥潭。雅克拉說：“如果你有很小的神經(jīng)網(wǎng)絡(luò)，你可能會理解它。但是當(dāng)其變得非常龐大時(shí)，每層都會有數(shù)千個(gè)單元，而且有數(shù)百層，那么它會變得相當(dāng)難以理解?！?/p>

　　雅克拉的同事雷吉納·巴爾齊萊（Regina Barzilay）專注于將機(jī)器學(xué)習(xí)應(yīng)用到醫(yī)學(xué)領(lǐng)域。2年前43歲時(shí)，巴爾齊萊被診斷患上乳腺癌。這個(gè)診斷本身就令人感到震驚，但巴爾齊萊也很沮喪，因?yàn)榍把亟y(tǒng)計(jì)和機(jī)器學(xué)習(xí)方法還未被用于幫助腫瘤學(xué)研究或指導(dǎo)治療。她說，AI很可能徹底改變醫(yī)療行業(yè)，而意識到這種潛力意味著其不僅僅可被用于病例中。她希望使用更多未被充分利用的原始數(shù)據(jù)，比如影像數(shù)據(jù)、病理資料等。

　　去年結(jié)束癌癥治療后，巴爾齊萊和學(xué)生們開始與馬薩諸塞州綜合醫(yī)院的醫(yī)生們合作，開發(fā)能夠通過分析病理報(bào)告確定病人的系統(tǒng)，這些患者是研究人員可能想要研究的特殊臨床病例。然而，巴爾齊萊知道，這套系統(tǒng)需要能夠解釋其推理。為此，巴爾齊萊與雅克拉等人增加新的研究，該系統(tǒng)可以提取和突出文本中的片段，這些片段也處于已經(jīng)被發(fā)現(xiàn)的模式中。巴爾齊萊等人還開發(fā)出深度學(xué)習(xí)算法，它可在乳房X線照片中發(fā)現(xiàn)乳腺癌的早期癥狀。他們的目標(biāo)是給于這種系統(tǒng)解釋推理的同樣能力。巴爾齊萊說：“你真的需要一個(gè)回路，機(jī)器和人類可通過其加強(qiáng)協(xié)作?！?/p>

　　美國軍方正向多個(gè)項(xiàng)目投資數(shù)十億美元，這些項(xiàng)目可利用機(jī)器學(xué)習(xí)引導(dǎo)戰(zhàn)車和飛機(jī)、識別目標(biāo)、幫助分析師篩選大量情報(bào)數(shù)據(jù)。與其他領(lǐng)域的研究不同的是，美國國防部已經(jīng)確定，可解釋性是解開AI算法神秘面紗的關(guān)鍵“絆腳石”。國防部下屬研發(fā)機(jī)構(gòu)DARPA項(xiàng)目主管大衛(wèi)·甘寧（David Gunning）負(fù)責(zé)監(jiān)督名為Explainable Artificial Intelligence的項(xiàng)目，他此前曾幫助監(jiān)督最后促使Siri誕生的DARPA項(xiàng)目。

　　甘寧表示，自動化正滲透到無數(shù)軍事領(lǐng)域。情報(bào)分析師正測試機(jī)器學(xué)習(xí)，將其作為在海量情報(bào)數(shù)據(jù)中確認(rèn)模式的新方法。許多無人駕駛地面戰(zhàn)車和飛機(jī)正被開發(fā)和測試，但坐在無法自我解釋的機(jī)器人坦克中，士兵們可能不會感覺不舒服，分析師也不愿意根據(jù)沒有推理支持的信息采取行動。甘寧說：“這些機(jī)器學(xué)習(xí)系統(tǒng)本質(zhì)上經(jīng)常產(chǎn)生大量假警報(bào)，為此網(wǎng)絡(luò)分析師需要額外幫助，以便理解為何它們給出如此建議?！?/p>

　　今年3月份，DARPA從學(xué)術(shù)界和工業(yè)領(lǐng)域挑選了13個(gè)項(xiàng)目，以便獲得甘寧團(tuán)隊(duì)的資助，其中包括華盛頓大學(xué)教授卡洛斯·蓋斯特林（Carlos Guestrin）領(lǐng)導(dǎo)的項(xiàng)目。蓋斯特林與同事們已經(jīng)找到一種新方法，讓機(jī)器學(xué)習(xí)系統(tǒng)為自己的輸出提供推理解釋。實(shí)質(zhì)上，按照他們的方法，計(jì)算機(jī)可自動從數(shù)據(jù)集中查找例證，并以它們?yōu)樽糇C。舉例來說，可以分類恐怖分子電子郵件信息的系統(tǒng)，可能需要使用數(shù)以千萬計(jì)的信息進(jìn)行訓(xùn)練和決策。但利用華盛頓大學(xué)團(tuán)隊(duì)的方法，它可以凸顯信息中出現(xiàn)的特定關(guān)鍵詞。蓋斯特林的團(tuán)隊(duì)還設(shè)計(jì)了圖像識別系統(tǒng)，通過凸顯圖像中最重要的部分提供推理支持。

　　這種方法和其他類似技術(shù)的1個(gè)缺點(diǎn)在于，它們提供的解釋總是被簡化，意味著許多重要信息可能遺失。蓋斯特林說：“我們還沒有實(shí)現(xiàn)整個(gè)夢想，將來AI可以與你對話，并作出解釋。距離打造真正可解釋的AI，我們還有很長的路要走。”

　　了解AI的推理不僅在癌癥診斷或軍事演習(xí)等高風(fēng)險(xiǎn)領(lǐng)域至關(guān)重要，當(dāng)這種技術(shù)被普及成為日常生活中的重要組成時(shí)，AI能夠給出解釋同樣重要。蘋果Siri團(tuán)隊(duì)負(fù)責(zé)人湯姆·格魯伯（Tom Gruber）說，對于他的團(tuán)隊(duì)來說，可解釋性是個(gè)關(guān)鍵因素，因?yàn)樗麄冋龂L試讓Siri變成更聰明、更有能力的虛擬助理。格魯伯沒有討論Siri未來的具體計(jì)劃，但很容易想到，如果你收到Siri推薦的餐廳建議，你可能想知道它推薦的理由。蘋果AI研究總監(jiān)、卡內(nèi)基-梅隆大學(xué)副教授魯斯蘭·薩拉克霍特迪諾夫（Ruslan Salakhutdinov）將可解釋性作為人類與智能機(jī)器之間不斷進(jìn)化的關(guān)系的核心。

　　正如人類的許多行為都是無法解釋那樣，或許AI也無法解釋它所做的一切?？吮R恩說：“即使有人能給你看似合理的解釋，可能也不夠充分，對AI來說同樣如此。這可能是智能的本質(zhì)部分，只有部分行為能用推理解釋。有些行為只是出于本能，或潛意識，或根本沒有任何理由?！比绻媸沁@樣的話，那么在某個(gè)階段，我們可能必須絕對相信AI的判斷，或根本不使用它。同樣的，這種判斷必須要納入社會智能。正如社會是建立在預(yù)期行為的契約之上那樣，我們需要設(shè)計(jì)出遵守和適應(yīng)我們社會規(guī)則的AI系統(tǒng)。如果我們想要制造出機(jī)器人坦克和其他殺人機(jī)器，它們的決策也需要符合我們的道德判斷標(biāo)準(zhǔn)。

　　為了探索這些抽象概念，我拜訪了塔夫茨大學(xué)著名哲學(xué)家、認(rèn)知科學(xué)家丹尼爾·丹尼特（Daniel Dennett）。丹尼特在其最新著作《From Bacteria to Bach and Back》中稱，智能本身進(jìn)化的本質(zhì)部分在于創(chuàng)造能夠執(zhí)行任務(wù)的系統(tǒng)，而這些任務(wù)是系統(tǒng)的創(chuàng)造者都不知道如何執(zhí)行的。丹尼特說：“問題在于，我們必須做出什么樣的努力才能做到這一點(diǎn)，我們給他們定下的標(biāo)準(zhǔn)是什么，我們自己的標(biāo)準(zhǔn)呢？”

　　丹尼爾還對可解釋性AI的探求發(fā)出警告，他說：“我認(rèn)為，如果我們要使用這些東西，并依賴它們，那么我們就需要盡可能牢牢把握住它們?nèi)绾我约盀楹谓o我們這樣的答案?！钡怯捎谶€沒有完美答案，我們應(yīng)該對AI的可解釋性保持謹(jǐn)慎，無論機(jī)器變得多么聰明。丹尼特說：“如果它們無法比我們更好地給出解釋，那么我們就不該相信它們?！?/p>