1

引言

人工智能從誕生之始就以對抗人類智能為衡量準(zhǔn)則(著名的圖靈測試)。作為人工智能研究的前沿方向，人機對抗技術(shù)一直是國內(nèi)外人工智能研究的熱點,以人機對抗為主要形式的人工智能研究為探尋機器智能的內(nèi)在生長機制和關(guān)鍵技術(shù)原理提供了一個極佳的試驗環(huán)境和驗證途徑.整個過程不僅能夠讓機器更加智能地為人類服務(wù)、將人類從一些繁復(fù)復(fù)雜的任務(wù)中解脫出來, 而且人類也能夠借鑒機器智能的發(fā)展過程，提升自身的智能水平，更深刻地理解和掌握智能的內(nèi)在本質(zhì)和產(chǎn)生機理，進而推動整個社會由信息化向智能化發(fā)展。 2

發(fā)展歷史

從1936年人工智能之父阿蘭?圖靈提出著名的“圖靈測試”之后，人和機器之間進行智能對抗就成為了衡量機器智能發(fā)展水平的最重要標(biāo)準(zhǔn)。從實現(xiàn)最初的簡單智能到不斷進化成更為復(fù)雜的智能，對抗貫穿于人工智能中計算、感知和認(rèn)知的3個階段(圖1)，從某種意義上講，就如人類與自然環(huán)境的對抗促進了人類的進化，機器與人的對抗也必將讓機器智能不斷發(fā)展進化。

Figure 1 The development history of human-computer gaming 3

內(nèi)涵及機理

雖然人機對抗智能技術(shù)獲得極大的關(guān)注, 并在不同應(yīng)用領(lǐng)域展現(xiàn)出應(yīng)用前景, 但其理論及相關(guān)技術(shù)目前還沒有一個系統(tǒng)性的描述, 本文將從內(nèi)涵、機理對其進行闡述并在此基礎(chǔ)上相關(guān)模型及關(guān)鍵技術(shù)。

3.1人機對抗內(nèi)涵

人機對抗是以機器和人類對抗為途徑，以博弈學(xué)習(xí)等為核心技術(shù)來實現(xiàn)機器智能快速學(xué)習(xí)進化的研究方向。作為“圖靈測試”的重要手段，人機對抗是驗證機器智能的“試金石”，為探尋機器智能的內(nèi)在生長機制和關(guān)鍵技術(shù)的驗證提供有效試驗環(huán)境、評價標(biāo)準(zhǔn)，具有重要科學(xué)研究意義和應(yīng)用價值。

3.2人機對抗機理

人機對抗機理研究對抗各要素及其相互聯(lián)系，以及相互作用的運行規(guī)律與原理，涉及的要素包括人(機器的對手)、機器(對抗的AI)和環(huán)境(對抗的規(guī)則和條件等的集合體)，根據(jù)人機物3要素分析方法, 3要素相互作用分別形成一元博弈、二元博弈和三元博弈。人機對抗智能的科學(xué)問題可概括為博弈學(xué)習(xí)的可建模、可計算與可解釋。4

人機對抗模型及關(guān)鍵技術(shù)

和感知智能有所不同，人機對抗通常關(guān)注更為復(fù)雜的時序決策等認(rèn)知智能，對其過程建模是一個高度復(fù)雜問題，因此認(rèn)知決策建模是整個人機對抗中的核心關(guān)鍵環(huán)節(jié)。本文將面向強對抗環(huán)境下的人機對抗決策流程歸納為感知、推理、決策和控制，將人機對抗關(guān)鍵技術(shù)歸納為對抗空間表示與建模、態(tài)勢評估與推理、策略生成與優(yōu)化、行動協(xié)同與控制4部分；通過對抗態(tài)勢判讀理解、認(rèn)知預(yù)測、策略決策和行動實施，局部整體不斷循環(huán)迭代增強, 自主提升對抗能力。人機對抗涉及的關(guān)鍵技術(shù)如圖2所示。

Figure 2Process modeling and key technology of human-computer gaming

4.1對抗空間表示與建模

構(gòu)建有效的知識表示模型，準(zhǔn)確刻畫對抗空間的決策要素構(gòu)成、屬性特征及要素之間的交互關(guān)系，是實現(xiàn)人機對抗的基礎(chǔ)。巨復(fù)雜、高動態(tài)、強對抗環(huán)境具有決策要素海量高維、要素影響高度耦合、決策關(guān)鍵信息不完全等特性，使得對抗空間的定量表示極富挑戰(zhàn)。這方面可開展的研究包括：（1）對抗空間要素實體–關(guān)系表示, 研究對抗空間中各類不同實體、實體屬性及其交互關(guān)聯(lián)關(guān)系, 構(gòu)建決策要素的表示模型； （2）對抗空間特征張量表示學(xué)習(xí), 分析實體屬性關(guān)系耦合和結(jié)構(gòu)拓?fù)鋵€體及群體對抗能力的影響, 構(gòu)建可解釋的對抗空間的高維張量描述； （3）層級化聚合演算規(guī)則建模, 融合經(jīng)驗表示與數(shù)值計算, 定義多因素、層級化的對抗態(tài)勢和對抗能力聚合演算規(guī)則, 形成環(huán)境–我方–對手多元耦合的可計算表征體系； （4）基于異構(gòu)信息網(wǎng)絡(luò)的抽象通用空間表示, 基于能力演算規(guī)則, 研究對抗要素的抽象態(tài)勢表示, 減輕對抗場景依賴帶來的噪聲和數(shù)據(jù)稀疏影響。

4.2對抗態(tài)勢評估與推理

對抗態(tài)勢是指對抗各方通過實力對比、調(diào)配和行動等形成的狀態(tài)和趨勢，態(tài)勢的評估與推理為后續(xù)對抗策略生成與優(yōu)化提供了依據(jù)。面臨著的挑戰(zhàn)有：（1）訓(xùn)練態(tài)勢認(rèn)知和預(yù)測模型的高水平對抗數(shù)據(jù)往往非常有限； （2）對手信息往往是凌亂的、不完全的, 僅依據(jù)對手部分信息進行整體局勢評估準(zhǔn)確性較差； （3）復(fù)雜對抗環(huán)境導(dǎo)致可用于態(tài)勢評估的信息眾多，難以有效進行融合以形成多角度層次化態(tài)勢?？砷_展的研究包括:（1）高質(zhì)量對抗數(shù)據(jù)的生成, 通過自主博弈或者生成式對抗網(wǎng)絡(luò)等方法生成用于人機對抗建模與分析的高質(zhì)量人機對抗數(shù)據(jù)； （2）小樣本學(xué)習(xí), 研究在數(shù)據(jù)較少情況下通過遷移或自適應(yīng)等方法實現(xiàn)對抗態(tài)勢的直接評估； （3）對方信息估計, 研究結(jié)合歷史信息與當(dāng)前對抗環(huán)境實現(xiàn)從底層到高層的對手動作估計、意圖識別與策略估計； （4）態(tài)勢層次化認(rèn)知, 研究結(jié)合多源異構(gòu)信息進行態(tài)勢的多角度層次化評估與推理。

4.3對抗策略生成與優(yōu)化

對抗策略主要涉及多智能體協(xié)同的任務(wù)規(guī)劃，解決群體與單體的行動規(guī)劃問題。其技術(shù)挑戰(zhàn)在于：（1）不完全信息使得對手位置、行為、企圖不能完全知道，對手行為概率模型未知導(dǎo)致策略選擇保守, 需要進行不完全信息下博弈策略選擇； （2）宏觀決策收益反饋滯后，使得宏觀決策的效應(yīng)需要經(jīng)過較長時間才能體現(xiàn), 導(dǎo)致決策行為與效益之間難以形成有效映射； （3）行動能力與環(huán)境深度耦合,忽略了局部環(huán)境因素可能導(dǎo)致策略分析嚴(yán)重偏差，過度詳細(xì)分析又導(dǎo)致對抗空間難以約減。 針對策略生成和優(yōu)化方面的挑戰(zhàn)，利用策略游戲如星際爭霸作為平臺開展研究是國際上較為公認(rèn)的方式。可開展的研究包括：（1）宏觀策略生成，針對面向使命任務(wù)的全局博弈對抗問題，構(gòu)建分層任務(wù)分解與任務(wù)協(xié)同機制，實現(xiàn)復(fù)雜群體博弈對抗問題向低維空間約減； （2）微觀策略生成, 針對局部博弈對抗問題, 構(gòu)建微型群體局部策略自適應(yīng)機制, 實現(xiàn)微型群體的強博弈對抗能力與環(huán)境遷移能力； （3）策略優(yōu)化方法，針對策略能力需要自主提升的問題，構(gòu)建博弈策略的評價機制和學(xué)習(xí)型策略演進機制，實現(xiàn)博弈策略的自主進化與能力提升。

4.4對抗行動協(xié)同與控制

策略的執(zhí)行需要多個智能體的行動協(xié)同，各智能體在自身信息獲取與初步認(rèn)知的基礎(chǔ)上，利用資源貢獻、信息連通、要素融合、虛擬協(xié)作、智能輔助等功能，將多個單元虛擬協(xié)同, 形成整合的群體行動協(xié)同與控制。多智能體協(xié)同的難點包括:多智能體的學(xué)習(xí)目標(biāo)，個體回報和團隊回報的關(guān)系，學(xué)習(xí)過程中各智能體之間的作用和影響，聯(lián)合狀態(tài)和聯(lián)合動作的獲取，擴大的狀態(tài)空間和動作空間導(dǎo)致的維數(shù)災(zāi)難等問題。 目前相關(guān)研究工作主要集中在多智能體協(xié)同與學(xué)習(xí)方面。可開展的研究包括：（1）從協(xié)同過程可分為序列策略表征、協(xié)同機制優(yōu)化、異構(gòu)多智能體協(xié)同以及多元協(xié)同的融合； （2）從協(xié)同任務(wù)類型可分為同任務(wù)合作智能協(xié)同、異任務(wù)資源協(xié)調(diào)等； （3）從理論上突破去中心化、通信中斷的默契型協(xié)作方法，任務(wù)涵蓋序列化任務(wù)、多層次任務(wù)、多領(lǐng)域任務(wù)等，實現(xiàn)場景類型全覆蓋，協(xié)同方式多元化，為訓(xùn)練提供高質(zhì)量協(xié)同策略。 5

應(yīng)用及挑戰(zhàn)

人機對抗智能技術(shù)的應(yīng)用領(lǐng)域涉及棋牌類游戲、即時策略游戲、兵棋推演等，在多個領(lǐng)域內(nèi)機器智能已經(jīng)達(dá)到并超過了該領(lǐng)域的人類頂級選手，不斷刷新博弈對抗記錄,顯示出了新一輪人工智能技術(shù)在認(rèn)知決策方面的鮮明特點。

5.1棋牌類策略游戲?qū)?/p>

棋牌類策略游戲一直以來都被用作測試計算機智能發(fā)展水平的參考標(biāo)準(zhǔn)。這些游戲由于簡單的規(guī)則和豐富的玩法而深受全球范圍內(nèi)的廣大愛好者的喜愛。同樣由于其規(guī)則的確定性，加之游戲環(huán)境可控性和不完全信息等特性，吸引了人工智能領(lǐng)域的持續(xù)研究。

DeepMind公司提出的AlphaGo技術(shù)在圍棋人機對抗中獲勝

在1對1無限注德州撲克中， DeepStack成為了第1個擊敗職業(yè)選手的德州撲克AI程序； 卡內(nèi)基梅隆大學(xué)的研究者提出的名為Libratus的德州撲克AI算法，同樣擊敗了多名頂尖的職業(yè)德州撲克選手。

5.2即時策略游戲?qū)?/p>

即時策略游戲是另一種常用于評估機器智能的平臺，和棋牌類游戲相比，其整個對抗過程即時進行。通常情況下，該類游戲包含資源采集、基地建造、發(fā)展科技等若干因素，游戲玩家需要平衡不同因素并控制單個或者多個被控制單元以完成對抗，經(jīng)典的實時策略游戲包括星際爭霸以及Dota2等。得益于國際AI賽事以及企業(yè)與學(xué)術(shù)界的友好合作，即時策略游戲AI取得了長足的進展。

星際爭霸AI程序AlphaStar以10:1擊敗了人類專業(yè)選手 相關(guān)的AI算法包括基于多智能體強化學(xué)習(xí)實現(xiàn)被控單元間微操的控制，基于深度神經(jīng)網(wǎng)絡(luò)模型進行宏觀戰(zhàn)斗決策的制定,以及基于狀態(tài)機模型實現(xiàn)對抗過程的演化等。盡管深度強化學(xué)習(xí)技術(shù)在多個游戲中具有不俗的表現(xiàn)，如何提高模型的穩(wěn)定性以及性能以擊敗頂級人類玩家、如何實現(xiàn)模型的可解釋以支撐學(xué)習(xí)的可信任建模仍需要AI算法的不斷突破。

5.3軍事模擬及推演對抗

軍事模擬及推演由于其戰(zhàn)略意義，長期以來受到國家層面的關(guān)注，其對抗演練具有重要實用價值.隨著博弈對抗規(guī)模的擴大，對抗空間呈現(xiàn)指數(shù)級增長，多兵種協(xié)同與環(huán)境耦合的問題凸顯，戰(zhàn)爭系統(tǒng)具有強非線性和高動態(tài)等復(fù)雜特性，解析計算和隨機逼近最佳策略都存在巨大挑戰(zhàn)；人機對抗需要發(fā)展對手行為意識建模和協(xié)同演化博弈策略，以不斷提升對抗能力。

空戰(zhàn)智能博弈人機對抗系統(tǒng)(ALPHA)， 拉開了無人裝備對抗有人裝備的序幕

自動化所研制的CASIA先知1.0系統(tǒng)在兵棋推演大賽獲勝 事實上，博弈貫穿于人類社會的方方面面，博弈和對抗在政治、經(jīng)濟、文化、軍事等多方面都發(fā)揮著重要的作用, 人機對抗技術(shù)也將在信息獲取、傳輸、分析、理解、推理、決策等環(huán)節(jié)發(fā)揮作用，推動感知和認(rèn)知智能的發(fā)展。 6

總結(jié)與展望

人工智能尤其是機器學(xué)習(xí)、類腦計算等領(lǐng)域的發(fā)展給人機對抗智能及自主進化帶來了契機，迫切需要深化人機對抗問題本質(zhì)的理解與解析，科學(xué)合理地建立機器智能與人類智能的高效協(xié)作機制，取得人機對抗理論、技術(shù)與應(yīng)用的重大突破, 并在人類社會的經(jīng)濟、政治、金融及生活等多領(lǐng)域推進智能化進程。