AI在棋牌類游戲的應(yīng)用，將促進(jìn)博弈決策的研究，以棋牌類AI應(yīng)用為基礎(chǔ)的相關(guān)AI博弈工具，在經(jīng)濟(jì)金融領(lǐng)域的風(fēng)險(xiǎn)預(yù)測(cè)、軍事領(lǐng)域的戰(zhàn)局預(yù)測(cè)等方向有著廣泛的應(yīng)用前景。

半個(gè)多世紀(jì)以來(lái)，棋牌類游戲一直是人工智能（AI）發(fā)展創(chuàng)新的舞臺(tái)。利用AI在被視作智力游戲的棋牌中打敗人類，也一直是AI研究所追求的目標(biāo)。從1997年IBM的超級(jí)電腦“深藍(lán)”擊敗國(guó)際象棋世界冠軍卡斯帕羅夫，到2016年谷歌開發(fā)的AI機(jī)器人AlphaGo戰(zhàn)勝圍棋世界冠軍李世石，AI在棋牌類比賽中屢獲突破。2019年7月，卡耐基梅隆大學(xué)與Facebook公司共同開發(fā)的AI機(jī)器人“Pluribus”，在無(wú)限制德州撲克6人對(duì)決比賽中戰(zhàn)勝5名專家級(jí)人類玩家，AI在德州撲克戰(zhàn)場(chǎng)再下一城。

Pluribus概況

Pluribus與人類的比賽分為兩種模式：1個(gè)AI與5個(gè)人類玩家和5個(gè)AI與1個(gè)人類玩家，Pluribus在這兩種模式中都取得了勝利。而為了戰(zhàn)勝人類，Pluribus在策略、算法和能耗上進(jìn)行了多次優(yōu)化。

Pluribus研發(fā)的核心策略是運(yùn)用改進(jìn)版本的蒙特卡洛遺憾最小化算法（Monte Carlo Counter factual Regret Minimization，MCCFR），通過自我博弈的方式學(xué)習(xí)。Pluribus首先隨機(jī)地選擇玩法，通過蠻力計(jì)算得到收斂的結(jié)果，并對(duì)這些行動(dòng)擬合概率分布，使得其實(shí)力在不斷自我博弈中逐步變強(qiáng)。在整個(gè)學(xué)習(xí)過程中，AI機(jī)器人和自己進(jìn)行對(duì)戰(zhàn)，不使用任何人類游戲數(shù)據(jù)作為輸入。

算法上，為了解決6名玩家的額外復(fù)雜性，Pluribus整合了新的在線搜索算法，使AI能夠在游戲中向前預(yù)測(cè)并決定下一步該做什么，這種機(jī)制被稱為搜索功能。以往的棋牌類算法的每一步?jīng)Q策都需要計(jì)算到游戲結(jié)束，而在線搜索算法只需搜索前面的幾步即可。此外，Pluribus還利用了速度更快的新型self-play非完美信息游戲算法?；谏鲜鰞煞N算法，使得憑借極少的處理能力和內(nèi)存來(lái)訓(xùn)練Pluribus成為可能。

能耗上，研究人員使用一個(gè)64核的服務(wù)器，利用不大于512GB的內(nèi)存，在8天時(shí)間里完成了Pluribus的自我博弈訓(xùn)練，其成本大約為150美元，同其他自我對(duì)弈的AI研究相比，成本極低。而且算法上的進(jìn)步，讓研究人員可憑借較少的資源消耗實(shí)現(xiàn)極大的性能提升。

撲克AI和其他棋牌類AI的對(duì)比

撲克AI與棋類AI的基本原理相同，都采用蒙特卡洛搜索樹算法作為基本算法，不依賴人類所提供的策略，在不斷迭代的過程中實(shí)現(xiàn)自我學(xué)習(xí)。不同的是，棋類游戲中的棋子都展現(xiàn)在棋盤上，結(jié)果種類有限，所有的結(jié)果都是可推算的，這種情況被稱為“完美信息博弈”；牌類游戲中無(wú)法知道對(duì)手的底牌，含有隱藏信息，結(jié)果可能是多樣的，導(dǎo)致其計(jì)算難度和計(jì)算量大大增加，被稱為“不完美信息博弈”。

棋類AI

棋類游戲包括西洋雙陸棋、國(guó)際象棋、圍棋等，比賽中所有的信息和決策公開，并且游戲?qū)τ谕婕襾?lái)說只有贏或輸兩種可能的結(jié)果，從某種意義上說，這使得訓(xùn)練AI變得更容易。棋類在理論上可通過計(jì)算機(jī)模擬出每一種可能的情況，從而進(jìn)行完美信息動(dòng)態(tài)博弈。這類完美信息博弈中AI機(jī)器人往往使用實(shí)時(shí)搜索。例如，當(dāng)模型在決定下一步該如何走時(shí)，國(guó)際象棋AI通常會(huì)考慮以后的一些移動(dòng)步驟，直到算法的前瞻到達(dá)深度上限。而圍棋的棋盤變化可能性比可觀測(cè)宇宙范圍的原子總數(shù)還多，因此圍棋AI主要通過深度學(xué)習(xí)技術(shù)訓(xùn)練用于判斷結(jié)果輸贏概率的價(jià)值網(wǎng)絡(luò)，來(lái)增強(qiáng)AI對(duì)弈能力。

麻將AI

麻將AI的策略需要更多地增加得點(diǎn)的期望值，盡量增大和大牌的可能性，同時(shí)盡量避免對(duì)手的大牌點(diǎn)炮，這一打牌策略顯然是有最優(yōu)解的。為了有更大的可能性和大牌，AI需要通過手牌和棄牌池里的牌，計(jì)算進(jìn)張（摸到有效牌）和鳴牌（吃、碰、杠）使手牌有進(jìn)展的概率，進(jìn)而計(jì)算和牌得分的期望值。目前最強(qiáng)的麻將AI機(jī)器人是日本東京大學(xué)開發(fā)的“暴打”。

撲克AI

以德州撲克為例，由于在游戲中，玩家無(wú)法獲取已發(fā)生事件的全部信息（如對(duì)手的底牌等），因此這個(gè)游戲?qū)儆凇安煌昝佬畔ⅰ保↖mperfect Information）類游戲。德州撲克一直是人工智能領(lǐng)域最難以攻克的重大問題之一，因?yàn)楹推孱愑螒虿煌瑩淇薃I必須推理隱藏的信息，并慎重平衡自己策略。同時(shí)，相比棋類比賽，在撲克游戲中需要使用Bluff（嚇唬）等更多游戲策略。

在Pluribus之前，AI機(jī)器人曾在兩個(gè)參與者的完美信息零和博弈中取得了多次引人注目的成功，但大多數(shù)真實(shí)世界中的策略交互都涉及隱藏信息，且并非兩個(gè)參與者的零和博弈。Pluribus的成功表明，在復(fù)雜的多參與者場(chǎng)景中，基于自我博弈和搜索算法的AI能夠獲得很好的效果。

AI棋牌應(yīng)用的現(xiàn)實(shí)意義

Pluribus提出了在大型狀態(tài)空間、隱藏信息中有效地解決博弈論推理挑戰(zhàn)的方法，所開發(fā)出的技術(shù)很大程度上獨(dú)立于撲克領(lǐng)域，可用于大量不完美信息博弈。Pluribus處理的諸多問題，與真實(shí)世界中的通用問題相對(duì)應(yīng)，“不知道對(duì)手的牌”對(duì)應(yīng)現(xiàn)實(shí)中的“不完整信息”，“下注策略和由此帶來(lái)的結(jié)果”對(duì)應(yīng)現(xiàn)實(shí)中的“風(fēng)險(xiǎn)管理”，“確認(rèn)對(duì)手的模式，并進(jìn)行利用”對(duì)應(yīng)現(xiàn)實(shí)中的“智能體建?！保癇luffing(撲克中的恐嚇技巧)”對(duì)應(yīng)現(xiàn)實(shí)中的“欺騙”，“處理對(duì)手欺騙的牌”對(duì)應(yīng)現(xiàn)實(shí)中的“不可靠信息”。

事實(shí)上，棋牌類游戲的本質(zhì)是競(jìng)爭(zhēng)和對(duì)抗，由游戲規(guī)則定義其目標(biāo)（評(píng)價(jià)標(biāo)準(zhǔn)），玩家使用各種策略達(dá)成目標(biāo)，其中涉及數(shù)量可觀的博弈過程。AI在棋牌類游戲的應(yīng)用，將促進(jìn)博弈決策的研究。以棋牌類AI應(yīng)用為基礎(chǔ)的相關(guān)AI博弈工具，在經(jīng)濟(jì)金融領(lǐng)域的風(fēng)險(xiǎn)預(yù)測(cè)、軍事領(lǐng)域的戰(zhàn)局預(yù)測(cè)等方向有著廣泛的應(yīng)用前景。

在經(jīng)濟(jì)金融領(lǐng)域，不論對(duì)經(jīng)濟(jì)發(fā)展的總體趨勢(shì)預(yù)測(cè)，還是銀行、保險(xiǎn)、股市等細(xì)分行業(yè)的風(fēng)險(xiǎn)模型建立，都需要依靠大量“不完美信息”來(lái)決策。AI博弈工具可通過處理不完美信息來(lái)獲得最佳決策。政府可利用AI博弈工具對(duì)社會(huì)行業(yè)的未來(lái)趨勢(shì)進(jìn)行預(yù)測(cè)，判斷供需關(guān)系，合理有序引導(dǎo)行業(yè)健康發(fā)展。銀行、保險(xiǎn)公司可利用AI工具判斷短期行業(yè)走勢(shì)，高效評(píng)估企業(yè)風(fēng)險(xiǎn)，以決定是否達(dá)成交易。

在軍事領(lǐng)域，具有自主學(xué)習(xí)功能的AI博弈工具與兵棋推演相結(jié)合，將爆發(fā)出極強(qiáng)的戰(zhàn)斗力，幫助軍隊(duì)獲取制勝先機(jī)。從上個(gè)世紀(jì)70年代初開始，美國(guó)陸軍就按照“全自動(dòng)兵棋”概念建立起“地面作戰(zhàn)模擬系統(tǒng)”。20世紀(jì)90年代初，美軍在海灣戰(zhàn)爭(zhēng)爆發(fā)前就使用兵棋游戲?qū)φ麄€(gè)戰(zhàn)爭(zhēng)進(jìn)行了推演，而戰(zhàn)爭(zhēng)的過程幾乎和美軍事前的推演如出一轍。隨著技術(shù)的進(jìn)步，算法不斷成熟使得算力需求進(jìn)一步降低，同時(shí)計(jì)算技術(shù)朝著系統(tǒng)微型化和處理高速化方向發(fā)展，具備超強(qiáng)自主學(xué)習(xí)和計(jì)算能力的AI系統(tǒng)與作戰(zhàn)模擬系統(tǒng)相結(jié)合，將提升對(duì)戰(zhàn)局的預(yù)測(cè)和把控。未來(lái)，AI系統(tǒng)將有希望直接與戰(zhàn)場(chǎng)指揮系統(tǒng)對(duì)接，其快速戰(zhàn)局推演能力、高效制定作戰(zhàn)方案的能力，將主導(dǎo)戰(zhàn)爭(zhēng)的勝負(fù)走向。