上周，OpenAI Five擊敗DOTA2業(yè)余人類玩家，轟動游戲圈和AI圈，連比爾·蓋茨都忍不住發(fā)推特點贊，稱之為“里程碑事件”。這個事件對業(yè)界帶來的影響有多大？技術(shù)含量有多高？新智元采訪了數(shù)位國內(nèi)外專家，他們并不全都贊同“里程碑”的觀點。

上周，OpenAI自學(xué)習(xí)多智能體5v5團隊?wèi)?zhàn)擊敗DOTA2業(yè)余人類玩家，成為轟動人工智能圈的一件大事。

這個事件的意義，不僅僅局限于AI“攻克”星際爭霸或者Dota這樣的復(fù)雜電子競技游戲，而是代表著AI在決策智能上的能力大幅向前推進。

對于這件事，比爾·蓋茨也發(fā)推文稱贊：這是一件大事，因為它們的勝利需要團隊合作和協(xié)作——這是推進人工智能的一個巨大里程碑。

不過，也有觀點認(rèn)為OpenAI這個“里程碑”只是在算力上的巨大勝利，并沒有在算法上創(chuàng)新，他們只是擴展了已有的方法。

OpenAI“里程碑”的含金量到底高不高？

先來看技術(shù)：強化學(xué)習(xí)能夠進行大但是可實現(xiàn)規(guī)模的長期規(guī)劃

OpenAI Five之所以戰(zhàn)勝DOTA2的業(yè)余選手，成為比爾·蓋茨眼里的里程碑事件，主要原因在于它使用“近端策略優(yōu)化”（PPO）的擴展版算法，在256個GPU和128000個CPU內(nèi)核上進行訓(xùn)練。每個英雄都使用單獨的LSTM，不使用人類數(shù)據(jù)，最終AI能夠?qū)W會識別策略。

這種做法表明，強化學(xué)習(xí)能夠進行大但卻可實現(xiàn)規(guī)模（large but achievable scale）的長期規(guī)劃，而不發(fā)生根本性的進展。

國內(nèi)首家決策智能公司啟元世界研究科學(xué)家、香港科技大學(xué)彭鵬博士認(rèn)為，從Dota2中展現(xiàn)出來的群體智能來看，OpenAI Five無論從對整體局勢的判斷還是對局部戰(zhàn)場的應(yīng)對，都展現(xiàn)了很高的智能決策能力。

整體戰(zhàn)略上，通過前期給輔助英雄一定的資源，讓輔助英雄可以通過gank和push幫助隊伍快速進入中期階段，加快并試圖掌握游戲節(jié)奏；能夠快速集結(jié)起部分隊員進行連續(xù)有效的gank；集中push敵方優(yōu)勢路和中路，逼迫對方在較難防守的位置交戰(zhàn)。在團戰(zhàn)中，對切入時機、距離控制、英雄的職責(zé)分配、集火目標(biāo)選擇和多種裝備的靈活運用做的非常到位。

最令人驚訝的是，OpenAI Five直接在微操級別的動作空間中進行探索和學(xué)習(xí)，僅僅通過幾天的訓(xùn)練就達到了上述的效果。雖然有12800 CPU cores和256 P100 GPU的加持，這一結(jié)果足以使大家對深度強化學(xué)習(xí)有更強的信心。

此外，盡管當(dāng)前版本的OpenAI Five的補兵能力表現(xiàn)不佳，但它在選擇優(yōu)先攻擊目標(biāo)上已經(jīng)達到專業(yè)水平。獲得長期回報往往需要犧牲短期回報，例如發(fā)育后的金錢，因為團推時也需要耗費時間。這表明系統(tǒng)真正在進行長期的優(yōu)化。

（關(guān)于更具體的實現(xiàn)過程，新智元此前有詳細報道，讀者可移步新智元知乎專欄閱讀：

https://zhuanlan.zhihu.com/p/38499219）

OpenAI自有過人之處，Smerity高度評價

彭鵬博士認(rèn)為，從技術(shù)角度來講，OpenAI Five延續(xù)了OpenAI在1v1中所采用的建模方式，相比Deepmind主打的端到端學(xué)習(xí)（end-to-end learning），OpenAI Five直接使用語義信息作為模型的輸入，極大地降低模型訓(xùn)練所需的計算力，這算是一個新進展。

另外，OpenAI Five也在reward function的構(gòu)造也很有特色，在個人reward和團隊reward之間做了很好的平衡；模型會在訓(xùn)練前期重視優(yōu)化個人reward，而在訓(xùn)練后期開始注重團隊reward。最后，OpenAI大規(guī)模高性能的Rapid系統(tǒng)設(shè)計也體現(xiàn)了他們的功力，同時調(diào)度上萬的CPU和GPU資源，在自我對弈的過程中不斷變強。

如果僅僅是通過算力提升來訓(xùn)練模型，恐怕不能稱之為“里程碑”。

Metamind高級研究科學(xué)家Stephen Merity（即Smerity）在OpenAI Five的研究發(fā)布當(dāng)天，連發(fā)數(shù)條推特，高度評價了這項成果。

Smerity本身是一名DOTA的深度玩家，他從WC3時代開始并且已經(jīng)打了830小時的DOTA2，他認(rèn)為這一影響遠遠超出了DOTA本身。

這些機器人從來沒有見過傳統(tǒng)的人類策略，它們只是按照規(guī)則和目標(biāo)來玩游戲。如果有一種正和（positive sum）的方式來玩“人”的零和游戲，它一定會找到的。

我們可以預(yù)見未來社會中很多錯綜復(fù)雜的東西都沒有了，為什么呢？因為這些自主系統(tǒng)將讓我們意識到，現(xiàn)在我們的一些優(yōu)化措施實際上是不成熟的，反而讓問題變得復(fù)雜；這些系統(tǒng)還能讓我們少走很多彎路，現(xiàn)在我們都是走了彎路以后才意識到自己繞了道。

作為人類，我們還不夠聰明，無法看穿復(fù)雜和復(fù)雜交互的迷霧，但我們編寫的系統(tǒng)或許可以。它們可能幫助我們實現(xiàn)幾百年來我們一直不情愿地、迷茫地走向的目標(biāo)——協(xié)作。

OpenAI并沒有在算法上創(chuàng)新，談不上“里程碑式的成就”

倫敦大學(xué)學(xué)院（UCL）的計算機教授汪軍告訴新智元，AlphaGo之后，AI領(lǐng)域的下一大挑戰(zhàn)就是多智能體強化學(xué)習(xí)（Multi-Agent reinforcement learning，MARL），也即讓多個智能體學(xué)會合作與競爭。

DOTA、星際爭霸，還有更多人熟悉的王者榮耀，都屬于多智能體強化學(xué)習(xí)（MARL），但DOTA 5v5的設(shè)置相對更加簡單。從去年開始，汪軍在UCL的團隊與上海的一家游戲公司合作，研究如何讓AI玩王者榮耀。目前，包括DeepMind、Facebook、阿里、騰訊在內(nèi)的很多機構(gòu)，都在這些游戲上從事MARL研究，但尚未有團隊公開實質(zhì)性的突破。

OpenAI的工作讓更多學(xué)者和公眾關(guān)注MARL，這是一件好事，但如果說這是一項“里程碑式的成就”，則遠遠談不上。

汪軍說，OpenAI僅發(fā)布了blog，沒有發(fā)布學(xué)術(shù)論文，目前對其科學(xué)性還比較難以評估。但從發(fā)布的blog上看不到算法的創(chuàng)新。他們只是擴展了已有的方法，然后上了大量的計算力——整整128000 CPU和 256 GPU，這樣的硬件基礎(chǔ)設(shè)施是一般的高校所不具備的?！?/p>

“OpenAI證明了使用現(xiàn)有的算法和trick，加上強大的計算力、工程力量和足夠的耐心，是可以把這件事情做出來的。”

很可惜的是，OpenAI并沒有針對游戲中AI如何合作去明晰建模，沒有嘗試去理解AI彼此合作的機制，模型還是單獨的強化學(xué)習(xí)，把其他的英雄當(dāng)成環(huán)境的一部分，并使用普通的團隊和個體結(jié)合的獎勵機制，通過大量試錯取得了最后的結(jié)果?！爸灰凶銐蚨嗟臅r間（也就是足夠多的計算資源），你總能試出一些結(jié)果?！蓖糗娬f，因此它不太具有創(chuàng)新性。

汪軍呼吁大家重視并扶持基礎(chǔ)性的長期研究，將眼光放長遠，“多多資助我們這些搞基礎(chǔ)研究的一些GPU”，對領(lǐng)域長期健康發(fā)展做出積極貢獻。

不過，汪軍也非?？隙ˋlphaGo、OpenAI等機構(gòu)的研究對產(chǎn)業(yè)帶來的潛移默化的影響?！澳壳?，阿里巴巴、百度、滴滴、京東、華為這些公司都在嘗試把強化學(xué)習(xí)用在不同的場景，比如直接用在互聯(lián)網(wǎng)廣告、倉儲物流、自動駕駛等場景上面，這就是AlphaGo帶來的影響，大家都對強化學(xué)習(xí)非常關(guān)注?！?/p>

“據(jù)我所知，DeepMind已經(jīng)把研究的一些能量輸入到谷歌內(nèi)部中，好像我們看到DeepMind還沒有實現(xiàn)經(jīng)濟價值，其實已經(jīng)讓谷歌內(nèi)部產(chǎn)生了效率?！蓖糗娬f。