近日，知名AI專家Ilya Sutskever在硅谷園區(qū)舉行的NVIDIA年度NTECH工程座談會(huì)中暢談了最新的Dota 2賽事。該活動(dòng)吸引了數(shù)百名工程師以及上千名在線參與者，其中不乏游戲發(fā)燒友。

操作敏捷、創(chuàng)意十足、機(jī)智聰明，這些都是優(yōu)秀游戲玩家的代名詞。相比之下，機(jī)器就需要人向其傳授如何趕超人類玩家，而這些人指的就是Ilya Sutskever和他的OpenAI團(tuán)隊(duì)。

今年8月，由五個(gè)神經(jīng)網(wǎng)絡(luò)組成的OpenAI Five戰(zhàn)隊(duì)在Dota 2這個(gè)廣為流行的多人在線競(jìng)技游戲中，與全球數(shù)位頂級(jí)職業(yè)玩家對(duì)抗。

對(duì)于OpenAI Five來說，能夠參加這個(gè)游戲領(lǐng)域的專業(yè)級(jí)比賽已經(jīng)是一次飛躍。

Dota 2是一款極為復(fù)雜的游戲。為了贏得勝利，玩家可以隨意使用戰(zhàn)術(shù)，還可以自由交互。該游戲僅可見部分布局，這就要求玩家在每場(chǎng)持續(xù)45分鐘的對(duì)決中將眼前的戰(zhàn)術(shù)和長(zhǎng)遠(yuǎn)的戰(zhàn)略配合使用?！皩I(yè)玩家們將自己的生活全部都獻(xiàn)給了Dota 2，”Sutskever說道，“玩這款游戲可不是件容易的事。”

Dota 2抬高了AI參與游戲的門檻

OpenAI Five在Dota 2比賽中取得的成績(jī)標(biāo)志著人類與AI的競(jìng)技對(duì)戰(zhàn)達(dá)到了一個(gè)全新的水平。在國(guó)際象棋和圍棋這些同樣是熱門的AI挑戰(zhàn)中，其平均走法分別為35和250。而相比之下Dota 2的游戲規(guī)則則更為復(fù)雜，每步約有17萬種可能的走法，而每場(chǎng)比賽又需要走2萬步。

Sutskever表示，鑒于Dota 2的復(fù)雜性，與AI此前挑戰(zhàn)過的其他游戲相比，Dota 2更接近于現(xiàn)實(shí)世界。那么，他們是如何做到的呢？答案是大規(guī)模的增強(qiáng)學(xué)習(xí)（reinforcement learning）。

無論是對(duì)于人類還是機(jī)器而言，增強(qiáng)學(xué)習(xí)都很重要。我們?cè)谟螒蛑幸驗(yàn)槟撤N走法獲得獎(jiǎng)勵(lì)積分，或因?yàn)榱硪环N走法而功虧一簣，這些時(shí)刻都會(huì)被記錄下來，為下一輪游戲提供增強(qiáng)學(xué)習(xí)的信息。

增強(qiáng)學(xué)習(xí)對(duì)于AI的重要性在于，這是一種非常自然的方式，可以訓(xùn)練神經(jīng)網(wǎng)絡(luò)做出行動(dòng)以達(dá)成目標(biāo)，而這也是構(gòu)建智能系統(tǒng)所必須的。

OpenAI Five取得了相當(dāng)喜人的成績(jī)，這要?dú)w功于其大規(guī)模地運(yùn)用了一套可靠的增強(qiáng)學(xué)習(xí)算法（近端策略優(yōu)化），其運(yùn)行于Google云平臺(tái)中的1000個(gè)NVIDIA Tesla P100 GPU上。

從很早開始，NVIDIA就一直在為OpenAI提供支持，黃仁勛先生曾親自為其贈(zèng)送了第一臺(tái)DGX-1 AI超級(jí)計(jì)算機(jī)。

GPU挑戰(zhàn)的歷史

在利用GPU應(yīng)對(duì)AI重大挑戰(zhàn)方面，Sutskever早已輕車熟路。他是贏得著名的ImageNet競(jìng)賽的多倫多大學(xué)三位研究人員之一（其他兩位分別是Alex Krizhevsky和導(dǎo)師Geoffrey Hinton），幫助他們斬獲大獎(jiǎng)的是其所開創(chuàng)的一款基于GPU的卷積神經(jīng)網(wǎng)絡(luò)。

該網(wǎng)絡(luò)將錯(cuò)誤率猛降近50%，并因此載入史冊(cè)，開啟了當(dāng)代AI的熱潮。

這就是現(xiàn)在的AlexNet，無數(shù)深度學(xué)習(xí)模型均以此為基礎(chǔ)打造。在GTC 2018 上，黃仁勛先生提及了AlexNet對(duì)數(shù)以萬計(jì)的AI模型的影響：“神經(jīng)網(wǎng)絡(luò)正以驚人的速度增長(zhǎng)和發(fā)展?！?/p>

Sutskever表示，AI技術(shù)的飛躍與處理能力的提升密不可分。“值得一提的是，從最初的AlexNet到后來的AlphaGo Zero，計(jì)算量提升到了原來的30萬倍。僅僅五年的時(shí)間，增量可以說十分可觀。”

OpenAI的“登月”雄心

OpenAI成立于2015年，是一家非營(yíng)利性機(jī)構(gòu)，致力于通過開發(fā)和利用通用AI造福全人類。其創(chuàng)始成員包括Tesla首席執(zhí)行官Elon Musk、Y Combinator總裁Sam Altman和其他技術(shù)行業(yè)的杰出人物。為了完成該組織的使命，他們共投入了10億美元。

OpenAI的研究人員正在投身于一項(xiàng)名為Dactyl的項(xiàng)目，旨在增強(qiáng)機(jī)械手的靈活性。還有一支團(tuán)隊(duì)在研究域名隨機(jī)化（domain randomization）這一古老概念，也取得了令人矚目的成果。他們已經(jīng)能夠在模擬環(huán)境下訓(xùn)練機(jī)械手操控物體，并計(jì)劃隨后將此成果投入實(shí)際應(yīng)用。這一點(diǎn)非常重要，因?yàn)槟M是讓這些機(jī)械手獲得足夠訓(xùn)練經(jīng)驗(yàn)的唯一方式。“這種想法實(shí)施的結(jié)果非常好，”Sutskever說道。

責(zé)任編輯：彭菁