當(dāng)OpenAI's Universe（Universe）出現(xiàn)后，很多文章都在鼓吹大量的游戲（甚至GTA5）已經(jīng)做好了迎接AI時代的準(zhǔn)備。我當(dāng)時躍躍欲試，然而GTA5最終被神神秘秘的清除出Universe，連個解釋都沒有。

后來我短暫的放棄了這個念頭，但偶爾想起來依然有點抑制不住的小激動。所以我還是決定在這件事情上多花點功夫，同時好好思考這件事情到底是不是非得用OpenAI不可。OpenAI的好處在于針對一些簡單的游戲項目可以實現(xiàn)每分鐘上千次的迭代訓(xùn)練，但是GTA5這種游戲嘛，情況就不一樣了。

我們來說一下為什么選擇GTA5。至少對我來說，GTA5是一個有無數(shù)理由讓我去進行練習(xí)的絕佳環(huán)境。在這個開放世界里你幾乎沒有不能做的事情——舉一個最簡單的例子：自動駕駛汽車。在游戲中，我們可以用MOD控制時間、天氣、交通、速度、遇到的緊急狀況等等等等。這是個完全的、可以量身訂制（有時需要MOD）的世界。

我的教程有時候經(jīng)過充足的計劃、有些計劃過一點、有的完全沒有計劃過。這個項目就是完全沒有計劃的教程之一。我知道不是所有人都有GTA5，不過我想你可以使用其他類似的游戲來和我一起學(xué)習(xí)這個項目——我們有很多游戲都可以拿來使用。（如果使用其他游戲）你需要對某些部分進行調(diào)整以使其正常運行，所以你可能得有點基礎(chǔ)才行。

我的初步目標(biāo)是創(chuàng)造一個自動駕駛汽車，所以任何一個有公路和汽車的游戲都可以拿來用。我用來接入游戲的方法幾乎可以在其他所有游戲中也使用，如果你選擇了更簡單的游戲，那就省事多了。因為GTA5的高度擬真，陽光會讓電腦識別變得更加具有挑戰(zhàn)性。

我可能也會嘗試其他游戲——因為我相信我們可以通過簡單示范來教AI怎么玩。通過卷積神經(jīng)網(wǎng)絡(luò)處理信息，然后讓AI進行練習(xí)就行。

我的初步判斷是：

盡管Python并沒有現(xiàn)成的庫可用，不過1.我們可以讀取屏幕圖像2.我們可以模擬按鍵

這兩項足夠我們處理常規(guī)事務(wù)，不過對于深度學(xué)習(xí)來說，我們可能還想要記錄游戲世界的進程。好在現(xiàn)在的大部分游戲已經(jīng)完全可視化，這已經(jīng)不再是個難題，我們可以通過追蹤鼠標(biāo)和按鍵，這一切都為深度學(xué)習(xí)提供了條件。

我猜這一路不會一帆風(fēng)順，但至少會很有趣。我的擔(dān)憂主要集中在項目推進的速度上。我們可以做，最少是值得做。

總而言之，這是一個大項目，如果我們不拆分來做，顯然就超綱了。所以我們來一點一點的嘗試，第一步的目標(biāo)是：

找個像樣的FPS工具以訪問游戲畫面，能用就行的那種。我們的要求是能看就行。

確保鍵盤輸入的指令可用。我覺得這很簡單，但是必須得試試才知道。

嘗試手柄輸入。特別是轉(zhuǎn)向、剎車等操作。

嘗試使用OpenCV。希望不會遇到大問題。

在簡單的道路環(huán)境下實現(xiàn)自動駕駛。

好了，第一步，我們?nèi)绾螌崿F(xiàn)讀取屏幕畫面？我一直在想可以做，但還真沒想過怎么做。所以，Google！我找到不少案例，不過大部分都不能用，只有這個還算可以：Screen Capture with OpenCV and Python-2.7。

注意：導(dǎo)入的時候似乎有點錯誤，ImageGrab是PIL的一部分。

果然出錯了，我們改一下：

什么鬼？dtype明顯應(yīng)該是字符串，而不是什么沒定義的變量名。這哥們寫完代碼到底運行了沒？

這回終于正常了。不過這段代碼太長，而且太慢。改一下吧。

這個看著還不錯，就是太慢了，每秒大概只能有個2-3幀的樣子。再改一下試試。

還是2-3幀。所以問題不是出在imshow函數(shù)上。

好了，現(xiàn)在的成績是：

loop took 0.05849909782409668 secondsloop took 0.044053077697753906 secondsloop took 0.04760456085205078 secondsloop took 0.04805493354797363 secondsloop took 0.05989837646484375 seconds

我們還需要一個numpy數(shù)組給OpenCV的imshow函數(shù)使用。相對于重新編寫.getdata，我還是選擇把ImageGrab.grab(bbox=(0,40,800,640))轉(zhuǎn)化為numpy數(shù)組。重寫是沒必要的。

做了這么多事，現(xiàn)在大概有個每秒12-13幀的樣子。這個成績不算好，但是夠用了。