疊疊樂是一款家喻戶曉的娛樂游戲。近期，MIT的研究人員發(fā)明了一款機(jī)器手，可以通過視覺和觸覺，毫無壓力的玩轉(zhuǎn)這款游戲。而這項(xiàng)研究的方法，有望推廣到其它類似任務(wù)的領(lǐng)域中。

在MIT3號樓的地下室，一個機(jī)器人正在小心翼翼的玩著“層層疊”游戲。

這個游戲想必大家或多或少都有所接觸。簡單來說就是在保證積木不倒的情況下，從底部抽取木條，再堆到頂部。會有一種“釜底抽薪”的感覺。

而這個游戲?qū)τ谶@個機(jī)器人來說可以說是毫無壓力。

從視覺、觸覺出發(fā)，快速學(xué)習(xí)執(zhí)行任務(wù)最佳方式

該機(jī)器人由MIT的工程師開發(fā)，配備了一個軟齒狀夾持器、一個力感應(yīng)腕帶和一個外部攝像頭?？梢哉f是從視覺和觸覺兩個方面協(xié)同合作來完成任務(wù)。

當(dāng)機(jī)器人小心地推一塊積木時，電腦從它的攝像頭和腕帶接收視覺和觸覺的反饋，并將這些測量值與機(jī)器人之前的動作進(jìn)行比較。

它還考慮了這些移動的結(jié)果——具體來說，就是考慮是否成功地提取了具有特定配置并以一定力量推動的積木。在實(shí)時情況下，機(jī)器人會“學(xué)習(xí)”是繼續(xù)推還是移動到一個新的區(qū)域，以防止積木倒塌。

MIT機(jī)械工程系理教授Alberto Rodriguez表示，機(jī)器人展示了以前系統(tǒng)中難以實(shí)現(xiàn)的一些東西：能夠快速學(xué)習(xí)執(zhí)行任務(wù)的最佳方式，不僅從視覺方面，還從觸覺方面做到物體的精確互動。

Rodriguez說：“與國際象棋或圍棋等純粹的認(rèn)知任務(wù)或游戲不同，玩“層層疊這個游戲還需要掌握探測、推、拉、放置和對齊等技能。它需要互動的感知和操作，你必須去觸摸積木塔，學(xué)習(xí)如何以及何時移動積木。這是很難模擬的，所以機(jī)器人必須在現(xiàn)實(shí)世界中學(xué)習(xí)，通過與真實(shí)的積木塔進(jìn)行互動。關(guān)鍵的挑戰(zhàn)是通過利用關(guān)于物體和物理的常識來從相對少量的實(shí)驗(yàn)中學(xué)習(xí)?！?/p>

Rodriguez還表示，研究人員開發(fā)的觸覺學(xué)習(xí)系統(tǒng)可以應(yīng)用于層層疊以外的領(lǐng)域，特別是需要仔細(xì)進(jìn)行物理交互的任務(wù)，包括從垃圾填埋場中分離可回收物品和組裝消費(fèi)品。

推、拉動作以及堆疊積木是關(guān)鍵

推、拉

在這個實(shí)驗(yàn)中， 54個矩形塊被堆疊成18層，每層三塊，每層中的塊垂直于下面的塊。

游戲的目的是小心地提取一個塊并將其放置在塔頂，從而建立一個新的水平，而不是推翻整個結(jié)構(gòu)。

為了讓機(jī)器人來玩層層疊，傳統(tǒng)的機(jī)器學(xué)習(xí)方案可能需要捕獲積木、機(jī)器人和塔之間可能發(fā)生的所有事情，但這是一項(xiàng)昂貴的計(jì)算任務(wù)，需要數(shù)千甚至數(shù)萬次積木提取嘗試的數(shù)據(jù)。

相反，Rodriguez和他的同事們受人類認(rèn)知和我們自己玩游戲的方式的啟發(fā)，為機(jī)器人學(xué)習(xí)玩層層疊尋找了一種更有效的數(shù)據(jù)方式。

該團(tuán)隊(duì)定制了一個符合行業(yè)標(biāo)準(zhǔn)的ABB IRB 120機(jī)器人手臂，然后在機(jī)器人范圍內(nèi)設(shè)置了一個積木塔，并開始了一個訓(xùn)練期，其中機(jī)器人首先選擇一個隨機(jī)區(qū)塊和一個位于該區(qū)域上的位置以進(jìn)行推動。 然后它施加少量的力以試圖將塊推出塔外。

對于每次嘗試，計(jì)算機(jī)記錄相關(guān)的視覺和力測量，并標(biāo)記每個嘗試是否成功。

該機(jī)器人不是進(jìn)行數(shù)萬次這樣的嘗試，而是在大約300次嘗試中進(jìn)行訓(xùn)練，嘗試進(jìn)行類似的測量，并將結(jié)果分組，代表特定的行為。

例如，一個數(shù)據(jù)集群可能代表對難以移動的塊的嘗試，而不是一個更容易移動的塊，或者在移動時推翻了塔。 對于每個數(shù)據(jù)集群，機(jī)器人開發(fā)了一個簡單的模型，以根據(jù)當(dāng)前的視覺和觸覺測量來預(yù)測塊的行為。

這種聚類技術(shù)大大提高了機(jī)器人學(xué)習(xí)玩游戲的效率。

堆疊

研究人員在使用模擬器MuJoCo進(jìn)行的游戲計(jì)算機(jī)模擬中，將他們的方法與其他最先進(jìn)的機(jī)器學(xué)習(xí)算法進(jìn)行了對比。在模擬器中獲得的經(jīng)驗(yàn)告訴研究人員機(jī)器人在現(xiàn)實(shí)世界中學(xué)習(xí)的方式。

論文作者Oller說：“我們?yōu)檫@些算法提供了我們系統(tǒng)獲得的相同信息，以了解他們?nèi)绾螌W(xué)習(xí)、如何在相似的水平上玩層層疊。與我們的方法相比，這些算法需要探索數(shù)量級更多的塔來學(xué)習(xí)游戲。”

由于好奇他們的機(jī)器學(xué)習(xí)方法與真正的人類玩家相比如何，該團(tuán)隊(duì)在幾個志愿者中進(jìn)行了一些非正式的試驗(yàn)。

Oller說：“我們觀察了人類在積木塔倒塌之前能夠提取積木的個數(shù)，結(jié)果差別并沒有那么大。”

但如果研究人員想讓他們的機(jī)器人與人類玩家競爭，還有很長的路要走。除了物理上的交互作用，Jenga還需要一些策略，例如只提取正確的塊，這將使得對手很難在不推翻塔的情況下拉出下一個積木塊。

目前，該團(tuán)隊(duì)對開發(fā)機(jī)器人來取得層層疊游戲冠軍并不感興趣，而更關(guān)注于將機(jī)器人的新技能應(yīng)用到其他應(yīng)用領(lǐng)域。

Rodriguez說：“有很多我們用手做的事情，感覺‘正確的方式’來自于力量和觸覺暗示的語言。對于這樣的任務(wù)，類似于我們的方法可以解決這個問題?！?/p>

這篇論文發(fā)表在Science子刊——Robotics，有興趣的讀者可以復(fù)制下方鏈接閱讀全文。