麻省理工學(xué)院的研究人員已經(jīng)匯編了一個(gè)數(shù)據(jù)集，該數(shù)據(jù)集捕獲了物理上推動(dòng)數(shù)百個(gè)不同對(duì)象的機(jī)器人系統(tǒng)的詳細(xì)行為。研究人員可以使用數(shù)據(jù)集（同類中規(guī)模最大，種類最多的）訓(xùn)練機(jī)器人，以“學(xué)習(xí)”推動(dòng)動(dòng)力學(xué)，這對(duì)于許多復(fù)雜的對(duì)象操縱任務(wù)都是至關(guān)重要的，包括重新定向和檢查對(duì)象以及整潔的場(chǎng)景。

為了捕獲數(shù)據(jù)，研究人員設(shè)計(jì)了一個(gè)自動(dòng)化系統(tǒng)，該系統(tǒng)包括具有精確控制的工業(yè)機(jī)械手，3D運(yùn)動(dòng)跟蹤系統(tǒng)，深度和傳統(tǒng)相機(jī)以及將所有東西縫合在一起的軟件。手臂推著模塊化的物體，可以調(diào)整它們的重量，形狀和質(zhì)量分布。對(duì)于每次推動(dòng)，系統(tǒng)都會(huì)捕獲這些特征如何影響機(jī)器人的推動(dòng)。

名為“ Omnipush”的數(shù)據(jù)集包含250個(gè)對(duì)象的250個(gè)不同的推送，總計(jì)大約62，500次唯一推送。例如，研究人員已經(jīng)在使用它來構(gòu)建模型，以幫助機(jī)器人預(yù)測(cè)物體在被推動(dòng)時(shí)會(huì)降落在何處。

這一篇描述Omnipush的論文的作者，機(jī)械工程系（MechE）的研究生Maria Bauza說：“我們需要大量豐富的數(shù)據(jù)來確保我們的機(jī)器人能夠?qū)W習(xí)?！?智能機(jī)器人和系統(tǒng)?！霸谶@里，我們正在從真實(shí)的機(jī)器人系統(tǒng)中收集數(shù)據(jù)，并且對(duì)象足夠多以捕獲豐富的推動(dòng)現(xiàn)象。這對(duì)于幫助機(jī)器人理解推動(dòng)的工作原理并將該信息轉(zhuǎn)換為其他類似現(xiàn)實(shí)世界中物體的信息非常重要。”

加入Bauza的論文包括：計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室和電氣工程與計(jì)算機(jī)科學(xué)系（EECS）的研究生Ferran Alet和Lin Yen-Chen Lin；工程學(xué)院卓越教學(xué)教授Tomas Lozano-Perez；Leslie P. Kaelbling，松下計(jì)算機(jī)科學(xué)與工程系教授；EECS助理教授Phillip Isola；以及MechE副教授Alberto Rodriguez。

多樣化的數(shù)據(jù)

為什么要專注于推動(dòng)行為？Rodriguez解釋說，建模涉及物體和表面之間摩擦的推動(dòng)動(dòng)力學(xué)，對(duì)于更高級(jí)別的機(jī)器人任務(wù)至關(guān)重要?？紤]一下可以玩Jenga的視覺和技術(shù)上令人印象深刻的機(jī)器人，這是Rodriguez最近合作設(shè)計(jì)的。羅德里格斯說：“機(jī)器人正在執(zhí)行一項(xiàng)復(fù)雜的任務(wù)，但驅(qū)動(dòng)該任務(wù)機(jī)制的核心仍然是推動(dòng)受例如塊之間的摩擦影響的物體?！?/p>

Omnipush建立在Rodriguez，Bauza和其他研究人員在操縱與機(jī)制實(shí)驗(yàn)室（MCube）中建立的類似數(shù)據(jù)集的基礎(chǔ)上，該數(shù)據(jù)集僅捕獲了10個(gè)對(duì)象上的推入數(shù)據(jù)。在2016年將數(shù)據(jù)集公開后，他們收集了研究人員的反饋。其中一個(gè)抱怨是認(rèn)為缺乏對(duì)象多樣性：在數(shù)據(jù)集上受過訓(xùn)練的機(jī)器人努力地將信息推廣到新的對(duì)象上，而且也沒有視頻記錄，圖像對(duì)于計(jì)算機(jī)視覺，視頻預(yù)測(cè)和其他任務(wù)很重要。

因此如今，對(duì)于他們的新數(shù)據(jù)集，研究人員利用工業(yè)機(jī)器人手臂精確控制推進(jìn)器（基本上是垂直鋼棒）的速度和位置。當(dāng)手臂推動(dòng)物體時(shí)，他們用已在電影，虛擬現(xiàn)實(shí)以及研究中使用的“ Vicon”運(yùn)動(dòng)跟蹤系統(tǒng)跟隨物體，還有一個(gè)RGB-D攝像機(jī)，可將深度信息添加到捕獲的視頻中。

研究的關(guān)鍵是構(gòu)建模塊化對(duì)象。由鋁制成的均勻的中央部件看起來像四角星，重約100克，每個(gè)中心部分的中心和點(diǎn)都包含標(biāo)記，因此Vicon系統(tǒng)可以在1毫米內(nèi)檢測(cè)到其姿勢(shì)。

四個(gè)形狀（凹形，三角形，矩形和圓形）的較小塊可以磁連接到中心塊的任何一側(cè)。每塊重量在31到94克之間，但是額外的重量（從60到150克不等）可以掉入這些塊的小孔中。所有類似拼圖的物體在水平和垂直方向都對(duì)齊，這有助于模擬形狀和質(zhì)量分布相同的單個(gè)物體的摩擦。不同側(cè)面，重量和質(zhì)量分布的所有組合增加了250個(gè)唯一對(duì)象。

每次推動(dòng)時(shí)，手臂會(huì)自動(dòng)移動(dòng)到距對(duì)象幾厘米的隨機(jī)位置。然后，它選擇一個(gè)隨機(jī)方向并將對(duì)象推一秒鐘。從停止的地方開始，然后選擇另一個(gè)隨機(jī)方向，并重復(fù)該過程250次。每次推送都會(huì)記錄對(duì)象和RGB-D視頻的姿勢(shì)，這些姿勢(shì)可用于各種視頻預(yù)測(cè)目的。每天花費(fèi)12個(gè)小時(shí)來收集數(shù)據(jù)，耗時(shí)兩個(gè)星期，總計(jì)超過150個(gè)小時(shí)。僅在手動(dòng)重新配置對(duì)象時(shí)才需要人工干預(yù)。

這些對(duì)象并沒有專門模仿任何現(xiàn)實(shí)生活中的物品。取而代之的是，它們旨在捕獲現(xiàn)實(shí)世界對(duì)象的“運(yùn)動(dòng)學(xué)”和“質(zhì)量非對(duì)稱性”的多樣性，從而對(duì)現(xiàn)實(shí)世界對(duì)象的運(yùn)動(dòng)進(jìn)行建模。然后，機(jī)器人可以將質(zhì)量分布不均勻的Omnipush對(duì)象的物理模型外推到重量分布不均相似的任何現(xiàn)實(shí)世界對(duì)象。

“想象一下用四只腿推動(dòng)桌子，其中最大的重量超過了一只腿。當(dāng)您推動(dòng)桌子時(shí)，您會(huì)看到它在沉重的腿上旋轉(zhuǎn)，必須重新調(diào)整。了解這種質(zhì)量分布及其對(duì)結(jié)果的影響推動(dòng)力是機(jī)器人可以用這組對(duì)象學(xué)習(xí)的東西?！?Rodriguez說。

推動(dòng)新研究

在一個(gè)實(shí)驗(yàn)中，研究人員使用Omnipush訓(xùn)練了一個(gè)模型，以預(yù)測(cè)被推物體的最終姿勢(shì)，只給出推入的初始姿勢(shì)和描述。他們?cè)?50個(gè)Omnipush物體上訓(xùn)練了模型，并在物體伸出的部分上對(duì)其進(jìn)行了測(cè)試。結(jié)果表明，經(jīng)Omnipush訓(xùn)練的模型的準(zhǔn)確度是在一些相似數(shù)據(jù)集上訓(xùn)練的模型的兩倍。在他們的論文中，研究人員還記錄了其他研究人員可以用來比較的準(zhǔn)確性基準(zhǔn)。

由于Omnipush會(huì)捕獲推送的視頻，因此一種潛在的應(yīng)用是視頻預(yù)測(cè)。例如，一個(gè)合作者現(xiàn)在正在使用數(shù)據(jù)集來訓(xùn)練機(jī)器人以實(shí)質(zhì)上“想象”在兩點(diǎn)之間的推動(dòng)物體。在Omnipush上進(jìn)行訓(xùn)練后，將為機(jī)器人提供兩個(gè)視頻幀作為輸入，以顯示其開始位置和結(jié)束位置的對(duì)象。機(jī)器人使用起始位置來預(yù)測(cè)所有未來的視頻幀，以確保對(duì)象到達(dá)其結(jié)束位置。然后，它以與每個(gè)預(yù)測(cè)視頻幀匹配的方式推動(dòng)對(duì)象，直到到達(dá)具有結(jié)束位置的幀。

“機(jī)器人會(huì)根據(jù)實(shí)際情況問，“如果我執(zhí)行此操作，對(duì)象將在此幀中的什么位置？”然后，它選擇的操作將最大化使對(duì)象到達(dá)所需位置的可能性，”鮑薩說?！八ㄟ^首先想象圖像在按下后如何改變像素來決定如何移動(dòng)對(duì)象?！?/p>

卡內(nèi)基梅隆大學(xué)計(jì)算機(jī)科學(xué)與機(jī)器人學(xué)教授Matthew T. Mason表示：“ Omnipush包括對(duì)象運(yùn)動(dòng)的精確測(cè)量以及視覺數(shù)據(jù)，用于機(jī)器人與對(duì)象之間的重要相互作用?！?“機(jī)器人研究人員可以使用這些數(shù)據(jù)來開發(fā)和測(cè)試新的機(jī)器人學(xué)習(xí)方法……這將推動(dòng)機(jī)器人操縱技術(shù)的不斷發(fā)展?！?br /> 編輯：lyn