對于一只自然界的動(dòng)物來說，在各種陌生環(huán)境下靈活切換相應(yīng)的運(yùn)動(dòng)技能，似乎是一種條件反射和先天本領(lǐng)，但如何讓機(jī)器人掌握這種能力，卻非常具有挑戰(zhàn)性，這也是全球機(jī)器人專家們長期探索的課題。

2020 年 12 月，一項(xiàng)由華人科學(xué)家團(tuán)隊(duì)合作完成的機(jī)器人創(chuàng)新成果，當(dāng)選為 Science Robotics 雜志的月度封面論文，研究人員來自英國愛丁堡大學(xué)先進(jìn)智能機(jī)器人實(shí)驗(yàn)室與浙江大學(xué)朱秋國教授帶領(lǐng)的機(jī)器人團(tuán)隊(duì)。

基于四足機(jī)器人，科研人員提出了一種多專家學(xué)習(xí)框架，讓機(jī)器人具備了應(yīng)對各種意外情況的自主能力，并在運(yùn)動(dòng)響應(yīng)敏捷度和靈活度方面表現(xiàn)優(yōu)異。

本項(xiàng)研究中使用的四足機(jī)器人，即是被稱為中國版波士頓動(dòng)力的 “絕影” 機(jī)器人，DeepTech 此前曾對該機(jī)器人進(jìn)行過專訪報(bào)道：《浙大機(jī)器狗 “絕影” 的逆襲，從技術(shù)上 “被虐” 到應(yīng)用上追趕｜獨(dú)家專訪》。

關(guān)于本期封面論文的算法特點(diǎn)和貢獻(xiàn)，DeepTech 聯(lián)系到論文的通訊作者李智彬進(jìn)行了一番交流。

讓機(jī)器狗“集各家之長于一身”

李智彬目前是愛丁堡大學(xué)信息學(xué)院的助理教授，領(lǐng)銜先進(jìn)智能機(jī)器人實(shí)驗(yàn)室（主頁見文末）。他的研究方向包括機(jī)器人動(dòng)態(tài)運(yùn)動(dòng)控制、實(shí)現(xiàn)（超）人類級(jí)別的機(jī)器人自主移動(dòng)、多臂協(xié)調(diào)和抓取操作等，同時(shí)在機(jī)器人硬件平臺(tái)、力和柔順控制等領(lǐng)域也有豐富經(jīng)驗(yàn)。

據(jù)他介紹，機(jī)器人在實(shí)際應(yīng)用中通常會(huì)面臨兩種挑戰(zhàn)：一是在任務(wù)層，二是在算法方面。

首先，傳統(tǒng)方法中，機(jī)器人要去執(zhí)行某種任務(wù)，需要算法工程師、程序員們對其進(jìn)行編程，一般而言都是針對某一個(gè)具體任務(wù)來編程。這種方法無疑存在短板，比如說野外救災(zāi)或是地震現(xiàn)場搜救工作中，機(jī)器人所處的環(huán)境將會(huì)非常復(fù)雜，地面可能有障礙物阻攔、崎嶇不平、打滑問題，機(jī)器人也會(huì)出現(xiàn)各種摔倒和其他意外情況。

如果出現(xiàn) 100 種或者 1000 種不同的情況，還要去執(zhí)行多項(xiàng)任務(wù)，用傳統(tǒng)方法去編程是非常難涵蓋的，其量級(jí)也不可擴(kuò)展，開發(fā)人員不可能 “先知先覺” 預(yù)先編程出所有的特定解決方案。因此，這就需要機(jī)器人在一個(gè)全新的環(huán)境下，自主決定應(yīng)該怎么去做才能完成任務(wù)。

其次，機(jī)器人遇到新的情況需要隨機(jī)應(yīng)變，靈活應(yīng)付。此前的很多研究中，幾乎都是把機(jī)器人的單項(xiàng)技能訓(xùn)練做得很好，比如走路、奔跑、故障恢復(fù)等，但在演示中，有時(shí)候還需要操作員拿著遙控器根據(jù)機(jī)器人當(dāng)時(shí)所處的情況去切換模式和操作，這讓實(shí)用性大打折扣。

而本次研究中提出的多專家系統(tǒng)，相當(dāng)于每個(gè) “專家” 都訓(xùn)練了一種基本技能，比如說走路、故障恢復(fù)、摔倒爬起等，單項(xiàng)技能學(xué)會(huì)之后，然后讓不同 “專家” 組隊(duì)一起訓(xùn)練，通過一個(gè)門控神經(jīng)網(wǎng)絡(luò)，在不同事件、不同情況下去激活調(diào)度每個(gè)專家，讓他們綜合形成不同的協(xié)調(diào)組合，進(jìn)而克服不同問題。

通過這樣的技能加持，四足機(jī)器人 “絕影” 在沒有導(dǎo)航的情況下，能自動(dòng)執(zhí)行在樓梯、礫石堆、崎嶇路面上進(jìn)行連貫的小跑、轉(zhuǎn)向，乃至在被人踹倒、被推翻的情況下也能迅速恢復(fù)正常姿態(tài)。

“最后形成的那個(gè)綜合‘專家’，相當(dāng)于是集各家之長于一身，懂得融會(huì)貫通，這就讓機(jī)器人具備了在當(dāng)時(shí)那種特定情況下所需要的技能組合，而且能夠根據(jù)不同情況千變?nèi)f化、舉一反三，去自主恢復(fù)繼續(xù)執(zhí)行任務(wù)?！崩钪潜蛘f道。

機(jī)器人摸爬滾打的能力有了怎樣的提升？請看以下效果：

8 項(xiàng)“專家技能”融會(huì)貫通，關(guān)鍵恢復(fù)能力控制在 1 秒內(nèi)

詳細(xì)來講，論文中提到的多專家學(xué)習(xí)體系結(jié)構(gòu)被命名為MELA（multi-expert learning architecture），這是一個(gè)由深度神經(jīng)網(wǎng)絡(luò)（DNN）和門控神經(jīng)網(wǎng)絡(luò)（GNN）組成的分層強(qiáng)化學(xué)習(xí)（HRL）結(jié)構(gòu)。

為了幫助解釋，研究人員定義了幾個(gè)關(guān)鍵術(shù)語：運(yùn)動(dòng)技能、專家和運(yùn)動(dòng)模式。

運(yùn)動(dòng)技能：即一種反饋策略，可以產(chǎn)生協(xié)調(diào)的動(dòng)作來完成特定類型的任務(wù)，這是構(gòu)建更復(fù)雜動(dòng)作的基礎(chǔ)；專家：具有專業(yè)運(yùn)動(dòng)技能的 DNN；運(yùn)動(dòng)模式：四肢協(xié)調(diào)運(yùn)動(dòng)的一種模式，如站立、原地轉(zhuǎn)動(dòng)、向前 / 向后小跑、左右轉(zhuǎn)向、跌倒恢復(fù)等。

圖｜不同的技能種類（來源：Science Robotics）

研究人員為機(jī)器人訓(xùn)練了 8 項(xiàng)運(yùn)動(dòng)技能，包括：（1）從背部翻身；（2）側(cè)滾；（3）身體姿勢控制；（4）站立平衡；（5）左轉(zhuǎn)；（6）右轉(zhuǎn)；（7）小步小跑；（8）大步小跑。

不同的技能需要不同的觸發(fā)方式，而把 “八技” 融會(huì)貫通是 MELA 合成可變技能和產(chǎn)生適應(yīng)性行為的基礎(chǔ)。

面對不同情況下，GNN 生成可變權(quán)重（α）來融合所有八個(gè)專家網(wǎng)絡(luò)的參數(shù)，這樣新合成的運(yùn)動(dòng)技能可以通過混合各個(gè)專家的有效技能，快速生成不同的運(yùn)動(dòng)技能，來適應(yīng)各種未知場景。

圖｜多專家學(xué)習(xí)框架 MELA 的原理（來源：Science Robotics）

實(shí)驗(yàn)結(jié)果表明，依靠 MELA 輸出的融合技能加持，“絕影” 機(jī)器人的關(guān)鍵恢復(fù)能力控制在 1 秒內(nèi)（恢復(fù)身體姿態(tài)平均 0.5s，恢復(fù)小跑模式平均 0.4s），也顯示出了在非結(jié)構(gòu)化環(huán)境下更強(qiáng)的可靠性和通障性能。

還有一個(gè)值得關(guān)注訣竅是，研究人員從生物運(yùn)動(dòng)控制中汲取了靈感，這讓運(yùn)動(dòng)控制和學(xué)習(xí)框架更加貼近真實(shí)的四足動(dòng)物。

例如，動(dòng)物的運(yùn)動(dòng)行為都是受中樞神經(jīng)系統(tǒng)控制的，中樞神經(jīng)系統(tǒng)會(huì)重新設(shè)置身體關(guān)節(jié)的參考位置，根據(jù)參考位置與實(shí)際位置之間的差異，激發(fā)肌肉活動(dòng)以產(chǎn)生適當(dāng)?shù)牧M(jìn)行姿態(tài)調(diào)整。

由于阻抗控制提供的彈簧阻尼特性類似于生物肌肉的彈性，因此研究團(tuán)隊(duì)?wèi)?yīng)用了平衡點(diǎn)（EP）控制假設(shè)，通過調(diào)控平衡點(diǎn)來生成關(guān)節(jié)扭矩。

受肌肉系統(tǒng)的生物力學(xué)控制和 EP 假設(shè)的啟發(fā)，研究人員其實(shí)將機(jī)器人控制分為了兩層：在底層，團(tuán)隊(duì)使用扭矩控制為機(jī)器人配置關(guān)節(jié)阻抗模式；在頂層，指定深度神經(jīng)網(wǎng)絡(luò)（DNN）為所有關(guān)節(jié)產(chǎn)生設(shè)定平衡點(diǎn)，以調(diào)節(jié)姿勢和關(guān)節(jié)扭矩，建立與環(huán)境的力相互作用，在這樣的基礎(chǔ)上，MELA 可輸出更加貼近真實(shí)四足動(dòng)物的運(yùn)動(dòng)策略。

下一步，仍需更多跨界合作

“這樣的多專家系統(tǒng)、多技能融合框架，讓機(jī)器人可以自主切換運(yùn)動(dòng)策略、自己去適應(yīng)環(huán)境，在足式機(jī)器人上算是第一次應(yīng)用，這也是為什么這項(xiàng)成果能被 Science Robotics 評為封面，至少它實(shí)現(xiàn)了一種質(zhì)的突破，較此前研究形成了一個(gè)代差?！?李智彬表示。

據(jù)了解，這種多專家融合技能的思路，也能夠延伸到其他機(jī)器人平臺(tái)上。包括各類四足、雙足機(jī)器人，以及輪式的、履帶式的機(jī)器人，乃至在機(jī)器人進(jìn)行抓取操作上也可以應(yīng)用。機(jī)器抓取不同的東西的策略是不一樣的，本質(zhì)也就是不同專家的技能延展，無論是抓紙張、書本、杯子，還是光溜溜的肥皂、球體、軟硬不同的物體等，其實(shí)都需要不同的專家技能策略。

關(guān)于進(jìn)一步改進(jìn)和提升的空間，他表示，仍需要和圈內(nèi)更多優(yōu)秀團(tuán)隊(duì)一起合作探索，才能不斷突破，未來的研究可以集成視覺、觸覺傳感等，以開發(fā)多感知型運(yùn)動(dòng)技能。

例如，對于機(jī)器人本身而言，現(xiàn)在普遍還缺少一種 “電子皮膚”。

目前機(jī)器人機(jī)載的傳感器對各種情況判斷，很大程度上都要通過大量的訓(xùn)練經(jīng)驗(yàn)積攢起來，由于機(jī)載傳感器有限，很多經(jīng)驗(yàn)只是統(tǒng)計(jì)學(xué)上來講是對的，但它針對某個(gè)特殊情況卻不一定是最好的，只能說有較高的成功率。

但在自然界的生物中，小到毛毛蟲、蠕蟲，大到各類動(dòng)物、人類全都是有皮膚的，如果機(jī)器人在廢墟現(xiàn)場要鉆進(jìn)去一個(gè)洞，進(jìn)去之后身邊的環(huán)境是怎樣的，怎么通過，障礙物與機(jī)身表面是怎么接觸的，如此復(fù)雜的環(huán)境下現(xiàn)有的傳統(tǒng)傳感器就不夠用了，需要 “電子皮膚” 更加精細(xì)化地感知區(qū)分。

另一方面，機(jī)器人對外部的感知理解能力仍然有待提高。

比如一個(gè)霧蒙蒙的環(huán)境，是因?yàn)橛徐F，還是因?yàn)槿紵鸬臒煟瑔渭冇?a href="http://www.socialnewsupdate.com/v/tag/3744/" target="_blank">計(jì)算機(jī)視覺來看，不一定能區(qū)分清楚；再比如機(jī)器人從室內(nèi)走到室外，外面是一個(gè)零下的無雪環(huán)境，在機(jī)器視覺看來地面可能與平常無異，雷達(dá)也探測不到障礙物，但這種情況下人類走路、開車會(huì)下意識(shí)地注意路面可能會(huì)打滑，機(jī)器人卻還不能意識(shí)到這點(diǎn)調(diào)整策略，這些 “非接觸式” 的外部傳感包括輻射、溫度、氣體檢測等也都非常關(guān)鍵。

“目前這項(xiàng)研究背后只有兩個(gè)專家團(tuán)隊(duì)，但機(jī)器人研究不能閉門造車。就像機(jī)器人現(xiàn)在都具備了多專家能力一樣，我們非常歡迎和更多跨學(xué)科、跨領(lǐng)域的團(tuán)隊(duì)一起合作，碰撞出更多創(chuàng)新想法和可能性?！?李智彬最后說道。

原文標(biāo)題：被踹翻后秒速爬起！浙大機(jī)器狗“絕影”展現(xiàn)新絕技，在陌生環(huán)境下八技合一、隨機(jī)應(yīng)變 | 專訪

文章出處：【微信公眾號(hào)：DeepTech深科技】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq