深度強化學習開發(fā)出的機器人模型通常很難應(yīng)用到真實環(huán)境中，因此機器人開發(fā)中鮮少使用該技術(shù)。然而這已經(jīng)板上釘釘了嗎？在兩天前引發(fā)人工智能界關(guān)注的 ANYmal 機器人中，其機動性和適應(yīng)性看起來絲毫不遜色于波士頓動力。其相關(guān)論文近期登上了 Science 子刊《Science Robotics》，并且明確指出使用了深度強化學習技術(shù)?；?AI 技術(shù)的成功應(yīng)用，ANYmal 在數(shù)據(jù)驅(qū)動的開發(fā)上或許會更有優(yōu)勢。

摘要：足式機器人是機器人學中最具挑戰(zhàn)性的主題之一。動物動態(tài)、敏捷的動作是無法用現(xiàn)有人為方法模仿的。一種引人注目的方法是強化學習，它只需要極少的手工設(shè)計，能夠促進控制策略的自然演化。然而，截至目前，足式機器人領(lǐng)域的強化學習研究還主要局限于模仿，只有少數(shù)相對簡單的例子被部署到真實環(huán)境系統(tǒng)中。主要原因在于，使用真實的機器人（尤其是使用帶有動態(tài)平衡系統(tǒng)的真實機器人）進行訓練既復雜又昂貴。本文介紹了一種可以在模擬中訓練神經(jīng)網(wǎng)絡(luò)策略并將其遷移到當前最先進足式機器人系統(tǒng)中的方法，因此利用了快速、自動化、成本合算的數(shù)據(jù)生成方案。該方法被應(yīng)用到 ANYmal 機器人中，這是一款中型犬大小的四足復雜機器人系統(tǒng)。利用在模擬中訓練的策略，ANYmal 獲得了之前方法無法實現(xiàn)的運動技能：它能精確、高效地服從高水平身體速度指令，奔跑速度比之前的機器人更快，甚至在復雜的環(huán)境中還能跌倒后爬起來。

圖 1：創(chuàng)建一個控制策略。第一步是確定機器人的物理參數(shù)并估計其中的不確定性。第二步是訓練一個致動器網(wǎng)絡(luò)，建模復雜的致動器/軟件動力機制。第三步是利用前兩步中得到的模型訓練一個控制策略。第四步是直接在物理系統(tǒng)中部署訓練好的策略。

結(jié)果

該視頻展示了結(jié)果和方法。

基于命令的運動

圖 2：習得運動控制器的量化評估結(jié)果。A. 發(fā)現(xiàn)的步態(tài)模式按速度指令以 1.0 m/s 的速度運行。LF 表示左前腿，RF 表示右前腿，LH 表示左后腿，RH 表示右后腿。B. 使用本文方法得到的基礎(chǔ)速度的準確率。C-E. 本文習得控制器與現(xiàn)有最佳控制器在能耗、速度誤差、扭矩大小方面的對比，給定的前進速度指令為 0.25、0.5、0.75 和 1.0 m/s。

高速運動

圖 3：對高速運動訓練策略的評估結(jié)果。A. ANYmal 的前進速度。B. 關(guān)節(jié)速度。C. 關(guān)節(jié)扭矩。D. 步態(tài)模式。

跌倒后的恢復

圖 4：在真實機器人上部署的恢復控制器。該研究學到的策略成功使機器人在 3 秒內(nèi)從隨機初始配置中恢復。

材料和方法

這一部分會詳細描述模擬環(huán)境、訓練過程和在物理環(huán)境中的部署。圖 5 是訓練方法概覽。訓練過程如下：剛體模擬器會根據(jù)關(guān)節(jié)扭矩和當前狀態(tài)輸出機器人的下一個狀態(tài)。關(guān)節(jié)速度和位置誤差會被緩存在有限時間窗口的關(guān)節(jié)狀態(tài)歷史中。由帶兩個隱藏層的 MLP 實現(xiàn)的控制策略會將當前狀態(tài)和關(guān)節(jié)狀態(tài)歷史的觀察結(jié)果映射為關(guān)節(jié)位置目標。最后，致動器網(wǎng)絡(luò)會將關(guān)節(jié)狀態(tài)歷史和關(guān)節(jié)位置目標映射為 12 個關(guān)節(jié)扭矩值，然后進入下一個訓練循環(huán)。

圖 5：模擬過程中的訓練控制策略。

建模剛體動力機制

為了在合理時間內(nèi)有效訓練復雜的策略，并將其遷移到現(xiàn)實世界，我們需要一種又快又準確的模擬平臺。開發(fā)行走機器人的最大挑戰(zhàn)之一是非連續(xù)接觸的動力機制建模。為此，研究者使用了之前工作中開發(fā)出的剛體接觸求解器 [41]。這個接觸求解器使用了一個完全遵循庫倫摩擦錐約束的硬接觸模型。這種建模技術(shù)可以準確地捕獲一系列剛體和環(huán)境進行硬接觸時的真實動力機制。該求解器能準確而快速地在臺式計算機上每秒生成模擬四足動物的 90 萬個時間步。

連接的慣性是從 CAD 模型估計出來的。研究者預期估計會達到 20% 的誤差因為沒有建模布線和電子器件。為了考慮這些建模不確定性，研究者通過隨機采樣慣性訓練了 30 種不同的 ANYmal 模型來使得策略更加穩(wěn)健。質(zhì)心位置、連接的質(zhì)量和關(guān)節(jié)位置分別通過添加從 U(?2, 2) cm、U(?15, 15)%、 U(?2, 2) cm 中采樣的噪聲進行隨機化。

建模致動器

圖 6：學得致動器模型的驗證結(jié)果。

強化學習

研究者展示了離散時間中的控制問題。在每個時間步 t，智能體獲取觀測結(jié)果 o_t ∈O，執(zhí)行動作 a_t ∈A，獲取標量獎勵 r_t ∈ ?。研究者所指獎勵和成本是可以互換的，因為成本就是負的獎勵。研究者用 O_t = 〈o_t, o_t ? 1, …, o_t ? h〉表示近期觀測結(jié)果的元組。智能體根據(jù)隨機策略 π(a_t|O_t) 選擇動作，該隨機策略是基于近期觀測結(jié)果的動作分布。其目的在于找到在無窮水平中使折扣獎勵總和最大化的策略：

其中 γ ∈ (0, 1) 是折扣因子，τ(π) 是在策略 π 下的軌跡分布（該策略和環(huán)境動態(tài)下的分布）。在研究設(shè)置中，觀測結(jié)果是評估機器人狀態(tài)的指標（向控制器提供），動作是向致動器傳達的位置命令，獎勵是指定的（以誘導感興趣的行為）。

多種強化學習算法可應(yīng)用于這個指定策略優(yōu)化問題。研究者選擇了置信域策略優(yōu)化（TRPO），該算法可在模擬中學習運動策略。它幾乎不需要調(diào)參，論文中所有學習會話都僅使用默認參數(shù)（[22, 54] 提供的參數(shù)）。研究者使用了該算法的快速自定義實現(xiàn) [55]。這一高效實現(xiàn)和快速剛體模擬 [41] 可在約 4 小時內(nèi)生成和處理 2.5 億狀態(tài)轉(zhuǎn)換。當該策略的平均性能在 300 個 TRPO 迭代中的改進沒有超過任務(wù)特定閾值時，學習會話終止。

在物理系統(tǒng)上部署

研究者用 ANYmal 機器人來展示其方法在真實環(huán)境中的適用性，如圖 1 中步驟 4 所示。ANYmal 是一種體型與狗差不多的四足機器人，重 32kg。每只足約 55 厘米長，且有三個驅(qū)動自由度，即髖部外展/內(nèi)收、髖關(guān)節(jié)屈/伸、膝關(guān)節(jié)屈/伸。

ANYmal 有 12 個 SEA。一個 SEA 由一個電動機、一個高傳動比傳動裝置、一個彈性元件和兩個旋轉(zhuǎn)編碼器組成。它可以測量彈簧偏移和輸出位置。在本文中，研究者在 ANYmal 機器人的關(guān)節(jié)級促動器模塊上使用了具有低反饋收益的關(guān)節(jié)級 PD 控制器。促動器的動態(tài)包含多個連續(xù)的組件，如下所示。首先，使用 PD 控制器將位置指令轉(zhuǎn)換成期望的扭矩。接著，使用來自期望扭矩的 PID 控制器計算期望電流。然后，用磁場定向控制器將期望電流轉(zhuǎn)換成相電壓，該控制器在變速器的輸入端產(chǎn)生扭矩。變速器的輸出端與彈性元件相連，彈性元件的偏移最終在關(guān)節(jié)處生成扭矩。這些高度復雜的動態(tài)引入了很多隱藏的內(nèi)部狀態(tài)，研究者無法直接訪問這些內(nèi)部狀態(tài)并復雜化其控制問題。

從混合模擬中為訓練策略獲得參數(shù)集后，在真實系統(tǒng)上的部署變得簡單多了。定制的 MLP 實現(xiàn)和訓練好的參數(shù)集被導到機器人的機載 PC 上。當這個網(wǎng)絡(luò)在 200Hz 時，其狀態(tài)被評估為基于命令/高速的運動，在 100Hz 時被評估為從墜落中恢復。研究者發(fā)現(xiàn)，其性能出人意料地對控制率不敏感。例如，在 20 Hz 時訓練恢復運動與在 100 Hz 時性能一致。這可能是因為翻轉(zhuǎn)行為涉及低關(guān)節(jié)速度（大部分低于 6 弧度/秒）。更動態(tài)的行為（如運動）通常需要更高的控制率才能獲得足夠的性能。實驗中使用了更高的頻率（100 Hz），因為這樣噪音更少。甚至在 100 Hz 時，對網(wǎng)絡(luò)的評估僅使用了單個 CPU 核上可用計算的 0.25 %。