機械臂抓取擺放及堆疊物體是智能工廠流水線上常見的工序，可以有效的提升生產(chǎn)效率，本文針對機械臂的抓取擺放、抓取堆疊等常見任務(wù)，結(jié)合深度強化學習及視覺反饋，采用AprilTag視覺標簽、后視經(jīng)驗回放機制

實現(xiàn)了稀疏獎勵下的機械臂的抓取任務(wù)，并針對本文的抓取場景提出了結(jié)合深度確定性策略梯度及后視經(jīng)驗回放的分段學習的算法，相比于傳統(tǒng)控制算法，強化學習提高了抓取的準確度及穩(wěn)定性，在仿真與實際系統(tǒng)中驗證了效果。

一.仿真與物理環(huán)境搭建

本文采用大象機器人的6自由度的串聯(lián)型機械手臂myCobot Pro-600，根據(jù)myCobot Pro-600的機械結(jié)構(gòu)，采用標準D-H參數(shù)法建立機械臂連桿坐標系，如圖所示：

根據(jù)上圖建立的機械臂連桿坐標系，得到D-H參數(shù)表：

根據(jù)模型參數(shù)，使用Pybullet搭建抓取擺放任務(wù)仿真環(huán)境如下：

在抓取擺放任務(wù)中，機械臂要實現(xiàn)的就是抓取紫色的物塊，并穩(wěn)定的放置在綠色的目標點處

仿真環(huán)境的狀態(tài)、目標、獎賞和動作的設(shè)置如下：

(1) 狀態(tài)(States)：包括機械臂的末端位置、姿態(tài)；待抓取物塊位置、姿態(tài)（紫色長方體）；目標點位置。

注：仿真環(huán)境中為了減輕算力，沒有使用AprilTag進行姿態(tài)解算，實物中使用AprilTag來定位待抓取物塊位置。

(2) 目標(Goals)（綠色圓錐區(qū)域）：目標描述了目標的期望位置，具有一定固定的容差，也就是在這個公式中,表示物體在狀態(tài)s時的位置。

(3) 獎賞(Rewards)：獎賞是二進制值，即稀疏獎賞，通過其中是機械臂在狀態(tài)s下執(zhí)行動作a后的狀態(tài)。

(4) 動作(Actions)：X（前后），Y（左右），（夾爪旋轉(zhuǎn)）方向的運動速度。Z（高度)由時間步控制。

二.基于DDPG與HER的機械臂搬運任務(wù)分段學習算法

DeepMind在2016年提出深度確定性策略梯度（Deep Deterministic Policy Gradient，DDPG）算法，是結(jié)合了深度學習和確定性策略梯度方法的一種算法

DDPG在具有連續(xù)動作空間的決策任務(wù)中已經(jīng)成功應用，但是對于一些復雜的技能學習任務(wù)，不能設(shè)計合適的獎勵函數(shù)，所以不能得到較好的學習效果。

然而，將DDPG和HER結(jié)合，可以解決稀疏獎勵的不可學習問題。

HER只通過改變經(jīng)驗池中數(shù)據(jù)的狀態(tài)和獎勵，增大正向獎勵的密度，利用DDPG的主策略網(wǎng)絡(luò)采集完軌跡數(shù)據(jù)，再將軌跡數(shù)據(jù)重組為經(jīng)驗形式的數(shù)據(jù)，利用目標選擇策略修改其中的狀態(tài)和獎勵，最后將經(jīng)驗存放在經(jīng)驗池中。

在實際應用中，為了減少內(nèi)存需求，則HER的實施方式也不同，經(jīng)驗池中一般存放的是軌跡，只有再采集小批量數(shù)據(jù)更新網(wǎng)絡(luò)或者歸一化器時才使用目標選擇策略。

在抓取任務(wù)中，開始時DDPG算法在動作空間隨機采樣運動，由于獎勵的稀疏，在多次探索后可能仍然無法獲得獎勵，而HER加入后，在已經(jīng)探索的軌跡中加入虛擬獎勵，刺激價值函數(shù)的增長，以加速強化學習的學習速率。

針對抓取任務(wù)，本文采用分段學習的技巧，第一階段為接近物塊階段，第二階段為物塊搬運階段，有效的消除了傳統(tǒng)HER算法對不需要獎勵的步數(shù)的替換，從而加速了學習過程。

結(jié)合HER的DDPG算法的偽代碼如圖所示：

由于抓取擺放任務(wù)的獎勵稀疏性與任務(wù)的層次性，使用傳統(tǒng)的DDPG+HER算法會引起重疊虛假獎勵(OSR)問題

如下圖所示，具體來說當HER算法將目標位置虛擬到與物塊位置相同給與虛擬獎勵時，會引起強化學習抓取而不搬運的錯誤學習，這會嚴重影響學習過程的穩(wěn)定性，導致價值網(wǎng)絡(luò)不穩(wěn)定甚至無法收斂。

為了解決此問題，本文提出了針對抓取擺放等分層任務(wù)的分段學習算法。

分段學習是指通過將問題分解成多個子問題，并針對每個子問題獨立地解決，從而提高了算法的效率和魯棒性。分段學習是將原問題分解成若干個子問題，每個子問題對應一個狀態(tài)空間和一個動作空間。

然后，針對每個子問題，使用強化學習算法進行學習和探索，以得到最優(yōu)的策略。

最后，將所有子問題的策略組合起來，得到解決原問題的最優(yōu)策略。分段學習算法的優(yōu)點在于，它可以針對復雜的大規(guī)模問題進行分解，從而使得每個子問題的狀態(tài)空間和動作空間更小，更易于學習和探索。

此外，由于子問題之間是獨立的，因此分段學習算法具有很好的可擴展性和可并行性。

針對抓取擺放任務(wù)，利用分段學習將任務(wù)分為抓取階段與擺放階段，下圖為抓取擺放任務(wù)分段學習過程示意圖，抓取階段與擺放階段各自采用DDPG+HER進行訓練，抓取階段以抓取到物塊作為獎勵

擺放階段以正確擺放作為獎勵，最終得到抓取決策1與擺放決策2，使用機械爪是否抓取到物塊作為策略的切換標志，最終完成了機械臂靠近物塊（決策1），機械爪夾取物塊，機械臂擺放物塊（決策2)的任務(wù)。

三.基于AprilTag的視覺識別與定位

AprilTag是一個基準視覺庫，通過在物體上粘貼Apriltag標簽，利用識別算法，確定標簽坐標系和攝像頭坐標系的關(guān)系，即可得到物體的位姿，在增強實現(xiàn)、機器人和相機校準等領(lǐng)域廣泛使用。

AprilTag視覺標簽與二維碼有相似之處，但是降低了視覺標簽的復雜度，抗光和抗遮擋性能比較好，能夠快速的檢測視覺標簽信息，并計算相機與標識碼之間的相對位置。

AprilTag的特點是高速、高精度、高穩(wěn)定性。它的高速性表現(xiàn)在在實時應用中，AprilTag可以快速地識別目標，并輸出其位姿信息，響應速度可以達到幾十毫秒。

常用的AprilTag視覺標簽有以下幾個族：Tag16h5、Tag25h9和Tag36h11，如下所示。

從圖中，我們可以看到Tag16h5族的數(shù)量相對比較少，當處于光照較強的環(huán)境中或者被遮擋時容易被誤識別，但在遠距離定位中有較高的精度。

Tag36h11與Tag16h5對比，其族數(shù)量較多，應用在復雜環(huán)境時魯棒性較強，但是在遠距離定位中精度較低。

這里通過AprilTagROS庫來進行定位與目標姿態(tài)解算

通過深度相機經(jīng)過目標物塊Tag的檢測與世界坐標系下的映射，可以得出待抓取物塊的位置坐標和姿態(tài)信息，此時將該目標位姿作為所提決策算法的輸入

經(jīng)過機械臂板載計算機的計算輸出各關(guān)節(jié)動作，該動作經(jīng)過機械臂逆運動學的解算映射成機械臂末端位置到達目標物塊位置實現(xiàn)一次的抓取動作

在運行該決策流程時，目標位置可隨時變化，深度相機再次解算目標物塊變化之后的位姿并輸入給決策算法，如此循環(huán)，直到終止程序。視覺反饋系統(tǒng)工作流程圖如下所示。

四.機械臂抓取仿真與物理實驗

仿真實驗

在仿真中采用結(jié)合HER的DDPG算法，其網(wǎng)絡(luò)設(shè)計如下。DDPG有策略網(wǎng)絡(luò)和值網(wǎng)絡(luò)兩種。

策略網(wǎng)絡(luò)是以輸入作為狀態(tài)，輸出作為動作；而值網(wǎng)絡(luò)的輸入是狀態(tài)-動作對，輸出的是一維的Q值，在引入HER后，狀態(tài)則變?yōu)榱藸顟B(tài)-目標對。

在此次實驗中，所用到的狀態(tài)信息主要是機械臂和目標物等的狀態(tài)信息，所以網(wǎng)絡(luò)結(jié)構(gòu)只包含全連接層，策略網(wǎng)絡(luò)的輸出層的激活函數(shù)選擇雙曲正切函數(shù)

則動作值的映射區(qū)間為-1到1，其余的各層激活函數(shù)用修正線性單元（Recitified Linear Unit，ReLU）。策略網(wǎng)絡(luò)和值網(wǎng)絡(luò)的結(jié)構(gòu)如表所示。

在學習和策略更新中使用的學習率為0.001。使用Adam優(yōu)化器訓練網(wǎng)絡(luò)，學習率為2.5e-4，訓練批次大小是256。后視經(jīng)驗的回放策略為未來策略(future)。

使用百度飛槳（PaddlePaddle）深度學習框架進行訓練，在16GB內(nèi)存，8核心i7-7700處理器，Tesla V100顯卡的Linux的系統(tǒng)下進行訓練，訓練輪數(shù)為2000，單個算法的運行時間10小時，仿真訓練效果如圖所示，截取訓練次數(shù)在第200、440、680和840次的效果。

從圖的仿真結(jié)果可以看到，在訓練200、440次的時候，機械臂能夠成功抓取b并放置在目標點的成功率并不高，隨著訓練次數(shù)的增加，對于隨機的物塊放置位置，機械臂成功抓取并放置的概率越來越大。

(1) 深度確定性策略梯度算法在抓取擺放任務(wù)環(huán)境中并不收斂，成功率一直為0。說明在沒有后視經(jīng)驗回放（HER）的機制下算法很難探索到目標區(qū)域，經(jīng)驗池中有限的目標點不足以支持算法的計算收斂。

(2) 在兩個算法中DDPG+HER相比于DDPG收斂速度更快，成功率更高，說明本文提出針對機械臂抓取任務(wù)分段學習的后視回放機制算法相比于傳統(tǒng)的強化學習算法性能有了較大提升。

物理實驗

為了將仿真訓練的網(wǎng)絡(luò)能夠用于實際機械臂系統(tǒng)，本文搭建了和仿真中較為一致的抓取實驗平臺。采用的是大象機器人的myCobot Pro600協(xié)作機械臂，其采用樹莓派微處理器，內(nèi)嵌robotFlow可視化編程軟件，操作簡單。

上位機采用的是ThinkPad T490筆記本電腦。在硬件方面，采用D435i的RGBD相機作為手眼相機，D435i結(jié)合了寬視場和全局快門傳感器，在機器人導航和物體識別等領(lǐng)域廣泛應用。

在軟件方面，在Windows10系統(tǒng)中使用Python3.6、paddlepaddle2.3.0版本搭建神經(jīng)網(wǎng)絡(luò)，與訓練時配置一致，則可以直接載入訓練好的模型參數(shù)運行控制程序。

在機械臂的抓取放置實驗中，抓取物為一個長方體的物塊，在該物塊上粘貼AprilTag碼，實驗目標是將該物塊放置到目標位置的盒子中：

機械臂抓取堆疊的任務(wù)是將兩個相同的物塊堆疊放置，即將白色的物塊安全的放置在藍色物塊上，在白色和藍色物塊上貼有不同的AprilTag碼，實現(xiàn)過程如圖所示：

通過物理實驗驗證了強化學習算法的有效性，在實物上實現(xiàn)了與仿真相同的效果，能夠?qū)崿F(xiàn)將物塊穩(wěn)定的堆疊放置在另一個物塊上，具體實驗效果視頻請查看。

審核編輯：湯梓紅