描述

這是在使用 32 位浮點精度的微控制器上訓練深度學習模型的嘗試。我們通過構(gòu)建一個機器人來實現(xiàn)這一點，該機器人學習如何使用深度強化學習以最小距離跟隨最近的障礙物。訓練過程的演示可以在這里找到。

訓練過程的演示可以在這里找到。該項目的靈感來自于Pete Warden ( Google TensorFlow)、Neil Tan (ARM) 在微控制器上運行神經(jīng)網(wǎng)絡所做的工作。

介紹

實時機器學習 (RTML) 是指主動解釋和學習實時到達的數(shù)據(jù)。它要求代理人根據(jù)先前的知識解決不熟悉的問題，并經(jīng)常做出實時決策。我們在嵌入式系統(tǒng)的開發(fā)和部署環(huán)境中討論 RTML。

目前，地球上活躍著近 150 億個嵌入式處理器，它們收集并有時處理大量數(shù)據(jù)。這些數(shù)據(jù)中的大部分都被丟棄了，因為這些微型計算機通常不具備在其上運行復雜解釋任務的硬件功能。出于這個原因，數(shù)據(jù)通過無線網(wǎng)絡發(fā)送到功能更強大的中央計算機進行處理。但是這種形式的基于云的架構(gòu)（其中邊緣設備僅執(zhí)行數(shù)據(jù)收集）可能由于以下原因而變得不利：

• 發(fā)送數(shù)據(jù)需要邊緣設備和中央計算機之間的通信。這個過程對處理器來說是非常耗能的，因此只能間歇性地完成
• 由于無線通信協(xié)議的設計方式，傳輸數(shù)據(jù)時的延遲保證權(quán)衡是不可避免的。這可能會嚴重延遲從數(shù)據(jù)中采取關鍵行動的時間。
• 關于數(shù)據(jù)包從微處理器到達和被微處理器接收所花費的時間，無線通信協(xié)議也具有不確定的行為，這對于需要關鍵響應的任務來說也是非常不希望的。
• 這種不確定的通信鏈路要求微處理器幾乎一直處于活動狀態(tài)，這是空閑功耗的主要來源之一。

這就是深度學習的力量所在。深度學習算法實現(xiàn)中最大最密集的操作是矩陣乘法，硬件高效實現(xiàn)已經(jīng)存在并且完全受算術(shù)限制。即使使用現(xiàn)有技術(shù)，微處理器和 DSP 也能夠在不到一毫瓦的情況下處理數(shù)千萬或數(shù)億次計算，而且更高效的低能耗加速器即將出現(xiàn)。經(jīng)過訓練后，這些模型能夠運行復雜的推理任務并保持對噪聲的穩(wěn)健性，這是實時數(shù)據(jù)的典型特征。通過在邊緣設備中加入深度學習功能使邊緣設備更智能，將解決所有源于數(shù)據(jù)交換的問題，并使其成為從現(xiàn)實世界數(shù)據(jù)中快速做出重要決策的合適且可靠的候選者。設備在部署到現(xiàn)場后還可以進行持續(xù)改進。

以下是深度學習框架如何在資源受限的嵌入式系統(tǒng)上開發(fā)和運行的一些更廣泛的方法：

• 現(xiàn)有算法的內(nèi)存高效實現(xiàn)
• 低精度量化訓練/推理
• 訓練期間的低精度乘法
• 使用修剪和霍夫曼編碼壓縮神經(jīng)網(wǎng)絡
• 使浮點數(shù)學對 AI 硬件高效

在本項目中，我們重點介紹第一種方法，并簡要介紹第二種方法。據(jù)我們所知，這將是第一個開發(fā)用于在具有平臺獨立性的嵌入式系統(tǒng)上訓練和運行推理的深度學習庫。

使用深度策略梯度網(wǎng)絡進行強化學習

有關策略梯度網(wǎng)絡的精彩介紹，請參閱本教程。所有用于矩陣操作和實施深度學習算法的庫都是用 C++ 自定義編寫的。

對于這個項目，網(wǎng)絡構(gòu)建如下：

• 輸入層的維度為 1x1。它攜帶超聲波傳感器測量到的最近障礙物的距離。
• 隱藏層的維度為 3x1，具有 RELU 激活。
• 輸出層的維度為 5x1，具有 softmax 激活，對應于機器人可以行進的 5 種可能速度。

訓練在每一集之后進行，其中網(wǎng)絡對 5 個動作進行采樣，執(zhí)行它們并存儲計算出的獎勵。