i.MX RT1060交叉MCU同樣適用于經濟高效的工業(yè)應用以及需要顯示功能的高性能和數據密集型消費類產品。本文通過解釋如何實現(xiàn)一種嵌入式機器學習應用程序來演示該基于Arm?Cortex?-M7的MCU的功能，該應用程序可以檢測和分類用戶的手寫輸入。

為此，本文重點介紹流行的MNIST eIQ示例，該示例由幾個部分組成-數字識別由TensorFlow Lite模型執(zhí)行，并且GUI用于提高i.MX RT1060設備的可用性。

看一下MNIST數據集和模型

本文使用的數據集包括60,000個訓練和10,000個手寫數字居中灰度圖像測試示例。每個樣本的分辨率為28x28像素：

圖1.MNIST數據集示例

樣本是從美國的高中生和人口普查局員工那里收集的。因此，數據集主要包含在北美書寫的數字示例。例如，對于歐洲風格的數字，必須使用其他數據集。與該數據集一起使用時，卷積神經網絡通常會提供最佳結果，甚至簡單的網絡也可以實現(xiàn)高精度。因此，TensorFlow Lite是適合此任務的選項。

本文選擇的MNIST模型實現(xiàn)可在GitHub上作為正式的TensorFlow模型之一獲得，并且使用Python編寫。該腳本使用Keras庫以及tf.data，tf.estimator.Estimator和tf.layers API，并構建了一個卷積神經網絡，可以在測試樣本上實現(xiàn)高精度：

圖2.所用模型的可視化。

相應的模型定義如下圖3所示。

圖3.與模型可視化相對應的模型定義。

什么是TensorFlow Lite？在本示例中如何使用？

TensorFlow是一個著名的深度學習框架，已被大型公司廣泛用于生產中。這是由Google開發(fā)和維護的開源，跨平臺深度學習庫。提供了一個低級Python API，它對經驗豐富的開發(fā)人員非常有用，并且提供了高級庫（例如本例中使用的庫）。此外，TensorFlow得到了廣大社區(qū)的支持，并獲得了Google的出色在線文檔，學習資源，指南和示例。

為了使受計算限制的機器（例如移動設備和嵌入式解決方案）能夠運行TensorFlow應用程序，Google開發(fā)了TensorFlow Lite框架，該框架不支持TensorFlow框架的全部操作。它允許此類設備在已轉換為TensorFlow Lite的預訓練TensorFlow模型上進行推理。作為回報，這些經過轉換的模型無法進行進一步的訓練，但可以通過量化和修剪等技術進行優(yōu)化。

將模型轉換為TensorFlow Lite

上面討論的經過訓練的TensorFlow模型必須先轉換為TensorFlow Lite，然后才能在i.MX RT1060 MCU上使用。為此，使用tflite_convert對其進行了轉換，并且出于兼容性原因，使用TensorFlow的1.13.2版來訓練和轉換模型：

tflite_convert
--saved_model_dir=
--output_file=converted_model.tflite
--input_shape=1,28,28
--input_array=Placeholder
--output_array=Softmax
--inference_type=FLOAT
--input_data_type=FLOAT
--post_training_quantize
--target_opsTFLITE_BUILTINS

最后，使用xdd實用程序將TensorFlow Lite模型轉換為二進制數組，以供應用程序加載：

xxd-iconverted_model.tflite>converted_model.h

xdd是一個十六進制轉儲實用程序，可用于將文件的二進制形式轉換為相應的十六進制轉儲表示形式，反之亦然。在這種情況下，TensorFlow Lite二進制文件將轉換為可添加到eIQ項目的C / C ++頭文件。轉換過程和tflite_convert實用程序在eIQ用戶指南中進行了詳細說明。該實用程序也在Google的官方文檔中進行了描述。

嵌入式Wizard Studio快速入門

#ifdef__cplusplus
extern"C"{
#endif
/*Ccode*/
#ifdef__cplusplus
}
#endif

為了利用MIMXRT1060-EVK的圖形功能，該項目中包含一個GUI。為此，使用了嵌入式向導Studio，這是一個IDE，用于為將在嵌入式設備上運行的應用程序開發(fā)GUI。盡管可以使用IDE的免費評估版，但該版本限制了圖形用戶界面的最大復雜性，并且還在GUI上添加了水印。

Embedded Wizard Studio的優(yōu)點之一是能夠基于XNP的SDK生成MCUXpresso和IAR項目，這意味著在IDE中創(chuàng)建用戶界面后，開發(fā)人員可以立即在其設備上對其進行測試。

IDE提供了放置在畫布上的對象和工具，例如按鈕，觸敏區(qū)域，形狀等。然后將其屬性設置為適合開發(fā)人員的需求和期望。所有這些工作都以直觀和用戶友好的方式進行，并且大大加快了GUI開發(fā)過程。

但是，由于生成的GUI項目在C中，而qIQ示例在C / C ++中，因此，幾個轉換步驟必須將GUI項目與現(xiàn)有的eIQ應用程序項目合并。因此，某些頭文件的內容必須包含以下內容：

此外，大多數源文件和頭文件已移至SDK的中間件文件夾中的新文件夾，并且添加了新的包含路徑以反映這些更改。最后，比較并正確合并了一些特定于設備的配置文件。

完成的應用程序及其功能

該應用程序的GUI顯示在觸敏LCD上。它包含一個用于輸入數字的輸入區(qū)域和一個顯示分類結果的區(qū)域。運行推斷按鈕執(zhí)行推斷，清除按鈕清除輸入和輸出字段。應用程序將預測的結果和置信度輸出到標準輸出。

圖4.示例應用程序的GUI包含一個輸入字段，一個輸出字段和兩個按鈕。結果和置信度也會打印到標準輸出中。

TensorFlow Lite模型精度

如上所述，該模型在對美國風格的手寫數字進行分類時可以在訓練和測試數據上實現(xiàn)高精度。但是，在本應用程序中不是這種情況，主要是因為用手指在LCD上書寫的數字與用筆在紙上書寫的數字永遠不會相同。這突出了在實際生產數據上訓練生產模型的重要性。

為了獲得更好的結果，必須收集一組新的數據。此外，方法必須相同。在這種情況下，必須使用觸摸屏輸入來采集樣品以繪制數字。存在進一步的技術來增加預測的準確性。恩智浦社區(qū)網站包含使用遷移學習技術的演練。

實施細節(jié)

嵌入式向導使用插槽作為觸發(fā)器來對GUI交互做出反應，例如，當用戶在輸入區(qū)域上拖動手指時。在這種情況下，插槽會在手指下方連續(xù)繪制一個像素寬的線。該行的顏色由主顏色常數定義。

清除按鈕的插槽將兩個字段中每個像素的顏色設置為背景色，運行推斷按鈕將保存對輸入區(qū)域，基礎位圖以及該區(qū)域的寬度和高度的引用，然后將其傳遞給本機處理它們的C程序。

由于來自機器學習模型的位圖只有28x28像素大，并且輸入區(qū)域被創(chuàng)建為112x112正方形，以使應用程序使用起來更加舒適，因此在縮小圖像時需要進行額外的預處理。否則，該過程會使圖像失真太多。

首先，創(chuàng)建一個具有輸入區(qū)域尺寸的8位整數數組，并用零填充。然后，對圖像和數組進行迭代，并將圖像中每個繪制的像素存儲為數組中的0xFF。處理輸入時，主要顏色的像素被認為是白色，其他所有像素都被認為是黑色。此外，每個像素都擴大為3x3正方形以加粗線條，這將使圖像縮小更為安全。在將圖像縮放到所需的28x28分辨率之前，將圖形裁剪并居中以類似于MNIST圖像：

圖5.包含預處理輸入數據的數組的可視化。

當應用程序啟動時，將分配，加載和準備機器學習模型。對于每個推理請求，模型的輸入張量都將帶有預處理輸入，并傳遞給模型。輸入必須逐像素復制到張量中，并且在此過程中必須將整數值轉換為浮點值。該NXP應用筆記包含了代碼的詳細內存占用。

TensorFlow Lite：可行的解決方案

使用機器學習的手寫數字識別可能給嵌入式系統(tǒng)帶來問題，TensorFlow Lite提供了可行的解決方案。使用此解決方案，可以實現(xiàn)更復雜的用例，例如數字鎖上的引腳輸入字段。如本文所述，在實際生產數據上訓練生產模型至關重要。本文中使用的培訓數據由用筆寫在紙上的數字組成。反過來，當用于檢測觸摸屏上繪制的數字時，這會降低模型的整體準確性。此外，必須考慮到地區(qū)差異。

i.MX RT跨接MCU系列可以實現(xiàn)到各種嵌入式應用程序中，例如本文提供的示例。恩智浦（NXP）擁有有關i.MX RT跨接MCU系列的大量信息，可幫助彌合性能與可用性之間的鴻溝。