1DeepSeek在端側(cè)設(shè)備的應(yīng)用場景

DeepSeek大語言模型（LLM）可用于理解人類語言的交互方式，思考，并給出合適的回應(yīng)。同時，通過結(jié)合RAG（Retrieval-Augmented Generation，檢索增強(qiáng)生成）技術(shù)，可以從用戶定制知識數(shù)據(jù)庫檢索信息，將其作為提示輸入給LLM，LLM通過將這些額外的知識與自己的語言技能相結(jié)合，可以撰寫更準(zhǔn)確、更具時效性且更貼合具體需求的文字，提供面向某個具體領(lǐng)域的專業(yè)應(yīng)答。在AI概念和端側(cè)AI技術(shù)火熱的當(dāng)下，瑞薩半導(dǎo)體推出的面向端側(cè)AI應(yīng)用的高性能MPU，也可以部署DeepSeek-R1模型。在我們預(yù)想的應(yīng)用場景中，我們可以在部署了DeepSeek-R1模型和RAG定制數(shù)據(jù)庫的瑞薩MPU電路板上，在不聯(lián)網(wǎng)的情況下，實現(xiàn)如下應(yīng)用：

向AI模型投喂高端家電、車輛等復(fù)雜電子產(chǎn)品的用戶手冊，對這些模型進(jìn)行訓(xùn)練，以創(chuàng)建一個AI助手，能夠自動執(zhí)行某些復(fù)雜功能的設(shè)置。如此，用戶就不必為了使用某一樣新奇的功能而花費大量時間閱讀手冊。相對于傳統(tǒng)的語音識別應(yīng)用需要特定的命令或者喚醒詞，引入LLM對口頭語言的表達(dá)進(jìn)行分析，可以讓硬件設(shè)備更容易理解用戶的需求。

面向騎行愛好者，讓AI助手在自行車電腦中運行，這樣用戶在騎自行車時就可以獲得個性化的導(dǎo)覽/導(dǎo)航以及其他信息。

AI智能眼鏡&耳機(jī)，直接理解用戶口語表達(dá)的命令，以日常使用的人類語言與電子系統(tǒng)進(jìn)行交互。

實時的翻譯機(jī)，在不聯(lián)網(wǎng)的應(yīng)用場景中，利用AI做一些簡單的語言轉(zhuǎn)換，甚至可以作為人與寵物之間的交互。例如，寵物貓和寵物狗的語言表達(dá)相對于人類語言更簡單，可以把它們的語言轉(zhuǎn)換成人類理解和思考的方式表現(xiàn)出來。

為此，我們在瑞薩定位于AI應(yīng)用的MPU芯片RZ/V2H，適配了DeepSeek-R1:1.5B的LLM模型，以支撐這些潛在的AI應(yīng)用。

2瑞薩RZ/V2H硬件平臺簡介

在演示用例中，使用瑞薩官方的RZ/V2H-EVK開發(fā)板，如圖1所示。

圖1 瑞薩官方RZ/V2H-EVK開發(fā)板

板載豐富的外擴(kuò)資源，如圖2所示。

圖2 RZ/V2H-EVK開發(fā)板板載資源

其中，RZ/V2H集成了7個處理器核心，分別是4個Cortex-A55@1.8GHz，2個Cortex-R8@800MHz，1個Cortex-M33@200MHz，同時還集成了瑞薩自主研發(fā)的AI計算專用加速引擎DRP-AI3和圖像計算加速引擎DRP，有系統(tǒng)框圖，如圖3所示。

圖3 RZ/V2H處理器系統(tǒng)框圖

3下載、配置和啟動DeepSeek-R1

RZ/V2H-EVK開發(fā)板已經(jīng)適配了Yocto Linux操作系統(tǒng)，在此基礎(chǔ)上，使用Ollama官方推薦的方式，可以完成部署并運行DeepSeek-R1大模型。

使用可以聯(lián)通外部網(wǎng)絡(luò)的路由器，用網(wǎng)線將RZ/V2H-EVK電路板和PC連起來，確保RZ/V2H-EVK電路板和電腦可以聯(lián)網(wǎng)，并可互相訪問。對RZ-V2H-EVK電路板的配置工作，將通過電腦完成。

在電腦上，通過Tera Term工具（或者其它SSH工具）連接到開發(fā)板。在終端中，使用腳本安裝并啟動Ollama服務(wù)：

通過Ollama啟動DeepSeek-R1模型。注意，在第一次運行命令時，會自行下載DeepSeek-R1模型文件。在此過程中，需要確保聯(lián)網(wǎng)情況良好。

下載完成之后，自行啟動DeepSeek-R1模型。后續(xù)運行這個命令載入模型時，就不需要聯(lián)網(wǎng)了。

載入模型成功后，可以看到命令行中有提示信息“Send a message（/? for help）”。此時，可以向運行在RZ/V2H-EVK電路板上的離線版DeepSeek提問了。

圖4 在RZ/V2H上啟動DeepSeek-R1

4運行演示

在啟動DeepSeek-R1后，我們問了第一個問題"介紹一下你自己"，接下來，請看RZ/V2H-EVK電路板的反應(yīng)：

從視頻中可以看到，DeepSeek-R1大模型已經(jīng)成功運行在RZ/V2H-EVK電路板上。

接下來，讓我們期待更多基于瑞薩產(chǎn)品和DeepSeek開發(fā)出的有趣應(yīng)用吧。