大語言模型的崛起為智能化應用開辟了新的可能性。借助深度學習技術，這些模型能夠理解和生成自然語言，處理復雜的文本和語義信息。這使得它們在諸如人機問答、內容生成和數據分析等領域展現出巨大的潛力。在實時控制領域，大語言模型能夠顯著提升控制系統的智能化水平，確保實時性的同時實現高質量的人機交互，為具身機器人、智能駕駛等對實時性和智能化有強烈需求的場景提供理想的解決方案。

然而，大語言模型在與傳統實時操作系統結合時面臨挑戰(zhàn)。首先，模型的部署及推理需要豐富的生態(tài)支持，以便在不同的應用場景中有效運行。其次，在推理過程中，大語言模型會占用大量的系統資源，這導致實時操作系統的性能下降，無法滿足對快速響應的嚴格要求。

望獲實時Linux系統有效解決了上述問題，提供微秒級的實時性能（系統最大延遲<10微秒，支持EtherCAT125微秒周期同步），同時與Linux生態(tài)系統完全兼容，使開發(fā)者能夠快速集成大語言模型及相關應用。通過豐富的生態(tài)工具和庫，望獲實時Linux系統顯著降低了開發(fā)和部署的復雜性。此外，其資源隔離機制確保實時任務與大語言模型之間的有效隔離，實現了微秒級實時性與智能化應用的并存。

硬件平臺：京博航友善NanoPC-T6開發(fā)板（瑞芯微RK3588）

操作系統：望獲實時Linux系統

大模型：Qwen-1.8千問大語言模型

方案簡介：

Qwen是阿里巴巴研發(fā)的多模態(tài)大語言模型，具備自然語言理解、文本生成和視覺理解等多種能力，經過大規(guī)模多語言數據預訓練和高質量微調。本案例使用Gradio框架展示訓練好的Qwen模型, Gradio是一個基于FastAPI和Svelte構建的簡易Web UI開發(fā)框架，適合快速部署和展示大語言模型。

應用場景：

基于望獲實時Linux系統的微秒級實時性和RK3588的6 TOPS算力，該方案滿足工業(yè)和商業(yè)領域對實時性和智能化的需求，廣泛適用于工業(yè)智能化、服務機器人、智能家居和醫(yī)療健康等場景。

審核編輯 黃宇