背景

經(jīng)常買 Raspberry Pi 的朋友們都知道，Raspberry Pi 5 作為業(yè)內(nèi)最優(yōu)秀的 SBC(Single Board Computer)，除了其本身優(yōu)秀的軟硬件綜合性能之外，為了方便更多高性能外設(shè)的拓展，新增了一組 PCIE3.0x1 外設(shè)接口，可以通過 FFC 線纜連接到官方或者第三方 HAT 組件。從去年開始樹莓派就陸陸續(xù)續(xù)介紹了各種基于 HAT PCIE 拓展的方案

今年春節(jié)之后，隨著 DeepSeek 破圈，樹莓派的開發(fā)者們也不再限于只使用 Raspberry Pi5 運(yùn)行傳統(tǒng)的CNN小模型(例如 YOLO)。社區(qū)對(duì)大語音模型、多模態(tài)大模型、生成模型在樹莓派板卡上高效率部署的訴求也越來越多。

今天開始分享由國(guó)內(nèi)優(yōu)秀的端側(cè)AI芯片公司愛芯元智推出的基于 Raspberry Pi 5 的算力拓展解決方案，看看有哪些樹莓派生態(tài)硬件已經(jīng)/即將支持，以及其簡(jiǎn)單易上手的特性。

優(yōu)勢(shì)

相比樹莓派官方的 Hailo8 或者 Halio8L 的算力套件，其優(yōu)勢(shì)如下

AI示例豐富

支持但不限于以下內(nèi)容

大語言模型

DeepSeek R1 Distill、Qwen、Llama3、MiniCPM、SmolLM2、InternML

多模態(tài)大模型

Qwen2.5-VL、InternVL2.5、MiniCPM-V、SmolVLM、Janus Pro

語音類模型

Whisper、WeNet、MeloTTS、OpenVoice

生成似模型

StableDiffusionv1.5、LivePortrait

多模態(tài)模型

CLIP、YOLOWorldv2

主流 CNN&Transformer 模型

Ultralytics YOLO 全系列、SAM、DepthAnythingv2、Metric3D、RAFT-Stereo、MixFormerv2 等

資源消耗小

獨(dú)立存儲(chǔ)，運(yùn)行各種AI模型不占用 樹莓派5 系統(tǒng)的 DDR 帶寬；獨(dú)立編解碼模塊，最大支持 32 路 1080P30 解碼

二次開發(fā)簡(jiǎn)單

提供 C++/Python API，編解碼單元已適配 FFmpeg。國(guó)內(nèi)本土全棧技術(shù)方案，解決方案豐富成熟，技術(shù)支持高效

功耗低

滿載功耗＜8w，可被動(dòng)散熱，不需額外供電，采用 樹莓派5 標(biāo)準(zhǔn)的適配器，通過 FFC 給 HAT 拓展算力配件供電即可

性價(jià)比高

價(jià)格實(shí)惠

硬件介紹

無論是通過已有 HAT 拓展的 M.2 2280 標(biāo)準(zhǔn)算力卡，還是針對(duì) 樹莓派5 定制的 HAT AI Module，共有產(chǎn)品特性如下：

M.2 算力卡

HAT AI Module

硬件安裝

M.2 算力卡

在樹莓派 5 上安裝 M.2 加速卡時(shí)，首先需要準(zhǔn)備一塊 M.2 HAT+ 擴(kuò)展板。參考官方鏈接，M.2 HAT+ 的官方版本只支持 2230、2242 的 M.2 M Key 卡，通常 AX650 加速卡是 2280 的，您可能需要考慮購買第三方的支持 2280 長(zhǎng)度的 M.2 HAT+ 擴(kuò)展板。

如果是 CM5 的用戶，建議直接使用 CM5 配套的 Compute Module 5。

示意圖

軟件安裝

AXCL 是用于在Axera芯片平臺(tái)上開發(fā)深度神經(jīng)網(wǎng)絡(luò)推理、轉(zhuǎn)碼等應(yīng)用的 C、Python 語言 API 庫，提供運(yùn)行資源管理，內(nèi)存管理，模型加載和執(zhí)行，媒體數(shù)據(jù)處理等 API。基于樹莓派5安裝 AXCL 驅(qū)動(dòng)軟件的詳細(xì)過程可參考

https://axcl-pi5-examples-cn.readthedocs.io/zh-cn/latest/doc_guide_setup_sw.html

正確安裝 AXCL 驅(qū)動(dòng)包后，AXCL-SMI 即安裝成功，直接執(zhí)行axcl-smi顯示內(nèi)容如下：

AI 易用性

API 兼容 ONNXRuntime

考慮到樹莓派開發(fā)者中，通常為了快速進(jìn)行產(chǎn)品開發(fā)，會(huì)使用 Python API 進(jìn)行快速功能驗(yàn)證。通常會(huì)使用 ONNXRuntime CPU 進(jìn)行模型部署。因此 AXCL 的 NPU Python API 提供了“像素級(jí)”兼容，原則上只需要在以往的 ONNXRuntime Python 腳本中，僅需將 import onnxruntime as ort 修改為 import axengine as ort 即可。詳細(xì)使用說明請(qǐng)參考 pyaxengine

AI 示例展示

普通模型

這里橫向?qū)Ρ认缕渌麅?nèi)置算力的 SBC，從圖中可以看出運(yùn)行普通的 CNN 和 Transformer，RaspberryPi5+M.2 算力卡的組合計(jì)算效果更高。

Qwen2.5-1.5B

大語言模型基本應(yīng)用

模型文件獲取 Huggingface

https://huggingface.co/AXERA-TECH/Qwen2.5-1.5B-Instruct-CTX-Int8

支持較長(zhǎng)的上下文，2.5k

支持 System Prompt 緩存

支持 prefill 優(yōu)化

InternVL2_5-1B

圖片理解，真正的的多模態(tài)大模型

模型文件獲取 Huggingface

https://huggingface.co/AXERA-TECH/InternVL2_5-1B

StableDiffusionv1.5

文生圖、圖生圖

模型文件獲取 Huggingface

https://huggingface.co/AXERA-TECH/lcm-lora-sdv1-5

Raspberry Pi5 使用基于 AX650N 的算力模組拓展，SD1.5 的推理性能可以提升 40 倍（生成圖片大小 512x512）

Whisper

模型文件獲取 Huggingface

https://huggingface.co/AXERA-TECH/Whisper

測(cè)試音頻一共 4 秒，在 愛芯派Pro 上 Whisper small 模型運(yùn)行耗時(shí) 740 ms，RTF（?Real-Time Factor） = 0.19，RTF 越低?：意味著 ASR 系統(tǒng)處理語音的速度越快。實(shí)時(shí)因子低的 ASR 系統(tǒng)在需要實(shí)時(shí)響應(yīng)的應(yīng)用場(chǎng)景（如語音助手）中尤為關(guān)鍵?。

社區(qū)反饋

其實(shí) 樹莓派 + M.2大模型算力卡 的拓展形態(tài)，已經(jīng)有海外社區(qū)用戶提前嘗鮮，從反饋看，還是相當(dāng)滿意，可玩性很高。

后續(xù)計(jì)劃

本篇文章只是投石問路，我們會(huì)根據(jù)樹莓派社區(qū)的反饋，積極輸出大家更想了解的算力拓展解決方案。希望通過這樣的組合方式，解決樹莓派生態(tài)中算力欠缺的劣勢(shì)，賦能樹莓派生態(tài)拓展更多有價(jià)值的AI產(chǎn)品方案。

不斷適配前沿流行的大模型

聯(lián)合硬件生態(tài)合作伙伴，推出更多適用于樹莓派主機(jī)的算力配件

進(jìn)一步提升算力模組的軟件易用性，開源 視頻解碼硬件+智能分析+業(yè)務(wù)后處理 一站式解決方案

聯(lián)合樹莓派生態(tài)，拓展各種垂直領(lǐng)域的智能解決方案