芯原股份今日宣布其超低能耗且高性能的神經(jīng)網(wǎng)絡(luò)處理器（NPU）IP現(xiàn)已支持在移動(dòng)端進(jìn)行大語言模型（LLM）推理，AI算力可擴(kuò)展至40 TOPS以上。該高能效NPU架構(gòu)專為滿足移動(dòng)平臺(tái)日益增長的生成式AI需求而設(shè)計(jì)，不僅能夠?yàn)锳I PC等終端設(shè)備提供強(qiáng)勁算力支持，而且能夠應(yīng)對智慧手機(jī)等移動(dòng)終端對低能耗更為嚴(yán)苛的挑戰(zhàn)。

芯原的超低能耗NPU IP具備高度可配置、可擴(kuò)展的架構(gòu)，支持混合精度計(jì)算、稀疏化優(yōu)化和并行處理。其設(shè)計(jì)融合了高效的內(nèi)存管理與稀疏感知加速技術(shù)，顯著降低計(jì)算負(fù)載與延遲，確保AI處理流暢、響應(yīng)迅速。該NPU支持?jǐn)?shù)百種AI算法，如AI降噪（AI-NR）和AI超分（AI-SR）等，并兼容Stable Diffusion和LLaMA-7B等主流AI模型。同時(shí)，該NPU IP還可與芯原其他處理器IP無縫集成，實(shí)現(xiàn)異構(gòu)計(jì)算，助力SoC設(shè)計(jì)者打造滿足多元化應(yīng)用需求的AI解決方案。

此外，芯原的超低能耗NPU IP還支持TensorFlow Lite、ONNX和PyTorch等主流AI框架，可加速客戶在不同AI應(yīng)用場景中的部署進(jìn)程并簡化集成工作。

“智能手機(jī)等移動(dòng)設(shè)備正逐步演變?yōu)閭€(gè)人AI服務(wù)器。隨著生成式AI（AIGC）和多模態(tài)大語言模型技術(shù)的快速發(fā)展，市場對AI算力的需求呈指數(shù)級(jí)增長，并已成為移動(dòng)產(chǎn)品的關(guān)鍵差異化要素。”芯原首席戰(zhàn)略官、執(zhí)行副總裁、IP事業(yè)部總經(jīng)理戴偉進(jìn)表示，“在支持高強(qiáng)度AI計(jì)算負(fù)載的過程中，能耗控制是最關(guān)鍵的挑戰(zhàn)之一。芯原持續(xù)深耕面向智慧手機(jī)和AI PC的超低能耗的NPU研發(fā)，并通過與主流SoC合作伙伴的緊密協(xié)作，見證了該技術(shù)在新一代智慧手機(jī)和AI PC中實(shí)現(xiàn)量產(chǎn)?！?/p>

審核編輯 黃宇