要點(diǎn)
?高通和Meta合作優(yōu)化Meta Llama 3大語(yǔ)言模型,支持在未來(lái)的驍龍旗艦平臺(tái)上實(shí)現(xiàn)終端側(cè)執(zhí)行。
?開(kāi)發(fā)者將能夠訪(fǎng)問(wèn)高通AI Hub中的資源和工具,以實(shí)現(xiàn)在驍龍平臺(tái)上優(yōu)化運(yùn)行Llama 3,從而縮短產(chǎn)品上市時(shí)間并充分發(fā)揮終端側(cè)AI的優(yōu)勢(shì)。
?高通技術(shù)公司的終端側(cè)AI能力包括行業(yè)領(lǐng)先的NPU、CPU和GPU技術(shù)組合,賦能生成式AI應(yīng)用實(shí)現(xiàn)即時(shí)性、增強(qiáng)的可靠性、隱私性、情境感知個(gè)性化和成本效益。
今日,高通技術(shù)公司和Meta宣布合作,以?xún)?yōu)化Meta Llama 3大語(yǔ)言模型(LLM)直接在智能手機(jī)、PC、VR/AR頭顯和汽車(chē)等終端上的執(zhí)行。在終端側(cè)運(yùn)行Llama 3具有顯著優(yōu)勢(shì),包括出色的響應(yīng)能力、增強(qiáng)的隱私性和可靠性,以及為用戶(hù)帶來(lái)更加個(gè)性化的體驗(yàn)。
高通技術(shù)公司高級(jí)副總裁兼技術(shù)規(guī)劃和邊緣解決方案業(yè)務(wù)總經(jīng)理馬德嘉(Durga Malladi)表示:
我們贊賞Meta針對(duì)Meta Llama 3的開(kāi)放策略,高通和Meta都致力于賦能開(kāi)發(fā)者,激發(fā)AI創(chuàng)新。高通的終端側(cè)AI領(lǐng)導(dǎo)力,結(jié)合跨不同邊緣終端的廣泛市場(chǎng)布局,使我們能夠在全球范圍內(nèi)擴(kuò)大Llama生態(tài)系統(tǒng)優(yōu)勢(shì),賦能客戶(hù)、合作伙伴和開(kāi)發(fā)者打造新一代開(kāi)創(chuàng)性AI體驗(yàn)。
此次合作旨在賦能OEM廠(chǎng)商和開(kāi)發(fā)者,在搭載未來(lái)旗艦驍龍平臺(tái)的終端上支持Llama 3,推動(dòng)生成式AI功能的普及。高通技術(shù)公司強(qiáng)大的異構(gòu)計(jì)算能夠無(wú)縫利用行業(yè)領(lǐng)先的CPU、GPU和NPU處理器,并結(jié)合先進(jìn)的內(nèi)存架構(gòu),賦能客戶(hù)、合作伙伴和開(kāi)發(fā)者實(shí)現(xiàn)最佳應(yīng)用性能、能效和電池續(xù)航。
開(kāi)發(fā)者可通過(guò)高通AI Hub訪(fǎng)問(wèn)相關(guān)資源和工具,以實(shí)現(xiàn)在驍龍平臺(tái)上優(yōu)化運(yùn)行Llama 3。高通AI Hub目前可提供約100個(gè)優(yōu)化AI模型,能夠?yàn)殚_(kāi)發(fā)者縮短產(chǎn)品上市時(shí)間,并使他們的應(yīng)用能夠發(fā)揮終端側(cè)AI的優(yōu)勢(shì)。
高通技術(shù)公司和Meta致力于驅(qū)動(dòng)創(chuàng)新,打造下一代AI體驗(yàn)。此次合作是雙方持續(xù)合作關(guān)系的重要里程碑,彰顯了雙方以強(qiáng)大AI能力賦能開(kāi)發(fā)者和用戶(hù)的不懈努力。
審核編輯:劉清
-
處理器
+關(guān)注
關(guān)注
68文章
19896瀏覽量
235225 -
高通
+關(guān)注
關(guān)注
78文章
7624瀏覽量
193231 -
GPU芯片
+關(guān)注
關(guān)注
1文章
305瀏覽量
6204 -
大模型
+關(guān)注
關(guān)注
2文章
3146瀏覽量
4070
原文標(biāo)題:高通支持Meta Llama 3在驍龍終端上運(yùn)行
文章出處:【微信號(hào):Qualcomm_China,微信公眾號(hào):高通中國(guó)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
使用 NPU 插件對(duì)量化的 Llama 3.1 8b 模型進(jìn)行推理時(shí)出現(xiàn)“從 __Int64 轉(zhuǎn)換為無(wú)符號(hào) int 的錯(cuò)誤”,怎么解決?
高通推出第四代驍龍7移動(dòng)平臺(tái)
高通驍龍8至尊版移動(dòng)平臺(tái)革新終端側(cè)AI影像體驗(yàn)
無(wú)法在OVMS上運(yùn)行來(lái)自Meta的大型語(yǔ)言模型 (LLM),為什么?
使用NVIDIA TensorRT提升Llama 3.2性能
高通推出第三代驍龍7s移動(dòng)平臺(tái)
Meta發(fā)布Llama 3.2量化版模型
Llama 3 語(yǔ)言模型應(yīng)用
使用OpenVINO 2024.4在算力魔方上部署Llama-3.2-1B-Instruct模型

評(píng)論