99精品伊人亚洲|最近国产中文炮友|九草在线视频支援|AV网站大全最新|美女黄片免费观看|国产精品资源视频|精彩无码视频一区|91大神在线后入|伊人终合在线播放|久草综合久久中文

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

Kinara發(fā)布Ara-2邊緣AI處理器,實現(xiàn)高效、經(jīng)濟、節(jié)能的推理性能

微云疏影 ? 來源:綜合整理 ? 作者:綜合整理 ? 2023-12-19 11:05 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

Kinar于近期發(fā)布了Ara-2邊緣AI處理器,這是一款專為邊緣服務器及筆記本電腦打造的高性能、高效能且節(jié)能推理解決方案,尤其適用于視頻分析、大規(guī)模語言模型(LLM)在內(nèi)的各類AI應用。值得注意的是,Ara-2也能夠良好適應傳統(tǒng)AI模型和基于Transformer架構(gòu)的尖端AI模型,其所具備的體驗式增強功能集使得Ara-2的性能較初代的Ara-1處理器有顯著提升,可達成超過5至8倍的增長,將實時響應能力與大吞吐量相結(jié)合,從而達致高度精煉的延遲優(yōu)化設計和均衡性能。

生成式AI現(xiàn)已成為主流,然而大多數(shù)此類應用卻在數(shù)據(jù)中心GPU上運行,由此引發(fā)的延遲、高成本以及隱私問題亟待解決。Ara-2順應時代變化,貼心支持生成式AI模型所需引導的數(shù)十億個參數(shù),為跨境轉(zhuǎn)移提供便利。同時,為了更順暢地完成從GPU至各個AI模型的過度,其內(nèi)建的計算引擎以及軟件開發(fā)套件(SDK)均為此進行定制搭建。

“Ara-2的誕生使得我們有能力根據(jù)客戶需求提供更高性能和成本選擇。如Ara-1,其專為智能相機及具有2至8路視頻流的邊緣AI設備而生;而Ara-2則特別擅長處理針對16至32路甚至更多視頻流的底層邊緣服務器或筆記本電腦,且與高端相機完美兼容?!?Kinara首席執(zhí)行官Ravi Annavajjhala對此表示?!敖柚冗M的計算引擎,Ara-2能夠快速處理高清圖像,有效提升精度,實現(xiàn)更高水平的對象檢視、識別及追蹤。例如,針對生成式AI模型,Stable Diffusion每10秒即可生成一幅圖片,LLaMA-7B則可達到每秒幾十個token的處理速率?!?/p>

據(jù)悉,Ampere將在10月份容忍Kinar加入其人工智能平臺聯(lián)盟,共同致力于降低系統(tǒng)復雜度,推動人工智能進一步提升協(xié)同工作能力和開放性,目標在于提供比GPU更優(yōu)的總體性能,同時兼顧吞吐量、功率和成本效益。該團隊的首席布道師Sean Varley認為:“ ARA-2展現(xiàn)的性能和功能集讓我堅定朝這個方向發(fā)展,助力行業(yè)推出性能更優(yōu)且與現(xiàn)有GPU技術(shù)相匹敵的AI替代方案?!?/p>

除此之外,Ara-2還秉持著安全啟動、加密內(nèi)存訪問以及安全主控接口等特性,確保企業(yè)AI部署擁有更高的安全性。Kinar亦為之提供全套的SDK支持,囊括模型編譯器、計算單元調(diào)度程序、靈活的量化選項(含內(nèi)置的Kinar量化器)以及對PyTorch和TFLite預量化模型的支持、多芯片負荷均衡器系統(tǒng)與動態(tài)調(diào)節(jié)主控運行等諸多要素。

Ara-2提供獨立設備、USB模塊、M.2模塊以及多個Ara-2組成的PCIe卡等豐富形式供消費者選擇。 Kinara計劃在CES上現(xiàn)場展示這款備受矚目的Ara-2產(chǎn)品。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • gpu
    gpu
    +關(guān)注

    關(guān)注

    28

    文章

    4949

    瀏覽量

    131309
  • 數(shù)據(jù)中心
    +關(guān)注

    關(guān)注

    16

    文章

    5230

    瀏覽量

    73538
  • 生成式AI
    +關(guān)注

    關(guān)注

    0

    文章

    531

    瀏覽量

    823
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    研華科技推出緊湊型邊緣AI推理系統(tǒng)AIR-120

    研華科技隆重宣布,推出緊湊型邊緣AI推理系統(tǒng)——AIR-120。該系統(tǒng)搭載英特爾凌動x7433RE(Amston Lake)處理器、酷睿i3-N305
    的頭像 發(fā)表于 07-17 17:16 ?344次閱讀

    信而泰×DeepSeek:AI推理引擎驅(qū)動網(wǎng)絡智能診斷邁向 “自愈”時代

    網(wǎng)絡智能診斷平臺。通過對私有化網(wǎng)絡數(shù)據(jù)的定向訓練,信而泰打造了高性能、高可靠性的網(wǎng)絡診斷模型,顯著提升了AI輔助診斷的精準度與實用性。該方案實現(xiàn)了網(wǎng)絡全流量深度解析能力與AI智能
    發(fā)表于 07-16 15:29

    意法半導體邊緣AI套件中提供的全部工具

    推理性能。 ? 典型應用 ?:工業(yè)設備故障預測、人臉識別等低延遲場景。 ? NanoEdge AI Studio ? ?
    的頭像 發(fā)表于 04-21 17:46 ?703次閱讀

    英偉達GTC25亮點:NVIDIA Dynamo開源庫加速并擴展AI推理模型

    NVIDIA Dynamo 提高了推理性能,同時降低了擴展測試時計算 (Scaling Test-Time Compute) 的成本;在 NVIDIA Blackwell 上的推理優(yōu)化將
    的頭像 發(fā)表于 03-20 15:03 ?655次閱讀

    Banana Pi 發(fā)布 BPI-AI2N & BPI-AI2N Carrier,助力 AI 計算與嵌入式開發(fā)

    []() 2025年3月19日——Banana Pi 今日正式發(fā)布 BPI-AI2N & BPI-AI2N Carrier,基于瑞薩電子(Renesas)同步發(fā)布的最新的高
    發(fā)表于 03-19 17:54

    恩智浦擬收購邊緣AI企業(yè)Kinara

    恩智浦半導體宣布已達成最終協(xié)議收購Kinara, Inc.——高性能、低功耗且可編程的分立神經(jīng)處理單元(NPU)行業(yè)的領(lǐng)先企業(yè)。該公司產(chǎn)品支持廣泛的邊緣
    的頭像 發(fā)表于 02-21 14:15 ?716次閱讀

    英特爾至強6助力HPE Gen12,AI推理性能提升3倍!

    在這個AI人工智能、HPC高性能計算飛速發(fā)展的時代,人們對于算力的渴望是空前的,無論是CPU處理器、GPU/NPU加速,尤其是生成式AI
    的頭像 發(fā)表于 02-18 14:18 ?315次閱讀
    英特爾至強6助力HPE Gen12,<b class='flag-5'>AI</b><b class='flag-5'>推理性能</b>提升3倍!

    Arm技術(shù)助力Google Axion處理器加速AI工作負載推理

    由 Arm Neoverse V2 平臺賦能的 Google Axion 處理器已在 Google Cloud 上正式上線,其中,C4A 是首款基于 Axion 的云虛擬機,為基于 CPU 的人工智能 (AI)
    的頭像 發(fā)表于 02-14 14:11 ?512次閱讀
    Arm技術(shù)助力Google Axion<b class='flag-5'>處理器</b>加速<b class='flag-5'>AI</b>工作負載<b class='flag-5'>推理</b>

    恩智浦3.07億美元收購Kinara,強化邊緣AI布局

    近日,恩智浦半導體公司(NXP Semiconductors)宣布了一項重大收購計劃,將以3.07億美元(約合22.44億元人民幣)現(xiàn)金收購邊緣AI NPU(神經(jīng)處理單元)公司Kinara
    的頭像 發(fā)表于 02-12 17:02 ?751次閱讀

    恩智浦擬22.44億人民幣收購邊緣NPU企業(yè)Kinara

    近日,全球領(lǐng)先的半導體公司恩智浦半導體宣布,已與邊緣NPU(神經(jīng)網(wǎng)絡處理器)企業(yè)Kinara達成最終收購協(xié)議。根據(jù)協(xié)議,恩智浦將以3.07億美元(當前約合22.44億元人民幣)現(xiàn)金收購Kina
    的頭像 發(fā)表于 02-12 10:31 ?516次閱讀

    使用NVIDIA推理平臺提高AI推理性能

    NVIDIA推理平臺提高了 AI 推理性能,為零售、電信等行業(yè)節(jié)省了數(shù)百萬美元。
    的頭像 發(fā)表于 02-08 09:59 ?725次閱讀
    使用NVIDIA<b class='flag-5'>推理</b>平臺提高<b class='flag-5'>AI</b><b class='flag-5'>推理性能</b>

    Arm KleidiAI助力提升PyTorch上LLM推理性能

    熱門的深度學習框架尤為突出,許多企業(yè)均會選擇其作為開發(fā) AI 應用的庫。通過部署 Arm Kleidi 技術(shù),Arm 正在努力優(yōu)化 PyTorch,以加速在基于 Arm 架構(gòu)的處理器上運行 LLM 的性能。Arm 通過將 Kle
    的頭像 發(fā)表于 12-03 17:05 ?1495次閱讀
    Arm KleidiAI助力提升PyTorch上LLM<b class='flag-5'>推理性能</b>

    英特爾?至強?可擴展處理器助力智慧醫(yī)療的數(shù)字化轉(zhuǎn)型

    醫(yī)療機構(gòu)實現(xiàn)數(shù)據(jù)的收集、分析和輔助決策,從而提升醫(yī)療服務質(zhì)量與效率。 ? 這一處理器內(nèi)置的AI加速顯著提升了AI
    發(fā)表于 09-29 11:13 ?6365次閱讀
    英特爾?至強?可擴展<b class='flag-5'>處理器</b>助力智慧醫(yī)療的數(shù)字化轉(zhuǎn)型

    英特爾? 酷睿? Ultra 處理器面向多行業(yè)加速AI產(chǎn)業(yè)升級

    持競爭力,企業(yè)亟需更高效的計算平臺來處理日益復雜的數(shù)據(jù)分析和AI推理任務。 為響應這一時代需求,英特爾正式發(fā)布英特爾? 酷睿? Ultra
    發(fā)表于 09-14 20:36 ?1.3w次閱讀
    英特爾? 酷睿? Ultra <b class='flag-5'>處理器</b>面向多行業(yè)加速<b class='flag-5'>AI</b>產(chǎn)業(yè)升級

    開箱即用,AISBench測試展示英特爾至強處理器的卓越推理性能

    。 中國電子技術(shù)標準化研究院賽西實驗室依據(jù)國家標準《人工智能服務系統(tǒng)性能測試規(guī)范》(征求意見稿)相關(guān)要求,使用AISBench?2.0測試工具,完成了第五代英特爾至強可擴展處理器AI
    的頭像 發(fā)表于 09-06 15:33 ?830次閱讀
    開箱即用,AISBench測試展示英特爾至強<b class='flag-5'>處理器</b>的卓越<b class='flag-5'>推理性能</b>