99精品伊人亚洲|最近国产中文炮友|九草在线视频支援|AV网站大全最新|美女黄片免费观看|国产精品资源视频|精彩无码视频一区|91大神在线后入|伊人终合在线播放|久草综合久久中文

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

基于 ODLA 的異構 AI 硬件對接方案介紹

lhl545545 ? 來源:與非網 ? 作者:與非網 ? 2020-09-25 17:25 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

在剛剛結束的 2020 云棲大會上,阿里云宣布對行業(yè)開源業(yè)界首個深度學習開放接口標準 ODLA(Open Deep Learning API)。阿里云在今年 5 月份的 OCP 全球峰會上首次對外公布 ODLA 接口標準,并宣布已率先在 Graphcore 等生態(tài)伙伴上獲得支持。IPU 是 Graphcore 為機器智能從零設計的 AI 處理器,通過 ODLA 接口,開發(fā)者可以在 IPU 上快速跑通 AI Matrix 的各類模型。

基于 ODLA 的異構 AI 硬件對接方案介紹

張偉豐博士在 2020 OCP 全球峰會上公布 ODLA 接口標準

ODLA 是一個為加速深度學習的統(tǒng)一異構硬件編程接口。ODLA 規(guī)范了深度學習計算任務的定義和執(zhí)行,實現上層應用和底層異構硬件平臺的解耦,讓 AI 異構計算更簡單,實踐代碼“生成一次,隨時鏈接,隨處執(zhí)行”的愿景。

“令人興奮的新應用程序意味著我們對數據中心的期望比以往任何時候都要更高。我們希望通過使用更廣泛的硬件選擇,以更大的規(guī)模,擴大操作類型范圍。ODLA 使我們能夠管理這種復雜性,并挖掘出這些出色的新技術的全部潛力。”Graphcore 高級副總裁兼中國區(qū)總經理盧濤表示。

阿里云開發(fā) ODLA 是為了解決異構計算中存在許久的一個核心挑戰(zhàn)。ODLA 是輕量高效的異構硬件統(tǒng)一接口標準,可在異構計算環(huán)境中實現效率最大化。在異構計算環(huán)境中,軟件框架需要從專業(yè)芯片中獲得最高性能,需要多種類型處理器在一個通用平臺上協(xié)同工作,而每種處理器都需要針對其架構和專業(yè)知識領域進行某種程度的優(yōu)化,例如 AI 的稀疏性。API 提供的抽象級別可以適應芯片架構之間的差異。

基于 ODLA 的異構 AI 硬件對接方案

通過 ODLA,在 Graphcore IPU 上技術適配和應用部署的工作量可以實現大幅度降低,且實現效率大幅提升。另外,通過 ODLA 可以更好的與 AI 計算框架進行軟硬協(xié)同,快速利用現有的編譯優(yōu)化技術,達到最佳性能。對于異構任務,ODLA 充當該系統(tǒng)范圍通用語言與特定于架構的優(yōu)化之間的接口或轉換器,該優(yōu)化可從 Graphcore 的 IPU 等設備實現最佳性能。

對于數據中心運營商而言,除了簡化了新微處理器技術的集成之外,ODLA 還帶來了其他一系列好處。它支持通用和高性能的數據中心設置,并為高級應用程序提供統(tǒng)一的加速框架。對于應用程序開發(fā)人員來說,它減少了對不同架構進行重復優(yōu)化的需求,并應該可以減少開發(fā)成本,縮短產品上市時間。

ODLA 在 2020 云棲大會上宣布的主要特性及優(yōu)勢包含:

透明接口層,零損耗。

接口抽象和統(tǒng)一,軟硬件解耦:通過面向 AI 的多粒度算子抽象,定義統(tǒng)一的接口,解耦具體軟硬件,平滑遷移業(yè)務;實現代碼復用,提升開發(fā)和部署效率。

多模態(tài)執(zhí)行方式:支持多種執(zhí)行模式,覆蓋解釋執(zhí)行、編譯執(zhí)行、載入預編譯代碼等場景,兼容各種硬件的運行模式。

AI 全場景支持:支持推理和訓練,適配云、邊、端全場景 AI 業(yè)務;擁有廣泛的算子定義和豐富的接口(設備管理、會話管理、執(zhí)行管理、事件同步 / 異步、資源查詢、性能監(jiān)控等)。

卓越的擴展性,支持 AI 芯片廠家獨特屬性和自定義算子。

張偉豐博士在云棲大會上宣布開源 ODLA

Graphcore 公司相信,IPU 將成為下一代數據中心 AI 工作負載的核心。我們深知,我們的愿景需要 ODLA 在內的諸多框架和工具,這些框架和工具能使我們的產品與其他同類最佳技術協(xié)同工作。

Graphcore 的聯合創(chuàng)始人兼首席執(zhí)行官 Nigel Toon 表示:“ODLA 優(yōu)雅地滿足了 Graphcore 新用戶的兩個最大需求。一是他們希望輕松地將我們的技術集成到現有的數據中心,二是他們希望確保最終的設置在從各個組件到整個系統(tǒng)的每個層級都能得到高度優(yōu)化?!?br /> 責任編輯:pj

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯系本站處理。 舉報投訴
  • 處理器
    +關注

    關注

    68

    文章

    19896

    瀏覽量

    235309
  • AI
    AI
    +關注

    關注

    88

    文章

    35164

    瀏覽量

    280060
  • 阿里云
    +關注

    關注

    3

    文章

    1014

    瀏覽量

    44196
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    最新人工智能硬件培訓AI基礎入門學習課程參考2025版(離線AI語音視覺識別篇)

    端側離線 AI 智能硬件作為 AI 技術的重要載體之一,憑借其無需依賴網絡即可實現智能功能的特性,在一些網絡條件受限或對數據隱私有較高要求的場景中,發(fā)揮著不可或缺的作用。本章基于CSK6大模型語音
    發(fā)表于 07-04 11:14

    異構計算解決方案(兼容不同硬件架構)

    異構計算解決方案通過整合不同類型處理器(如CPU、GPU、NPU、FPGA等),實現硬件資源的高效協(xié)同與兼容,滿足多樣化計算需求。其核心技術與實踐方案如下: 一、
    的頭像 發(fā)表于 06-23 07:40 ?186次閱讀

    RAKsmart智能算力架構:異構計算+低時延網絡驅動企業(yè)AI訓練范式升級

    AI大模型參數量突破萬億、多模態(tài)應用爆發(fā)的今天,企業(yè)AI訓練正面臨算力效率與成本的雙重挑戰(zhàn)。RAKsmart推出的智能算力架構,以異構計算資源池化與超低時延網絡為核心,重構AI訓練基
    的頭像 發(fā)表于 04-17 09:29 ?323次閱讀

    廣和通受邀參加扣子AI工坊硬件專場活動

    近日,廣和通受邀參加扣子AI工坊硬件專場,與眾多AI行業(yè)專家、開發(fā)者和企業(yè)代表同步齊聚北京、深圳、杭州、成都四城,共同探索AI硬件的創(chuàng)新應用
    的頭像 發(fā)表于 03-25 15:31 ?557次閱讀

    企業(yè)AI產品升級解決方案如何選?看這一篇就夠了!

    AI硬件產品的爆火讓市面上出現了一大批AI硬件產品,市面上的AI產品解決方案也是琳瑯滿目,那企業(yè)
    的頭像 發(fā)表于 03-21 18:02 ?638次閱讀
    企業(yè)<b class='flag-5'>AI</b>產品升級解決<b class='flag-5'>方案</b>如何選?看這一篇就夠了!

    GS1-N2:雙核心異構 AI 硬盤錄像機

    Firefly推出雙核心異構AI硬盤錄像機GS1-N2,采用雙處理器架構,分別負責視頻解碼和AI處理,優(yōu)化資源分配,增強AI處理能力,支持最高8K視頻解碼。8個千兆網接口,可接駁符合O
    的頭像 發(fā)表于 03-21 16:52 ?569次閱讀
    GS1-N2:雙核心<b class='flag-5'>異構</b> <b class='flag-5'>AI</b> 硬盤錄像機

    可智能深度學習的AI攝像機模組方案

    一、方案簡介 AI攝像機模組主要定位為行業(yè)AI攝像機模組,廣泛應用在泛安防行業(yè),實現人臉識別、人臉抓拍、電動車識別、車牌識別等功能,用于實現身份驗證、人員、車輛等管理。感算商城聯合知名方案
    發(fā)表于 03-21 11:28

    NV-C2P10:雙核心異構 AI 硬盤錄像機

    Firefly推出雙核心異構AI硬盤錄像機——NV-C2P10,采用雙處理器架構,分別負責視頻解碼和AI處理,優(yōu)化資源分配,增強AI處理能力,支持最高8K視頻解碼;具備8個千兆網接口,
    的頭像 發(fā)表于 03-19 16:32 ?536次閱讀
    NV-C2P10:雙核心<b class='flag-5'>異構</b> <b class='flag-5'>AI</b> 硬盤錄像機

    【「AI Agent應用與項目實戰(zhàn)」閱讀體驗】書籍介紹

    會追根溯源,讓你有種“大徹大悟”的感覺。 這本書主要講大語言模型的內容,教我們做一個AI Agent應用出來,其實這個東西現在也叫智能體了,他跟我們平常使用大語言模型有個不同點在于他會專注某個領域
    發(fā)表于 03-05 20:40

    FPGA+AI王炸組合如何重塑未來世界:看看DeepSeek東方神秘力量如何預測......

    的三重革命1) 硬件架構革命:英特爾IPU路線圖顯示,到2026年將推出FPGA+Xeon的異構加速卡;AMD計劃2023年集成Xilinx AI Engine的CPU芯片...... 2) 系統(tǒng)集成革命
    發(fā)表于 03-03 11:21

    行業(yè)集結:共同定制 RK3566 集成 AI 眼鏡的前沿 AR 方案

    硬編碼· 超低功耗,路由器連接?;顩r下功耗低于 150uA· 內置語音喚醒 / 命令詞· 方案成熟度高,聲音和圖像上傳手機和服務器已有多個成熟案例,并有配套 APP適用場景與產品特性AI 眼鏡具備
    發(fā)表于 02-20 18:44

    進迭時空 K1 系列 8 核 64 位 RISC - V AI CPU 芯片介紹

    需要大量向量計算的任務中表現出色,例如圖像和視頻處理等。(三)通用的 AI 算力融合方式 :以 CPU 核融合方式提供原生 AI 算力。生態(tài)對接 :實現與所有主流 AI 生態(tài)的快速
    發(fā)表于 01-06 17:37

    唯創(chuàng)知音WT3000A AI智能對話方案介紹

    AI
    WT-深圳唯創(chuàng)知音電子有限公司
    發(fā)布于 :2025年01月02日 11:02:41

    安謀科技異構算力組合,破局生成式AI算力挑戰(zhàn)

    近日,此芯科技集團有限公司(以下簡稱“此芯科技”)AI PC戰(zhàn)略暨首款芯片發(fā)布會在上海舉行,正式推出了其首款專為AI PC打造的異構高能效芯片產品——“此芯P1”。作為國產新一代AI
    的頭像 發(fā)表于 08-13 09:12 ?931次閱讀

    安謀科技異構算力賦能AI計算,此芯科技首款AI PC芯片發(fā)布

    7月30日,此芯科技集團有限公司(以下簡稱“此芯科技”)AI PC戰(zhàn)略暨首款芯片發(fā)布會在上海舉行,正式推出了其首款專為AI PC打造的異構高能效芯片產品——“此芯P1”。作為國產新一代AI
    發(fā)表于 07-31 14:36 ?1321次閱讀
    安謀科技<b class='flag-5'>異構</b>算力賦能<b class='flag-5'>AI</b>計算,此芯科技首款<b class='flag-5'>AI</b> PC芯片發(fā)布