99精品伊人亚洲|最近国产中文炮友|九草在线视频支援|AV网站大全最新|美女黄片免费观看|国产精品资源视频|精彩无码视频一区|91大神在线后入|伊人终合在线播放|久草综合久久中文

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

Amazon EC2 Inf2實例正式可用 助力低成本、高性能的生成式AI推理

全球TMT ? 來源:全球TMT ? 作者:全球TMT ? 2023-04-21 14:33 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

深度學(xué)習(xí)(DL)的創(chuàng)新,特別是大語言模型(LLM)的快速發(fā)展,已經(jīng)席卷了整個行業(yè)。深度學(xué)習(xí)模型的參數(shù)已從數(shù)百萬增加到數(shù)十億,為我們呈現(xiàn)了越來越多激動人心的新能力。它們正在催生新的應(yīng)用,如生成式AI或醫(yī)療保健和生命科學(xué)的高級研究。亞馬遜科技一直在芯片、服務(wù)器、數(shù)據(jù)中心互連和軟件服務(wù)等多個方面創(chuàng)新,加速深度學(xué)習(xí)工作負(fù)載的大規(guī)模應(yīng)用。

亞馬遜云科技在2022 re:Invent 全球大會上,以其最新的自研機(jī)器學(xué)習(xí)推理芯片Amazon Inferentia2為基礎(chǔ),發(fā)布了AmazonEC2 Inf2系列實例的預(yù)覽版。AmazonEC2 Inf2類型實例專門針對全球大規(guī)模運行高性能深度學(xué)習(xí)推理應(yīng)用程序,為部署在EC2上的生成式AI應(yīng)用提供最佳性價比,其中包含GPT-J或開放式預(yù)訓(xùn)練Transformer(OPT)語言模型。

現(xiàn)在,亞馬遜云科技宣布Amazon EC2 Inf2實例正式可用。

Inf2實例是AmazonEC2上首個推理優(yōu)化的實例,支持可擴(kuò)展的分布式推理,可實現(xiàn)多個inferentia2芯片之間的超高速連接。用戶可以在Inf2實例中跨多個芯片高效部署具有數(shù)千億個參數(shù)的模型。與Amazon EC2 Inf1實例相比,Inf2實例的吞吐量提高4倍,延遲降低10倍。

新Inf2實例的亮點

Inf2實例目前有四種可用實例類型,最高擴(kuò)展至12個Amazon Inferentia2芯片和192個vCPU配置。在BF16或FP16數(shù)據(jù)類型下,它們能夠提供2.3 petaFLOPS的綜合計算能力,并具有芯片間超高速NeuronLink互連的功能。NeuronLink可在多個Inferentia2芯片上擴(kuò)展大模型,避免通信瓶頸,實現(xiàn)更高性能的推理。

每個Inferentia2芯片內(nèi)有32 GB的高帶寬內(nèi)存(HBM),最高配置的Inf2 實例可提供高達(dá)384 GB的共享加速器內(nèi)存,總內(nèi)存帶寬為9.8 TB/s。對于需要大內(nèi)存支持的的大型語言模型而言,這種帶寬對于支持模型推理尤為重要。

基于專門為深度學(xué)習(xí)工作負(fù)載而構(gòu)建的Amazon Inferentia2芯片的Amazon EC2 Inf2,相比同類實例,單位功率性能高出了50%。

AmazonInferentia2的創(chuàng)新之處

與亞馬遜自研機(jī)器學(xué)習(xí)訓(xùn)練芯片Amazon Trainium類似,每個Amazon Inferentia2芯片都配有兩個經(jīng)過優(yōu)化的NeuronCore-v2引擎、高帶寬內(nèi)存(HBM)堆棧和專用的集體計算引擎,以便在執(zhí)行多加速器推理時實現(xiàn)計算與通信的并行。

每個NeuronCore-v2都有專為深度學(xué)習(xí)算法構(gòu)建的標(biāo)量、向量和張量三種引擎,其中張量引擎針對矩陣運算進(jìn)行了優(yōu)化;標(biāo)量引擎針對ReLU(修正線性單元)函數(shù)等元素性操作進(jìn)行了優(yōu)化;向量引擎針對批處理規(guī)范化或池化等非元素向量運算進(jìn)行了優(yōu)化。

以下是Amazon Inferentia2芯片和服務(wù)器硬件其他創(chuàng)新總結(jié):

數(shù)據(jù)類型——Amazon Inferentia2 支持多種數(shù)據(jù)類型,包括FP32、TF32、BF16、FP16 和UINT8,用戶可以為工作負(fù)載選擇最合適的數(shù)據(jù)類型。它還支持新的可配置FP8(cFP8)數(shù)據(jù)類型,該數(shù)據(jù)類型特別適用于大模型,因為它減少了模型的內(nèi)存占用和I/O 要求。

動態(tài)執(zhí)行和動態(tài)輸入形狀——Amazon Inferentia2 具有支持動態(tài)執(zhí)行的嵌入式通用數(shù)字信號處理器DSP),因此無需在主機(jī)上展開或執(zhí)行控制流運算符。Amazon Inferentia2 還支持動態(tài)輸入形狀,這些形狀對于具有未知輸入張量大小的模型(例如處理文本的模型)至關(guān)重要。

自定義運算符——Amazon Inferentia2支持用C++語言編寫的自定義運算符。Neuron自定義C++運算符使用戶能夠編寫在NeuronCore上天然運行的C++自定義運算符。用戶可以使用標(biāo)準(zhǔn)的PyTorch自定義運算符編程接口將CPU 自定義運算符遷移到Neuron 并實現(xiàn)新的實驗運算符,所有這些都無需對NeuronCore 硬件有任何深入了解。

NeuronLink v2——Inf2實例是AmazonEC2類型中首個將NeuronLink V2 用于推理優(yōu)化的實例,NeuronLink v2 為Inferentia2芯片間的提供超高速連接,加強分布式推理性能。NeuronLink v2使用all-reduce等聚合通信(CC)運算符,將高性能推理管道擴(kuò)展到所有的推理芯片上。

新Inf2實例現(xiàn)已可用

用戶可在亞馬遜云科技美東(俄亥俄州)和美東(北弗吉尼亞州)地區(qū)啟動Inf2實例,以按需、預(yù)留和競價實例或Savings Plan方式調(diào)用。用戶僅需為其實際使用的服務(wù)付費。如需了解更多相關(guān)信息,請訪問Amazon EC2定價網(wǎng)站。

Inf2實例可使用亞馬遜云科技深度學(xué)習(xí)鏡像進(jìn)行部署,并可通過Amazon SageMaker、Amazon Elastic Kubernetes Service(Amazon EKS)、Amazon Elastic Container Service(Amazon ECS)和Amazon ParallelCluster等托管服務(wù)調(diào)用。

如需了解更多信息,請訪問Amazon EC2 Inf2實例頁面,并將相關(guān)反饋發(fā)送給Amazon re:Post for EC2;或垂詢您的AmazonSupport聯(lián)系人。

審核編輯:湯梓紅

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 半導(dǎo)體
    +關(guān)注

    關(guān)注

    335

    文章

    28909

    瀏覽量

    237799
  • AI
    AI
    +關(guān)注

    關(guān)注

    88

    文章

    35136

    瀏覽量

    279774
  • 亞馬遜
    +關(guān)注

    關(guān)注

    8

    文章

    2696

    瀏覽量

    84673
  • 深度學(xué)習(xí)
    +關(guān)注

    關(guān)注

    73

    文章

    5561

    瀏覽量

    122794
  • 生成式AI
    +關(guān)注

    關(guān)注

    0

    文章

    531

    瀏覽量

    816
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    信而泰×DeepSeek:AI推理引擎驅(qū)動網(wǎng)絡(luò)智能診斷邁向 “自愈”時代

    網(wǎng)絡(luò)智能診斷平臺。通過對私有化網(wǎng)絡(luò)數(shù)據(jù)的定向訓(xùn)練,信而泰打造了高性能、高可靠性的網(wǎng)絡(luò)診斷模型,顯著提升了AI輔助診斷的精準(zhǔn)度與實用性。該方案實現(xiàn)了網(wǎng)絡(luò)全流量深度解析能力與AI智能推理
    發(fā)表于 07-16 15:29

    Banana Pi 發(fā)布 BPI-AI2N & BPI-AI2N Carrier,助力 AI 計算與嵌入開發(fā)

    助力 AI、智能制造和物聯(lián)網(wǎng)行業(yè)的發(fā)展。未來,Banana Pi 將繼續(xù)深化與Renesas的技術(shù)合作,推動更多高性能嵌入解決方案的落地。 ” BPI-
    發(fā)表于 03-19 17:54

    Amazon Web Services* Compute Cloud實例中運行時Benchmark_App失敗了的原因?

    在 AWS* EC2 實例上使用 [i]-infer_precision CPU:bf16 參數(shù)時,ran Benchmark_App 失敗,但未能完成。
    發(fā)表于 03-05 10:08

    聚云科技榮獲亞馬遜云科技生成AI能力認(rèn)證

    助力企業(yè)加速生成AI應(yīng)用落地 北京2025年2月14日?/美通社/ -- 云管理服務(wù)提供商聚云科技獲得亞馬遜云科技
    的頭像 發(fā)表于 02-14 16:07 ?395次閱讀

    聚云科技榮獲亞馬遜云科技生成AI能力認(rèn)證 助力企業(yè)加速生成AI應(yīng)用落地

    北京 ——2025 年 2 月 14 日 云管理服務(wù)提供商聚云科技獲得亞馬遜云科技生成AI能力認(rèn)證,利用亞馬遜云科技全托管的生成
    發(fā)表于 02-14 13:41 ?151次閱讀

    Qwen大模型助力開發(fā)低成本AI推理方案

    的S1推理模型和伯克利的TinyZero模型,均是基于阿里巴巴的Qwen2.5-32b-Instruct模型進(jìn)行訓(xùn)練的。這一技術(shù)的運用,使得兩款模型在保持高性能的同時,實現(xiàn)了成本的大幅降低。 Qwen2.5模型作為阿里巴巴的重要
    的頭像 發(fā)表于 02-12 09:19 ?643次閱讀

    生成AI推理技術(shù)、市場與未來

    OpenAI o1、QwQ-32B-Preview、DeepSeek R1-Lite-Preview的相繼發(fā)布,預(yù)示著生成AI研究正從預(yù)訓(xùn)練轉(zhuǎn)向推理(Inference),以提升
    的頭像 發(fā)表于 01-20 11:16 ?843次閱讀
    <b class='flag-5'>生成</b><b class='flag-5'>式</b><b class='flag-5'>AI</b><b class='flag-5'>推理</b>技術(shù)、市場與未來

    NeuroBlade攜手亞馬遜EC2 F2實例,加速數(shù)據(jù)分析

    數(shù)據(jù)分析加速領(lǐng)域的領(lǐng)航者NeuroBlade,近日宣布與亞馬遜云科技(AWS)最新推出的Amazon Elastic Compute Cloud (Amazon EC2) F2
    的頭像 發(fā)表于 12-31 11:37 ?541次閱讀

    亞馬遜云科技發(fā)布Amazon Trainium2實例

    的發(fā)布,標(biāo)志著亞馬遜云科技在人工智能訓(xùn)練和部署領(lǐng)域邁出了重要一步。 為了滿足用戶對高性能和高性價比的雙重需求,亞馬遜云科技還推出了Amazon EC2 Trn2 UltraServer
    的頭像 發(fā)表于 12-27 14:57 ?617次閱讀

    亞馬遜云科技發(fā)布Amazon Bedrock新功能

    近日,亞馬遜云科技宣布了一項重要更新——為其完全托管的Amazon Bedrock服務(wù)增添了多項創(chuàng)新功能。Amazon Bedrock旨在通過高性能基礎(chǔ)模型,助力用戶輕松構(gòu)建并擴(kuò)展
    的頭像 發(fā)表于 12-25 15:52 ?471次閱讀

    Amazon Bedrock全新升級,引領(lǐng)生成AI應(yīng)用新紀(jì)元

    近日,亞馬遜云科技宣布了對Amazon Bedrock的重大升級,推出了三項創(chuàng)新功能,進(jìn)一步鞏固了其在生成人工智能領(lǐng)域的領(lǐng)先地位。 Amazon Bedrock作為一項完全托管的服務(wù)
    的頭像 發(fā)表于 12-24 11:43 ?634次閱讀

    Amazon Bedrock推出多個新模型和全新強大的推理和數(shù)據(jù)處理功能

    :Invent全球大會上,宣布推出Amazon Bedrock的多項創(chuàng)新功能。Amazon Bedrock是亞馬遜云科技一項完全托管的服務(wù),旨在利用高性能基礎(chǔ)模型構(gòu)建和擴(kuò)展生成
    的頭像 發(fā)表于 12-07 19:31 ?1029次閱讀
    <b class='flag-5'>Amazon</b> Bedrock推出多個新模型和全新強大的<b class='flag-5'>推理</b>和數(shù)據(jù)處理功能

    亞馬遜云科技宣布Amazon Trainium2實例正式可用

    的訓(xùn)練和推理 北京2024年12月5日?/美通社/ -- 亞馬遜云科技在2024 re:Invent全球大會上,宣布基于Amazon Trainium2Amazon Elastic
    的頭像 發(fā)表于 12-06 09:15 ?573次閱讀
    亞馬遜云科技宣布<b class='flag-5'>Amazon</b> Trainium<b class='flag-5'>2</b><b class='flag-5'>實例</b>正式<b class='flag-5'>可用</b>

    亞馬遜云科技宣布Amazon EC2 P5e實例正式可用 由英偉達(dá)H200 GPU提供支持

    1.7倍,GPU內(nèi)存寬帶提升1.5倍。Amazon EC2 P5e非常適用于復(fù)雜的大型語言模型(LLM)和多模態(tài)基礎(chǔ)模型(FM)的訓(xùn)練、微調(diào)和推理,用于支持最苛刻和計算密集型的生成
    的頭像 發(fā)表于 09-19 16:16 ?884次閱讀

    Mistral Large 2現(xiàn)已在Amazon Bedrock中正式可用

    北京2024年7月25日 /美通社/ -- 亞馬遜云科技宣布,Mistral AI的Mistral Large 2(24.07)基礎(chǔ)模型(FM)現(xiàn)已在Amazon Bedrock中正式可用
    的頭像 發(fā)表于 07-26 08:07 ?516次閱讀