99精品伊人亚洲|最近国产中文炮友|九草在线视频支援|AV网站大全最新|美女黄片免费观看|国产精品资源视频|精彩无码视频一区|91大神在线后入|伊人终合在线播放|久草综合久久中文

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

芯科技,解密ChatGPT暢聊之算力芯片

是德科技KEYSIGHT ? 來(lái)源:未知 ? 2023-12-27 07:45 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

在今日飛速發(fā)展的科技浪潮中,OpenAI的ChatGPT如一顆璀璨明星,引領(lǐng)著智能對(duì)話的新潮流。ChatGPT不僅是一款聊天機(jī)器人程序,它背后的驅(qū)動(dòng)力是一個(gè)龐大而復(fù)雜的算力網(wǎng)絡(luò)。這個(gè)網(wǎng)絡(luò)依賴于先進(jìn)的GPU服務(wù)器,尤其是英偉達(dá)的A100 GPU,提供了強(qiáng)大而精確的計(jì)算能力。ChatGPT的功能遠(yuǎn)超日常對(duì)話,它能夠?qū)W習(xí)、理解并生成人類般的文本,是人工智能領(lǐng)域的一個(gè)重要突破。但其真正力量的源泉,是背后那些不斷工作的算力芯片,它們讓ChatGPT能夠?qū)崟r(shí)響應(yīng)和進(jìn)化,成為我們生活和工作中的得力助手。

本期是“芯科技”欄目第一期,文末有驚喜,千萬(wàn)別錯(cuò)過(guò)!

作為OpenAI研發(fā)的聊天機(jī)器人程序,支撐ChatGPT運(yùn)轉(zhuǎn)的可不是簡(jiǎn)單的一臺(tái)機(jī)器,而是一個(gè)龐大的算力網(wǎng)絡(luò)。這個(gè)算力網(wǎng)絡(luò)可以抽象為三層:傳輸網(wǎng)絡(luò)、計(jì)算網(wǎng)絡(luò)和存儲(chǔ)網(wǎng)絡(luò)。如下圖:

wKgZomWLZrKAA38rAAHaga7MSPs531.png

圖:算力網(wǎng)絡(luò)示意圖

當(dāng)前,大部分算力網(wǎng)絡(luò)所采用的是GPU服務(wù)器,并廣泛使用英偉達(dá)A100 GPU。A100 GPU屬于算力芯片的一種,類型是GPGPU,此外還有專用的ASIC,比如NPU、VPU和TPU等,以及傳統(tǒng)的CPUFPGA等。我們通過(guò)下面這張圖能夠比較直觀地看到GPGPU在性能、算法精度、通用性等方面的優(yōu)勢(shì)。

算力芯片對(duì)比

指標(biāo)

GPGPU

CPU

FPGA

ASIC

算力性能

極低

較高

芯片成本

較高

系統(tǒng)成本

功耗

能效比

極低

通用性

強(qiáng)

強(qiáng)

強(qiáng)

無(wú)

算力精度

豐富

單一

單一

單一

算法適配

豐富

單一

單一

單一

數(shù)據(jù)并行能力

強(qiáng)

強(qiáng)

強(qiáng)

適用場(chǎng)景

云端訓(xùn)練和推理

任務(wù)調(diào)度類

云邊端推理

云邊端訓(xùn)練和推理

圖:算力芯片分類

綜合而言,GPGPU是一款算力性能高,算力類型豐富,算法框架適配完全,數(shù)據(jù)并行能力強(qiáng)的算力芯片,更加適合當(dāng)前多模態(tài)AI模型的發(fā)展。

在算力網(wǎng)絡(luò)中,GPGPU芯片要發(fā)揮性能光靠自己可不行,需要系統(tǒng)的配合。在這個(gè)系統(tǒng)內(nèi):CPU負(fù)責(zé)任務(wù)調(diào)度;GPU負(fù)責(zé)主要的算力輸出,也就是計(jì)算任務(wù);內(nèi)存負(fù)責(zé)數(shù)據(jù)暫存,配合GPU進(jìn)行計(jì)算。

wKgZomWLZrKAMmUUAAXO92vc_Ko414.png

圖:算力網(wǎng)絡(luò)芯片分工示意圖

為了提升計(jì)算效率,減少數(shù)據(jù)傳輸?shù)难訒r(shí),英偉達(dá)A100在芯片封裝內(nèi)搭載了HBM內(nèi)存,其具有傳輸距離近,速度帶寬高,堆疊容量大的優(yōu)勢(shì)。

wKgZomWLZrOAWncQAAPS3eFl3OM467.png

圖:HBM內(nèi)存,示意圖

HBM這種芯片封裝內(nèi)搭載內(nèi)存的方式,成本是比較高的,因此大部分AI服務(wù)器選擇將計(jì)算芯片和內(nèi)存分開(kāi),為了提升這種方式下內(nèi)存的傳輸速度,內(nèi)存標(biāo)準(zhǔn)也在不斷演進(jìn),已經(jīng)迭代到DDR5。

wKgZomWLZrOAB72rAAK802-g8kw934.png

圖:內(nèi)存技術(shù)發(fā)展

內(nèi)存的發(fā)展趨勢(shì)是速度更快、尺寸更小、功耗更低。為了保障內(nèi)存的高性能和穩(wěn)定性,在測(cè)試環(huán)節(jié),需要進(jìn)行各種功能、性能和可靠性等方面測(cè)試,其中需要用到高速誤碼儀,示波器,協(xié)議分析儀,一致性分析軟件等軟硬件組合,如下圖:

wKgZomWLZrOATm9oAARdZyO2bdI224.png

圖:是德科技DDR5測(cè)試拓?fù)鋱D

是德科技,對(duì)算力芯片,總線技術(shù)PCIe/CXL,存儲(chǔ)技術(shù)DDR/LPDDR等都有完整的解決方案,更多有關(guān)算力芯片測(cè)試,請(qǐng)參考文章下載鏈接:

點(diǎn)擊注冊(cè)

作為是德科技 “芯科技” 系列第一期,我們特意為大家準(zhǔn)備了精美的禮品抽獎(jiǎng),也歡迎大家留言,把你想學(xué)習(xí)的知識(shí),你和是德科技的故事,一起告訴小編!


聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 是德科技
    +關(guān)注

    關(guān)注

    21

    文章

    995

    瀏覽量

    83602

原文標(biāo)題:芯科技,解密ChatGPT暢聊之算力芯片

文章出處:【微信號(hào):是德科技KEYSIGHT,微信公眾號(hào):是德科技KEYSIGHT】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    揭秘瑞協(xié)處理器,RK3576/RK3588強(qiáng)大搭檔

    協(xié)處理器-Gongga1(簡(jiǎn)稱“貢嘎”),是瑞微針對(duì)旗艦芯片平臺(tái)RK3576/RK3588等SoC平臺(tái)配套的
    的頭像 發(fā)表于 07-17 10:00 ?59次閱讀
    揭秘瑞<b class='flag-5'>芯</b>微<b class='flag-5'>算</b><b class='flag-5'>力</b>協(xié)處理器,RK3576/RK3588強(qiáng)大<b class='flag-5'>算</b><b class='flag-5'>力</b>搭檔

    芯片的生態(tài)突圍與革命

    電子發(fā)燒友網(wǎng)報(bào)道(文 / 李彎彎)大芯片,即具備強(qiáng)大計(jì)算能力的集成電路芯片,主要應(yīng)用于高性能計(jì)算(HPC)、人工智能(AI)、數(shù)據(jù)中心、自動(dòng)駕駛等需要海量數(shù)據(jù)并行計(jì)算的場(chǎng)景。隨著
    的頭像 發(fā)表于 04-13 00:02 ?1722次閱讀

    DeepSeek對(duì)芯片的影響

    DeepSeek模型,尤其是其基于MOE(混合專家)架構(gòu)的DeepSeek-V3,對(duì)芯片的要求產(chǎn)生了深遠(yuǎn)影響。為了更好地理解這一影響,我們可以從幾個(gè)方面進(jìn)行分析。一.MOE架構(gòu)對(duì)
    的頭像 發(fā)表于 02-07 10:02 ?1124次閱讀
    DeepSeek對(duì)<b class='flag-5'>芯片</b><b class='flag-5'>算</b><b class='flag-5'>力</b>的影響

    為企業(yè)量身定制解決方案

    面對(duì)智產(chǎn)業(yè)發(fā)展趨勢(shì),寧在2024年世界互聯(lián)網(wǎng)大會(huì)上,正式提出“精裝”概念,希望為智基礎(chǔ)設(shè)施的建設(shè)與運(yùn)維、乃至智算算
    的頭像 發(fā)表于 01-23 16:21 ?768次閱讀

    中心的如何衡量?

    作為當(dāng)下科技發(fā)展的重要基礎(chǔ)設(shè)施,其的衡量關(guān)乎其能否高效支撐人工智能、大數(shù)據(jù)分析等智能應(yīng)用的運(yùn)行。以下是對(duì)智中心算衡量的詳細(xì)闡述:一、
    的頭像 發(fā)表于 01-16 14:03 ?2493次閱讀
    <b class='flag-5'>算</b>智<b class='flag-5'>算</b>中心的<b class='flag-5'>算</b><b class='flag-5'>力</b>如何衡量?

    科技云報(bào)到:要更要“利”,“精裝”觸發(fā)大模型產(chǎn)業(yè)新變局?

    科技云報(bào)到:要更要“利”,“精裝”觸發(fā)大模型產(chǎn)業(yè)新變局?
    的頭像 發(fā)表于 01-16 10:24 ?466次閱讀

    澎峰科技助力中國(guó)移動(dòng) 重磅發(fā)布智合”原生基礎(chǔ)軟件棧2.0

    原生基礎(chǔ)軟件棧2.0。 芯片是智生態(tài)的基石,基礎(chǔ)軟件棧是智生態(tài)的核心。澎峰科技憑借在高性能計(jì)算庫(kù)和跨架構(gòu)領(lǐng)域的深厚積累,自
    的頭像 發(fā)表于 12-03 15:08 ?731次閱讀
    澎峰科技助力中國(guó)移動(dòng) 重磅發(fā)布智<b class='flag-5'>算</b>“<b class='flag-5'>芯</b>合”<b class='flag-5'>算</b><b class='flag-5'>力</b>原生基礎(chǔ)軟件棧2.0

    助推智中心發(fā)展邁入新階段

    在“全局智”戰(zhàn)略下,寧正式發(fā)布“全棧全液”AI基礎(chǔ)設(shè)施方案 ,在業(yè)內(nèi)首先實(shí)現(xiàn)了“全棧全液”的智中心建設(shè)能力,助推智中心發(fā)展邁入新階段。
    的頭像 發(fā)表于 11-07 11:18 ?573次閱讀

    一體架構(gòu)創(chuàng)新助力國(guó)產(chǎn)大AI芯片騰飛

    在灣展SEMiBAY2024《AI芯片與高性能計(jì)算(HPC)應(yīng)用論壇》上,億鑄科技高級(jí)副總裁徐芳發(fā)表了題為《存一體架構(gòu)創(chuàng)新助力國(guó)產(chǎn)大
    的頭像 發(fā)表于 10-23 14:48 ?872次閱讀

    【「芯片 | 高性能 CPU/GPU/NPU 微架構(gòu)分析」閱讀體驗(yàn)】--全書(shū)概覽

    本帖最后由 1653149838.791300 于 2024-10-16 22:19 編輯 感謝平臺(tái)提供的書(shū)籍,厚厚的一本,很有分量,感謝作者的傾力付出成書(shū)。 本書(shū)主要講芯片CPU
    發(fā)表于 10-15 22:08

    名單公布!【書(shū)籍評(píng)測(cè)活動(dòng)NO.43】 芯片 | 高性能 CPU/GPU/NPU 微架構(gòu)分析

    試用評(píng)測(cè)資格! 前言 不知不覺(jué)中,我們來(lái)到一個(gè)計(jì)算機(jī)科學(xué)飛速發(fā)展的時(shí)代,手機(jī)和計(jì)算機(jī)中各類便捷的軟件已經(jīng)融入日常生活,在此背景下,硬件特別是強(qiáng)勁的芯片,對(duì)于軟件服務(wù)起到不可替代的支撐作用。
    發(fā)表于 09-02 10:09

    淺析三大異同

    隨著一年多前ChatGPT的出現(xiàn)引爆人工智能(AI)浪潮,支撐大模型背后的“”概念突然闖進(jìn)我們的視野,成為科技圈炙手可熱的新詞,引領(lǐng)著最新潮流。作為數(shù)字經(jīng)濟(jì)時(shí)代新生產(chǎn),也許不少人
    的頭像 發(fā)表于 08-30 12:56 ?2189次閱讀
    淺析三大<b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>之</b>異同

    安謀科技異構(gòu)組合,破局生成式AI挑戰(zhàn)

    近日,此科技集團(tuán)有限公司(以下簡(jiǎn)稱“此科技”)AI PC戰(zhàn)略暨首款芯片發(fā)布會(huì)在上海舉行,正式推出了其首款專為AI PC打造的異構(gòu)高能效芯片產(chǎn)品——“此
    的頭像 發(fā)表于 08-13 09:12 ?927次閱讀

    安謀科技異構(gòu)賦能AI計(jì)算,此科技首款A(yù)I PC芯片發(fā)布

    7月30日,此科技集團(tuán)有限公司(以下簡(jiǎn)稱“此科技”)AI PC戰(zhàn)略暨首款芯片發(fā)布會(huì)在上海舉行,正式推出了其首款專為AI PC打造的異構(gòu)高能效芯片產(chǎn)品——“此
    發(fā)表于 07-31 14:36 ?1320次閱讀
    安謀科技異構(gòu)<b class='flag-5'>算</b><b class='flag-5'>力</b>賦能AI計(jì)算,此<b class='flag-5'>芯</b>科技首款A(yù)I PC<b class='flag-5'>芯片</b>發(fā)布