LLM推理上的DeepSpeed Inference優(yōu)化實(shí)踐方案

首先將 batch 拆分為 micro-batch，其中 micro-batch 數(shù)等于 pipeline 深度，micro-batch通過動態(tài)隊(duì)列的順...

2023-11-16 標(biāo)簽：cpugpu內(nèi)存 4681 0

數(shù)據(jù)中心為什么要部署FPGA？

FPGA 芯片在數(shù)據(jù)中心領(lǐng)域主要用于硬件加速，在云服務(wù)器廠商中已有廣泛部署。數(shù)據(jù)中心使用 FPGA 芯片代替?zhèn)鹘y(tǒng)的 CPU 方案后，處理其自定義算法時(shí)可...

2023-11-16 標(biāo)簽：fpga英特爾cpu 1180 0

cpu和gpu的結(jié)構(gòu)區(qū)別

CPU和GPU之所以大不相同，是由于其設(shè)計(jì)目標(biāo)的不同，它們分別針對了兩種不同的應(yīng)用場景。 CPU需要很強(qiáng)的通用性來處理各種不同的數(shù)據(jù)類型，同時(shí)又要邏輯判...

2023-11-15 標(biāo)簽：寄存器cpugpu 2094 0

MixFormerV2：基于Transformer的高效跟蹤器

我們通過簡潔有效的模型結(jié)構(gòu)設(shè)計(jì)和高效的基于知識蒸餾的模型壓縮，對于現(xiàn)有的 MixFormer 模型進(jìn)行了大幅度的輕量化提出了 MixFormerV2，同...

2023-11-14 標(biāo)簽：gpu模型跟蹤器 1711 0

深度學(xué)習(xí)主流部署框架及路線圖

主要是基于云服務(wù)器與分布式服務(wù)提供，企業(yè)需要支付云服務(wù)器算力費(fèi)用與存儲費(fèi)用。優(yōu)點(diǎn)是便于擴(kuò)展，方便在多個位置與節(jié)點(diǎn)快速部署使用模型算法；缺點(diǎn)是與邊緣部署相...

2023-11-13 標(biāo)簽：英特爾cpugpu 852 0

CPU、GPU和內(nèi)存知識科普

本文內(nèi)容包括CPU、內(nèi)存和GPU知識，本期重點(diǎn)更新GPU和CPU部分知識。比如：GPU更新包括架構(gòu)演進(jìn)，最新產(chǎn)品A100、選型策略、架構(gòu)分析、散熱和規(guī)格分類等。

2023-11-13 標(biāo)簽：處理器cpugpu 2424 0

新版Hi3559AV100開發(fā)注意事項(xiàng)

新版Hi3559AV100開發(fā)注意事項(xiàng)

2023-11-13 標(biāo)簽：數(shù)據(jù)gpuC編譯 1288 0

人工智能算力為什么需要GPU？

GPU前面加一個“GP”，就變?yōu)镚eneral-Purpose Computing on Graphics Processing Units，即通用計(jì)算...

2023-11-10 標(biāo)簽：cpugpu顯卡 7372 0

傳英偉達(dá)針對中國開發(fā)三款芯片

英偉達(dá)為因應(yīng)管制措施，特地針對中國開發(fā)三款芯片，最初只是為規(guī)避先前的管制而設(shè)計(jì)，但值得注意的是，改良后的芯片將焦點(diǎn)從GPU 之間的互連互通轉(zhuǎn)移到運(yùn)算能力...

2023-11-10 標(biāo)簽：存儲器gpu英偉達(dá) 978 0

Android發(fā)熱監(jiān)控實(shí)現(xiàn)過程解析

溫度是最直觀能反映發(fā)熱問題的指標(biāo)，當(dāng)前 Android 側(cè)，我們以體感溫度 37° 以上作為分界線，向上每 3° 作為一個發(fā)熱溫度區(qū)間，區(qū)間細(xì)分上限溫度...

2023-11-10 標(biāo)簽：傳感器Androidcpu 1129 0

淺談封裝原材料及輔助材料

封裝材料大致可分為原材料和輔助材料。原材料是構(gòu)成封裝本身的一部分，直接影響著產(chǎn)品的質(zhì)量和可靠性。而輔助材料則不屬于產(chǎn)品的本身構(gòu)成部分，它們僅在封裝過程中...

2023-11-10 標(biāo)簽：cpu晶圓gpu 3054 0

全球GPU市場分析 GPU在汽車電子中的應(yīng)用情況

以ChatGPT的訓(xùn)練為例，單次模型訓(xùn)練就可能需要超過2000張英偉達(dá)A100顯卡持續(xù)不斷地訓(xùn)練27天。不僅如此，大模型的日常運(yùn)行中每一次用戶調(diào)用都需要...

2023-11-10 標(biāo)簽：amdNVIDIAgpu 1042 0

什么是虛擬GPU？虛擬GPU的優(yōu)勢有哪些？

虛擬 GPU，也稱為 vGPU，是通過將數(shù)據(jù)中心 GPU 進(jìn)行虛擬化，用戶可在多個虛擬機(jī)中共享該 GPU。

2023-11-10 標(biāo)簽：NVIDIAgpu數(shù)據(jù)中心 2495 0

177倍加速！NVIDIA最新開源 | GPU加速各種SDF建圖！

但最近，NVIDIA和ETHZ就聯(lián)合提出了nvblox，是一個使用GPU加速SDF建圖的庫。計(jì)算速度非?？欤噍^CPU計(jì)算TSDF甚至快了177倍。更重...

2023-11-09 標(biāo)簽：機(jī)器人gpu深度學(xué)習(xí) 1674 0

數(shù)據(jù)中心處理器采用Chiplet有何優(yōu)勢？

生成式人工智能和大模型的驅(qū)動下，我們正置身于一個算力領(lǐng)域千載難逢的拐點(diǎn)：一個類似于個人電腦、互聯(lián)網(wǎng)、移動設(shè)備和云誕生的時(shí)刻。

2023-11-07 標(biāo)簽：英特爾gpu服務(wù)器 1129 0

一文解析Numenta加速AI推理的的秘密

Numenta成立于2005年，由Jeff Hawkins和Donna Dubinsky創(chuàng)立，公司的目標(biāo)是將更多的大腦工作方式應(yīng)用于人工智能問題。提出的...

2023-11-06 標(biāo)簽：英特爾cpuNVIDIA 450 0