全志A40和A50的區(qū)別 A40i處理器架構設計分析

全志A50相對于A40來說，在處理器性能、GPU性能和視頻解碼能力方面略為突出。這使得A50更適合處理更為復雜的應用需求，如高清視頻播放、游戲等。對于一...

2023-08-05 標簽：處理器嵌入式系統(tǒng)GPU 7319 0

面向高性能計算和人工智能聚焦VDI的GPU部署

由于圖形和視頻在常見生產力類應用中的使用大量增加，對于眾多傳統(tǒng)知識型崗位工作者來說，GPU已經(jīng)成為其VDI解決方案必不可少的組成。NVIDIA一直是面向...

2018-04-01 標簽：NVIDIAGPU人工智能 7215 0

超算網(wǎng)絡中的主流拓撲架構

傳統(tǒng)的樹形網(wǎng)絡拓撲中，帶寬是逐層收斂的，樹根處的網(wǎng)絡帶寬要遠小于各個葉子處所有帶寬的總和。而Fat-Tree則更像是真實的樹，越到樹根，枝干越粗，即：從...

2024-03-26 標簽：gpu服務器交換機 7076 0

圖解大模型系列之：Megatron源碼解讀1，分布式環(huán)境初始化

使用Megatron來訓練gpt類大模型的項目有很多。在這個系列里，我選擇了由THUDM開發(fā)的CodeGeeX項目，它是gpt在代碼生成方向上的應用，對...

2023-06-06 標簽：gpu源碼大模型 7050 0

如何使用OpenCL輕松實現(xiàn)FPGA應用編程

實現(xiàn)這一編程思想的轉變，是因為 FPGA 借助 OpenCL 實現(xiàn)了編程，程序員只需要通過 C/C++ 添加適當?shù)?pragma 就能實現(xiàn) FPGA 編...

2020-07-16 標簽：fpgagpu深度學習 6926 0

深度解析HBM內存技術

HBM作為基于3D堆棧工藝的高性能DRAM，打破內存帶寬及功耗瓶頸。HBM(High Bandwidth Memory)即高帶寬存儲器，通過使用先進封裝...

2024-01-02 標簽：存儲器gpu內存 6884 0

CPU和GPU大不相同，究竟原因在哪？

GPU采用了數(shù)量眾多的計算單元和超長的流水線，但只有非常簡單的控制邏輯并省去了Cache。而CPU不僅被Cache占據(jù)了大量空間，而且還有有復雜的控制邏...

2017-10-26 標簽：cpu摩爾定律gpu 6797 1

CPU與GPU維護數(shù)據(jù)結構來保證環(huán)形緩沖區(qū)的正確工作

CPU 和 GPU 將各自維護一些數(shù)據(jù)結構來保證環(huán)形緩沖區(qū)的正確工作。這些 數(shù)據(jù)結構有緩沖區(qū)的基地址，緩沖區(qū)大小，寫指針和讀指針。其中寫指針和讀指針分別...

2018-03-30 標簽：CPUGPU數(shù)據(jù)結構 6722 0

主流大模型推理框架盤點解析

vLLM是一個開源的大模型推理加速框架，通過PagedAttention高效地管理attention中緩存的張量，實現(xiàn)了比HuggingFace Tra...

2023-10-10 標簽：神經(jīng)網(wǎng)絡gpu服務器 6718 0

什么是CXL技術？CXL的三種模式、類型、應用

更快的數(shù)據(jù)傳輸速度：CXL技術可以實現(xiàn)高達25GB/s的數(shù)據(jù)傳輸速度，比目前常用的PCIe 4.0技術還要快。這意味著在數(shù)據(jù)中心等高性能應用場景下，可以...

2023-09-27 標簽：fpgacpugpu 6717 0

AI服務器架構的五大硬件拆解

AI 服務器我們瞄準英偉達 DGX A100 和 DGX H100 兩款具有標桿性產品力的產品進行分析，鑒于 H100 發(fā)布時間較短、資料詳盡度不夠，我...

2023-08-11 標簽：pcbgpu服務器 6622 0