深入分析AMD MI300A的規(guī)格和設(shè)計方案

MI300A 與 H100 SXM，同樣是 APU（CPU + GPU）與僅 GPU 的比較，AMD 認為其芯片處于大致水平，但包含 CPU。

2023-12-21 標簽：芯片amdcpu 3480 0

Python GPU DataFrame庫cuDF介紹

cuDF (Pandas GPU 平替)，用于加載、連接、聚合、過濾和其他數(shù)據(jù)操作。

2023-12-20 標簽：gpu編程數(shù)據(jù)結(jié)構(gòu) 1004 0

什么是Triton-shared？Triton-shared的安裝和使用

經(jīng)過前面幾章關(guān)于triton在nv gpu上調(diào)優(yōu)的講解，我們這章開始來看看triton的一個third_party庫，該庫是為了讓triton去支持更多...

2023-12-19 標簽：gpuTriton代碼 1868 0

TOP25座艙SoC芯片性能排名

CPU算力決定座艙系統(tǒng)的流暢程度；GPU算力決定屏幕數(shù)量、分辨率和3D圖形性能；制造工藝越先進，功耗就能降低更多；存儲帶寬也決定一部分流暢程度；AI算力...

2023-12-18 標簽：cpugpuSoC芯片 3903 0

PyTorch常用代碼段合集資料分享

減少 CPU 和 GPU 之間的數(shù)據(jù)傳輸。例如如果你想知道一個 epoch 中每個 mini-batch 的 loss 和準確率，先將它們累積在 GPU...

2023-12-18 標簽：cpugpu函數(shù) 983 0

Triton編譯器的原理和性能

Triton是一種用于編寫高效自定義深度學習原語的語言和編譯器。Triton的目的是提供一個開源環(huán)境，以比CUDA更高的生產(chǎn)力編寫快速代碼，但也比其他現(xiàn)...

2023-12-16 標簽：內(nèi)核gpuTriton 3953 0

淺談DPU和CPU、GPU的關(guān)系

把CPU的一大部分算力卸載給GPU之后，人們發(fā)現(xiàn)可以把很多其他功能也外包出去，于是又有了智能網(wǎng)卡，或者叫做DPU。

2023-12-14 標簽：cpugpuDPU 1394 0

CPU和GPU之間的主要區(qū)別

以下是以表格形式提供的CPU和GPU之間的一些區(qū)別：中央處理器圖形處理器CPU代表中央處理器。GPU代表圖形處理單元。CPU是通用處理器。GPU是專用處...

2023-12-14 標簽：cpugpu圖形處理器 1272 0

大模型時代，AI芯片面臨的三大挑戰(zhàn)

AI算力需求的提升給中國本土芯片廠商的發(fā)展提供了較大的空間，帶來新的機遇。IDC預計，2023年中國人工智能芯片出貨量將達到133.5萬片，同比增長 2...

2023-12-14 標簽：cpugpuAI 2145 0

AI時代，你需要了解的GPU互聯(lián)技術(shù)：NVLink、IB、ROCE

總線是數(shù)據(jù)通信必備管道，PCIe 是最泛使用的總線協(xié)議?？偩€是服務器主板上不同硬件互相進行數(shù)據(jù)通信的管道，對數(shù)據(jù)傳輸速度起到?jīng)Q定性作用，目前最普及的總線...

2023-12-13 標簽：數(shù)據(jù)傳輸gpuAI 1.5萬 0

機器學習硬件性能的最新趨勢

許多DGX H100服務器又可以組成所謂的SuperPOD，其中各個獨立服務器中的加速器仍可使用NVLink傳輸數(shù)據(jù)，但耦合程度較低。每個SuperPO...

2023-12-13 標簽：cpu加速器gpu 682 0

什么是第三代通用計算？既通用又高性能的計算存在嗎？

對大芯片來說，通用是成功的必由之路。CPU是通用芯片，成就了Intel的成功；GPU是通用芯片，成就了NVIDIA的成功。目前，還沒有看到做專用芯片非常...

2023-12-12 標簽：集成電路cpugpu 1224 0

簡單認識高級處理器

除了傳統(tǒng)的處理器 (CPU、MPU/MCU、DSP 和 GPU)，面向當代各種應用的高級處理器（Advanced Processors）層出不窮，例如加...

2023-12-07 標簽：處理器dspamd 1366 0

解讀AMD的“分布式幾何”新專利（GPU的完全小芯片方法）

AMD 的專利詳細介紹了一種方法，即放棄中央處理器，用多個小芯片取代單個硅塊，每個小芯片處理自己的任務。渲染指令以稱為命令列表的長序列發(fā)送到 GPU，其...

2023-12-06 標簽：處理器amdgpu 898 0

下一代HBM技術(shù)路線選擇對行業(yè)有何影響？

HBM 存儲器堆棧通過微凸塊連接到 HBM 堆棧中的硅通孔（TSV 或連接孔），并與放置在基礎(chǔ)封裝層上的中間件相連，中間件上還安裝有處理器，提供 HBM...

2023-12-06 標簽：DRAM存儲器gpu 772 0

理解KV cache的作用及優(yōu)化方法

MQA (Multi Query Attention，多查詢注意力) 是多頭注意力的一種變體。其主要區(qū)別在于，在 MQA 中不同的注意力頭共享一個K和V...

2023-12-04 標簽：gpuGPTLLM 9025 0

Xen雙系統(tǒng)GPU資源分配過程

i.MX8 有兩個 GPU，型號為 GC7000，這兩個 GPU 可以同時分給 Kernel 系統(tǒng)，也可以同時分給 Android 系統(tǒng)，也可以一邊分配...

2023-12-04 標簽：NXPAndroidgpu 872 0

盤點GPU Fabric典型拓撲結(jié)構(gòu)

當前，許多超大規(guī)模廠商正在競相構(gòu)建大型 GPU 集群，以適應GenAI訓練工作負載。本文探討了針對GenAI訓練工作負載進行優(yōu)化的各種網(wǎng)絡拓撲結(jié)構(gòu)，如M...

2023-12-03 標簽：負載gpu拓撲結(jié)構(gòu) 4331 0