FPGA和ASIC在大模型推理加速中的應(yīng)用

隨著現(xiàn)在AI的快速發(fā)展，使用FPGA和ASIC進行推理加速的研究也越來越多，從目前的市場來說，有些公司已經(jīng)有了專門做推理的ASIC，像Groq的LPU，...

2024-10-29 標簽：FPGAasicAI 1927 0

深度學(xué)習(xí)模型部署與優(yōu)化：策略與實踐；L40S與A100、H100的對比分析

隨著生成式AI應(yīng)用的迅猛發(fā)展，我們正處在前所未有的大爆發(fā)時代。在這個時代，深度學(xué)習(xí)模型的部署成為一個亟待解決的問題。盡管GPU在訓(xùn)練和推理中扮演著關(guān)鍵角...

2023-10-07 標簽：gpuAI深度學(xué)習(xí) 1921 0

大模型分布式訓(xùn)練并行技術(shù)（一）-概述

數(shù)據(jù)并行是最常見的并行形式，因為它很簡單。在數(shù)據(jù)并行訓(xùn)練中，數(shù)據(jù)集被分割成幾個碎片，每個碎片被分配到一個設(shè)備上。這相當(dāng)于沿批次（Batch）維度對訓(xùn)練過...

2023-08-24 標簽：模型數(shù)據(jù)集pytorch 1917 0

開源大模型FLM-101B：訓(xùn)練成本最低的超100B參數(shù)大模型

近期，一支來自中國的研究團隊正是針對這些問題提出了解決方案，他們推出了FLM-101B模型及其配套的訓(xùn)練策略。FLM-101B不僅大幅降低了訓(xùn)練成本，而...

2023-09-12 標簽：開源語言模型大模型 1915 0

中科大&字節(jié)提出UniDoc：統(tǒng)一的面向文字場景的多模態(tài)大模型

如上圖所示，UniDoc基于預(yù)訓(xùn)練的視覺大模型及大語言模型，將文字的檢測、識別、spotting(圖中未畫出)、多模態(tài)理解等四個任務(wù)，通過多模態(tài)指令微調(diào)...

2023-08-31 標簽：語言模型數(shù)據(jù)集大模型 1909 0

大模型訓(xùn)練loss突刺原因和解決辦法

PaLM和GLM130b之前的解決辦法是找到loss spike之前最近的checkpoint，更換之后的訓(xùn)練樣本來避免loss spike的出現(xiàn)。

2024-01-09 標簽：Palm人工智能大模型 1893 0

什么是RAG，RAG學(xué)習(xí)和實踐經(jīng)驗

高級的RAG能很大程度優(yōu)化原始RAG的問題，在索引、檢索和生成上都有更多精細的優(yōu)化，主要的優(yōu)化點會集中在索引、向量模型優(yōu)化、檢索后處理等模塊進行優(yōu)化

2024-04-24 標簽：大模型 1815 0

大型語言模型在關(guān)鍵任務(wù)和實際應(yīng)用中的挑戰(zhàn)

大型語言模型的出現(xiàn)極大地推動了自然語言處理領(lǐng)域的進步，但同時也存在一些局限性，比如模型可能會產(chǎn)生看似合理但實際上是錯誤或虛假的內(nèi)容，這一現(xiàn)象被稱為幻覺（...

2023-08-15 標簽：解碼器數(shù)據(jù)語言模型 1790 0

教您如何精調(diào)出自己的領(lǐng)域大模型

BERT和 GPT-3 等語言模型針對語言任務(wù)進行了預(yù)訓(xùn)練。微調(diào)使它們適應(yīng)特定領(lǐng)域，如營銷、醫(yī)療保健、金融。在本指南中，您將了解 LLM 架構(gòu)、微調(diào)過程...

2024-01-19 標簽：神經(jīng)網(wǎng)絡(luò)nlpChatGPT 1777 0

無任何數(shù)學(xué)公式理解大模型基本原理

前言 為什么我們使用chatgpt問一個問題,回答時,他是一個字或者一個詞一個詞的蹦出來,感覺是有個人在輸入,顯得很高級,其實這這一個詞一個詞蹦不是為了...

2024-06-25 標簽：神經(jīng)網(wǎng)絡(luò)大模型 1774 0

CPU、GPU與算存互連的復(fù)雜比較與重要性分析

據(jù)科技部新一代人工智能發(fā)展研究中心發(fā)布的報告顯示，我國已發(fā)布79個參數(shù)規(guī)模超過10億的大模型，幾乎形成了百模大戰(zhàn)的局面。在大模型研發(fā)方面，中國14個省區(qū)...

2023-07-06 標簽：cpugpu算力 1760 0

基于AX650N/AX630C部署多模態(tài)大模型InternVL2-1B

InternVL2是由上海人工智能實驗室OpenGVLab發(fā)布的一款多模態(tài)大模型，中文名稱為“書生·萬象”。該模型在多學(xué)科問答（MMMU）等任務(wù)上表現(xiàn)出...

2024-11-18 標簽：人工智能AI芯片愛芯元智 1735 0

探索SFT訓(xùn)練策略對性能的影響

大模型混合多種能力項數(shù)據(jù)進行微調(diào)時，會呈現(xiàn)高資源沖突，低資源增益的現(xiàn)象。我們提出的DMT策略通過在第一階段微調(diào)特定能力數(shù)據(jù)，在第二階段微調(diào)通用數(shù)據(jù)+少量...

2023-10-26 標簽：數(shù)據(jù)語言模型SFT 1727 0