如何使用FasterTransformer進(jìn)行單機(jī)及分布式模型推理

最近幾個月，隨著ChatGPT的現(xiàn)象級表現(xiàn)，大模型如雨后春筍般涌現(xiàn)。而模型推理是抽象的算法模型觸達(dá)具體的實際業(yè)務(wù)的最后一公里。 但是在這個環(huán)節(jié)中，仍然還...

2023-05-18 標(biāo)簽：編碼模型單機(jī) 3004 0

模型在學(xué)習(xí)可轉(zhuǎn)移的語義分割表示方面的有效性

當(dāng)前語義分割任務(wù)存在一個特別常見的問題是收集 groundtruth 的成本和耗時很高，所以會使用預(yù)訓(xùn)練。例如監(jiān)督分類或自監(jiān)督特征提取，通常用于訓(xùn)練模型...

2023-05-18 標(biāo)簽：解碼器函數(shù)模型 988 0

一定要「分詞」嗎？Andrej Karpathy：是時候拋棄這個歷史包袱了

首先，Karpathy 認(rèn)為，Tokenization 引入了復(fù)雜性：通過使用 tokenization，語言模型并不是完全的端到端模型。它需要一個獨立...

2023-05-17 標(biāo)簽：AI數(shù)據(jù)轉(zhuǎn)換模型 1563 0

追趕GPT-4的多模態(tài)大模型對比分析

援引自 mPLUG-Owl，這三個工作的主要區(qū)別如圖 1 所示，總體而言，模型結(jié)構(gòu)和訓(xùn)練策略方面大同小異，主要體現(xiàn)在 LLaVA 和 MiniGPT4 ...

2023-05-17 標(biāo)簽：編碼器模型GPT 1355 0

使用Alpaca-Lora進(jìn)行參數(shù)高效模型微調(diào)

在推理時，將左右兩部分的結(jié)果加到一起即可，h=Wx+BAx=(W+BA)x，所以，只要將訓(xùn)練完成的矩陣乘積BA跟原本的權(quán)重矩陣W加到一起作為新權(quán)重參數(shù)替...

2023-05-17 標(biāo)簽：服務(wù)器模型語言模型 2603 0

VPG 在 LLM 之間的可遷移性問題

通過我們的VPGTrans框架可以根據(jù)需求為各種新的大語言模型靈活添加視覺模塊。比如我們在LLaMA-7B和Vicuna-7B基礎(chǔ)上制作了VL-LLaM...

2023-05-17 標(biāo)簽：開源模型LLM 969 0

推挽電路如何加快控制速度

在做信號控制以及驅(qū)動時，為了加快控制速度，經(jīng)常要使用推挽電路。推挽電路可以由兩種結(jié)構(gòu)組成：上P下N，上N下P。其原理圖分別如下所示。

2023-05-17 標(biāo)簽：電子設(shè)計模型推挽電路 2477 0

神經(jīng)網(wǎng)絡(luò)模型的優(yōu)缺點

隨著技術(shù)的發(fā)展，神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)越來越復(fù)雜，能處理的邏輯也越來越多，比如不同的神經(jīng)網(wǎng)絡(luò)模型能處理圖像類、目標(biāo)檢測、圖像分割、關(guān)鍵點檢測、圖像生成、場景文字...

2023-05-16 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)模型 2255 0

YOLOv8版本升級支持小目標(biāo)檢測與高分辨率圖像輸入

YOLOv8版本最近版本又更新了，除了支持姿態(tài)評估以外，通過模型結(jié)構(gòu)的修改還支持了小目標(biāo)檢測與高分辨率圖像檢測。原始的YOLOv8模型結(jié)構(gòu)如下。

2023-05-16 標(biāo)簽：圖像分辨率模型 1.4萬 0

基于一步步蒸餾（Distilling step-by-step）機(jī)制

為優(yōu)化LLM為“小模型/少數(shù)據(jù)/好效果”，提供了一種新思路：”一步步蒸餾”（Distilling step-by-step）

2023-05-16 標(biāo)簽：數(shù)據(jù)模型 1669 0

CREStereo立體匹配算法總結(jié)

立體匹配是計算機(jī)視覺的重要領(lǐng)域，通過給定一對經(jīng)過校正的圖像，計算對應(yīng)像素之間的位移，即視差。

2023-05-16 標(biāo)簽：編碼模型深度學(xué)習(xí) 2843 0

SD技術(shù)原理以及部分實現(xiàn)細(xì)節(jié)

SD是CompVis、Stability AI和LAION等公司研發(fā)的一個文生圖模型，它的模型和代碼是開源的，而且訓(xùn)練數(shù)據(jù)LAION-5B也是開源的。S...

2023-05-15 標(biāo)簽：AISD模型 3.2萬 0

空客成功挑戰(zhàn)抗雷擊性能，仿真結(jié)果與現(xiàn)場測試結(jié)果高度吻合

此外，物理測試還會導(dǎo)致成本增加、開發(fā)周期延長。例如，對正在研發(fā)的飛機(jī)進(jìn)行全面的物理測試需要制造原型機(jī)，這不僅需要花費數(shù)月時間，而且成本高昂。如果飛機(jī)未能...

2023-05-15 標(biāo)簽：仿真模型 734 0

生成視頻如此簡單，給句提示就行，還能在線試玩

本文中，來自 Picsart AI Resarch (PAIR) 、得克薩斯大學(xué)奧斯汀分校等機(jī)構(gòu)的研究者在 zero-shot 以及無需訓(xùn)練的情況下，在...

2023-05-15 標(biāo)簽：圖像模型計算機(jī)視覺 721 0

GPT-4拿下最難數(shù)學(xué)推理數(shù)據(jù)集新SOTA！新型Prompting讓大模型推理能力狂升！

結(jié)果表明，GP-T-4+PHP 在多個數(shù)據(jù)集上取得了 SOTA 結(jié)果，包括 SVAMP (91.9%), AQuA (79.9%), GSM8K (95...

2023-05-15 標(biāo)簽：模型數(shù)據(jù)集GPT 1010 0

基于AX650N部署DETR

目標(biāo)檢測作為計算機(jī)視覺應(yīng)用的基礎(chǔ)任務(wù)，一直備受行業(yè)應(yīng)用重點關(guān)注。從最早學(xué)術(shù)界的Two-Stage方案Faster-RCNN，到首個利于工業(yè)界高效率部署的...

2023-05-15 標(biāo)簽：編碼器檢測器計算機(jī) 1203 0

RGBD相機(jī)模型與圖片處理

當(dāng)我們要記錄的信息更多時，一個字節(jié)就不夠了。 在RGB-D相機(jī)的深度圖中，記錄了各個像素與相機(jī)之間的距離。這個距離通常是以毫米為單位，而RGB-D 相機(jī)...

2023-05-15 標(biāo)簽：圖像數(shù)據(jù)函數(shù)模型 953 0

用于二維近場微波和毫米波SAR圖像重建的多頻CS模型介紹

本文研究了一種新的二維近場微波毫米波合成孔徑雷達(dá)（SAR）成像系統(tǒng)多頻壓縮傳感（CS）模型，該模型通常收集多頻稀疏數(shù)據(jù)。

2023-05-15 標(biāo)簽：模型毫米波天線波束 1375 0

涌現(xiàn)能力的定義、常見的激發(fā)手段和具體的分類和任務(wù)

縮放定律的一個重要作用就是預(yù)測模型的性能，但是隨著規(guī)模的擴(kuò)大，模型的能力在不同的任務(wù)上并不總表現(xiàn)出相似的規(guī)律。在很多知識密集型任務(wù)上，隨著模型規(guī)模的不斷...

2023-05-15 標(biāo)簽：寄存器模型語言模型 4925 0

ImgX-DiffSeg：基于DDPMs的3D醫(yī)學(xué)圖像分割

DDPM 是一種生成模型，可用于圖像去噪和分割。工作原理是模擬干凈圖像的概率分布，然后在圖像中添加噪點以生成噪聲版本。相反的，模型嘗試通過移除添加的噪點...

2023-05-15 標(biāo)簽：3D圖像分割模型 1469 0