基于LLM的表格數(shù)據(jù)的大模型推理綜述

面向表格數(shù)據(jù)的推理任務(wù)，在計(jì)算機(jī)領(lǐng)域，特別是自然語(yǔ)言處理（Natural Language Processing，NLP）領(lǐng)域的研究中扮演著重要角色[1...

2024-01-08 標(biāo)簽：SQL語(yǔ)言模型大模型 2192 0

LLM性能的主要因素

現(xiàn)在是2023年5月，截止目前，網(wǎng)絡(luò)上已經(jīng)開(kāi)源了眾多的LLM，如何用較低的成本，判斷LLM的基礎(chǔ)性能，選到適合自己任務(wù)的LLM，成為一個(gè)關(guān)鍵。 本文會(huì)涉...

2023-05-22 標(biāo)簽：模型數(shù)據(jù)集GPT 2178 0

一種完全由LLM + 啟發(fā)式搜索算法結(jié)合的TOT算法

今天分享一篇普林斯頓大學(xué)的一篇文章，Tree of Thoughts: Deliberate Problem Solving with Large La...

2023-06-29 標(biāo)簽：模塊算法語(yǔ)言模型 2136 0

適用于各種NLP任務(wù)的開(kāi)源LLM的finetune教程~

ChatGLM2-6b是清華開(kāi)源的小尺寸LLM，只需要一塊普通的顯卡(32G較穩(wěn)妥)即可推理和微調(diào)，是目前社區(qū)非常活躍的一個(gè)開(kāi)源LLM。

2023-07-24 標(biāo)簽：LoRa模塊nlpprompt 2060 0

基于ICL范式的LLM的最高置信度預(yù)測(cè)方案

本文假設(shè)不同的ICL為L(zhǎng)LM提供了關(guān)于任務(wù)的不同知識(shí)，導(dǎo)致對(duì)相同數(shù)據(jù)的不同理解和預(yù)測(cè)。因此，一個(gè)直接的研究問(wèn)題出現(xiàn)了:llm能否用多個(gè)ICL提示輸入來(lái)增...

2023-11-24 標(biāo)簽：轉(zhuǎn)換器Sample自然語(yǔ)言 2047 0

英特爾銳炫顯卡運(yùn)行類ChatGPT的開(kāi)源大語(yǔ)言模型(LLM)Dolly 2.0解讀

人類偏好強(qiáng)化學(xué)習(xí)Reinforcement learning with human preferences（RLHF）和 InstructGPT 等技術(shù)...

2023-07-07 標(biāo)簽：英特爾顯卡開(kāi)源 2000 0

怎樣使用Accelerate庫(kù)在多GPU上進(jìn)行LLM推理呢？

大型語(yǔ)言模型(llm)已經(jīng)徹底改變了自然語(yǔ)言處理領(lǐng)域。隨著這些模型在規(guī)模和復(fù)雜性上的增長(zhǎng)，推理的計(jì)算需求也顯著增加。

2023-12-01 標(biāo)簽：GPU芯片自然語(yǔ)言處理LLM 1959 0

基于Transformer的大型語(yǔ)言模型（LLM）的內(nèi)部機(jī)制

本文旨在更好地理解基于 Transformer 的大型語(yǔ)言模型（LLM）的內(nèi)部機(jī)制，以提高它們的可靠性和可解釋性。 隨著大型語(yǔ)言模型（LLM）在使用和部...

2023-06-25 標(biāo)簽：存儲(chǔ)語(yǔ)言模型Transformer 1959 0

NVIDIA Blackwell GPU優(yōu)化DeepSeek-R1性能 打破DeepSeek-R1在最小延遲場(chǎng)景中的性能紀(jì)錄

本文將探討 NVIDIA TensorRT-LLM 如何基于 8 個(gè) NVIDIA Blackwell GPU 的配置，打破 DeepSeek-R1 在...

2025-07-02 標(biāo)簽：NVIDIAgpu大模型 1923 0

Macaw-LLM：具有圖像、音頻、視頻和文本集成的多模態(tài)語(yǔ)言建模

盡管指令調(diào)整的大型語(yǔ)言模型 (LLM) 在各種 NLP 任務(wù)中表現(xiàn)出卓越的能力，但它們?cè)谖谋疽酝獾钠渌麛?shù)據(jù)模式上的有效性尚未得到充分研究。在這項(xiàng)工作中，...

2023-06-19 標(biāo)簽：模塊語(yǔ)言建模語(yǔ)言模型 1908 0

教您如何精調(diào)出自己的領(lǐng)域大模型

BERT和 GPT-3 等語(yǔ)言模型針對(duì)語(yǔ)言任務(wù)進(jìn)行了預(yù)訓(xùn)練。微調(diào)使它們適應(yīng)特定領(lǐng)域，如營(yíng)銷、醫(yī)療保健、金融。在本指南中，您將了解 LLM 架構(gòu)、微調(diào)過(guò)程...

2024-01-19 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)nlpChatGPT 1898 0

使用Huggingface創(chuàng)建大語(yǔ)言模型RLHF訓(xùn)練流程

ChatGPT已經(jīng)成為家喻戶曉的名字，而大語(yǔ)言模型在ChatGPT刺激下也得到了快速發(fā)展，這使得我們可以基于這些技術(shù)來(lái)改進(jìn)我們的業(yè)務(wù)。

2023-12-06 標(biāo)簽：機(jī)器學(xué)習(xí)SFTDPO 1885 0

基于大語(yǔ)言模型的共情回復(fù)生成：實(shí)證研究和改進(jìn)

對(duì)以ChatGPT為代表的LLMs在共情回復(fù)生成上的表現(xiàn)進(jìn)行了全面的實(shí)證研究，LLMs在現(xiàn)有的基準(zhǔn)數(shù)據(jù)集上，對(duì)比以往的SOTA模型，表現(xiàn)極其優(yōu)越。

2023-11-21 標(biāo)簽：編碼器GPTChatGPT 1876 1

LLaMa量化部署

使用 GPTQ 量化的模型具有很大的速度優(yōu)勢(shì)，與 LLM.int8() 不同，GPTQ 要求對(duì)模型進(jìn)行 post-training quantizati...

2023-08-28 標(biāo)簽：cpu模型LLM 1851 0

檢索增強(qiáng)LLM的方案全面的介紹

OpenAI 研究科學(xué)家 Andrej Karpathy 前段時(shí)間在微軟 Build 2023 大會(huì)上做過(guò)一場(chǎng)關(guān)于 GPT 模型現(xiàn)狀的分享 State ...

2023-09-08 標(biāo)簽：檢索GitHubLLM 1823 0

RISC-V 跑大模型（二）：LLaMA零基礎(chǔ)移植教程

這是RISC-V跑大模型系列的第二篇文章，主要教大家如何將LLaMA移植到RISC-V環(huán)境里。

2023-07-17 標(biāo)簽：RISC-V大模型LLM 1740 0

FlashAttenion-V3: Flash Decoding詳解

因此，本文提出了Flash-Decoding，可以推理過(guò)程中顯著加速attention操作（例如長(zhǎng)序列生成速度提高8倍）。其主要思想是最大化并行加載ke...

2023-10-31 標(biāo)簽：gpu模型LLM 1729 0