低比特量化技術(shù)如何幫助LLM提升性能

針對(duì)大語(yǔ)言模型 (LLM) 在部署過(guò)程中的性能需求，低比特量化技術(shù)一直是優(yōu)化效果最佳的方案之一，本文將探討低比特量化技術(shù)如何幫助 LLM 提升性能，以及...

2023-12-08 標(biāo)簽：輕量化技術(shù)大模型LLM 1626 0

使用Huggingface創(chuàng)建大語(yǔ)言模型RLHF訓(xùn)練流程

ChatGPT已經(jīng)成為家喻戶曉的名字，而大語(yǔ)言模型在ChatGPT刺激下也得到了快速發(fā)展，這使得我們可以基于這些技術(shù)來(lái)改進(jìn)我們的業(yè)務(wù)。

2023-12-06 標(biāo)簽：機(jī)器學(xué)習(xí)SFTDPO 1882 0

全面解析大語(yǔ)言模型（LLM）

internal feedback：使用LLM去預(yù)測(cè)生成的plan取得成功的概率、Tree of Thought去對(duì)比不同的plan（有點(diǎn)類(lèi)似Alpha...

2023-12-05 標(biāo)簽：GPTOpenAI大模型 3462 0

理解KV cache的作用及優(yōu)化方法

MQA (Multi Query Attention，多查詢(xún)注意力) 是多頭注意力的一種變體。其主要區(qū)別在于，在 MQA 中不同的注意力頭共享一個(gè)K和V...

2023-12-04 標(biāo)簽：gpuGPTLLM 9121 0

開(kāi)源LLM在各種基準(zhǔn)上的代理能力

采用ChatGPT的企業(yè)可能會(huì)擔(dān)心API調(diào)用的巨大成本、服務(wù)中斷、數(shù)據(jù)所有權(quán)和隱私問(wèn)題，以及其他不可預(yù)測(cè)的事件，如最近關(guān)于董事會(huì)解雇CEO Sam Al...

2023-12-04 標(biāo)簽：人工智能OpenAIChatGPT 1400 0

聚焦于用LLMs模擬國(guó)際沖突的研究

本實(shí)驗(yàn)旨在驗(yàn)證LLM在模擬復(fù)雜歷史事件方面的有效性。實(shí)驗(yàn)選用了OpenAI開(kāi)發(fā)的GPT-4作為后端模型，討論以下問(wèn)題。

2023-12-04 標(biāo)簽：OpenAILLM 581 0

大模型對(duì)話系統(tǒng)的內(nèi)功與外功

Zero-shot Setting：在 O-Cue 中，由于單步指令較復(fù)雜（不要要進(jìn)行推理還要進(jìn)行回復(fù)生成，以及生成的格式要求），單步生成內(nèi)容過(guò)多，導(dǎo)致...

2023-12-01 標(biāo)簽：數(shù)據(jù)集大模型LLM 923 0

怎樣使用Accelerate庫(kù)在多GPU上進(jìn)行LLM推理呢？

大型語(yǔ)言模型(llm)已經(jīng)徹底改變了自然語(yǔ)言處理領(lǐng)域。隨著這些模型在規(guī)模和復(fù)雜性上的增長(zhǎng)，推理的計(jì)算需求也顯著增加。

2023-12-01 標(biāo)簽：GPU芯片自然語(yǔ)言處理LLM 1957 0

Long-Context下LLM模型架構(gòu)全面介紹

隨著ChatGPT的快速發(fā)展，基于Transformer的大型語(yǔ)言模型(LLM)為人工通用智能(AGI)鋪平了一條革命性的道路，并已應(yīng)用于知識(shí)庫(kù)、人機(jī)界...

2023-11-27 標(biāo)簽：模型深度學(xué)習(xí)ChatGPT 3554 0

為什么Agent落地這么難？AI最大賽道Agent機(jī)遇全解析

“如果一篇論文提出了某種不同的訓(xùn)練方法，OpenAI內(nèi)部會(huì)嗤之以鼻，認(rèn)為都是我們玩剩下的。但是當(dāng)新的AI Agent論文出來(lái)時(shí)，我們會(huì)十分認(rèn)真且興奮地討...

2023-11-25 標(biāo)簽：SQLGPTOpenAI 2546 0

基于ICL范式的LLM的最高置信度預(yù)測(cè)方案

本文假設(shè)不同的ICL為L(zhǎng)LM提供了關(guān)于任務(wù)的不同知識(shí)，導(dǎo)致對(duì)相同數(shù)據(jù)的不同理解和預(yù)測(cè)。因此，一個(gè)直接的研究問(wèn)題出現(xiàn)了:llm能否用多個(gè)ICL提示輸入來(lái)增...

2023-11-24 標(biāo)簽：轉(zhuǎn)換器Sample自然語(yǔ)言 2045 0

解讀大模型FP量化的解決方案

在 LLaMA, BERT 以及 ViTs 模型上，4-bit 量化皆取得了遠(yuǎn)超 SOTA 的結(jié)果。特別是，這篇文章展示了 4-bit 量化的 LLaM...

2023-11-24 標(biāo)簽：浮點(diǎn)數(shù)大模型LLM 1232 0

如何基于亞馬遜云科技LLM相關(guān)工具打造知識(shí)庫(kù)

背景 本篇將為大家闡述亞馬遜云科技大語(yǔ)言模型下沉到具體行業(yè)進(jìn)行場(chǎng)景以及實(shí)施案例的介紹，是亞馬遜云科技官方《基于智能搜索和大模型打造企業(yè)下一代知識(shí)庫(kù)》系列...

2023-11-23 標(biāo)簽：測(cè)試亞馬遜LLM 1455 0

基于單一LLM的情感分析方法的局限性

LLM的發(fā)展為情感分析任務(wù)帶來(lái)的新的解決方案。有研究人員使用LLM，在上下文學(xué)習(xí)(in-context learning, ICL)的范式下，僅使用少量...

2023-11-23 標(biāo)簽：生成器自然語(yǔ)言處理半監(jiān)督學(xué)習(xí) 1285 0

LLM的幻覺(jué)問(wèn)題最新綜述

幻覺(jué)被描述為無(wú)意義或不忠實(shí)于所提供源內(nèi)容的生成內(nèi)容。根據(jù)與源內(nèi)容的矛盾，這些幻覺(jué)又進(jìn)一步分為內(nèi)在幻覺(jué)和外在幻覺(jué)。在LLMs中，幻覺(jué)的范圍包含了一個(gè)更廣泛...

2023-11-22 標(biāo)簽：人工智能渦輪增壓ChatGPT 1595 0

基于大語(yǔ)言模型的共情回復(fù)生成：實(shí)證研究和改進(jìn)

對(duì)以ChatGPT為代表的LLMs在共情回復(fù)生成上的表現(xiàn)進(jìn)行了全面的實(shí)證研究，LLMs在現(xiàn)有的基準(zhǔn)數(shù)據(jù)集上，對(duì)比以往的SOTA模型，表現(xiàn)極其優(yōu)越。

2023-11-21 標(biāo)簽：編碼器GPTChatGPT 1870 1

基于顯式證據(jù)推理的few-shot關(guān)系抽取CoT

最近，上下文學(xué)習(xí)策略已被證明在沒(méi)有訓(xùn)練的情況下顯示出顯著的結(jié)果。很少有研究利用上下文學(xué)習(xí)進(jìn)行zero-shot信息提取。不幸的是，推理的證據(jù)在思維鏈提示...

2023-11-20 標(biāo)簽：語(yǔ)言模型nlpLLM 1394 0

使用MLC-LLM支持RWKV-5推理的過(guò)程思考

對(duì)LLM的理解比較有限，從代碼實(shí)現(xiàn)的角度來(lái)說(shuō)，RWKV的狀態(tài)和KV Cache不同，不依賴(lài)序列長(zhǎng)度，這讓RWKV模型在各種長(zhǎng)度下運(yùn)行內(nèi)存和運(yùn)行速度都是趨...

2023-11-19 標(biāo)簽：AndroidgpuLLM 1431 0

LLM推理上的DeepSpeed Inference優(yōu)化實(shí)踐方案

首先將 batch 拆分為 micro-batch，其中 micro-batch 數(shù)等于 pipeline 深度，micro-batch通過(guò)動(dòng)態(tài)隊(duì)列的順...

2023-11-16 標(biāo)簽：cpugpu內(nèi)存 4854 0