探索LangChain：構(gòu)建專屬LLM應(yīng)用的基石

LangChain通過Loader加載外部的文檔，轉(zhuǎn)化為標(biāo)準(zhǔn)的Document類型。Document類型主要包含兩個(gè)屬性：page_content 包含...

2024-01-30 標(biāo)簽：ChatGPTLLM 1011 0

用PaddleNLP在4060單卡上實(shí)踐大模型預(yù)訓(xùn)練技術(shù)

作者：算力魔方創(chuàng)始人/英特爾創(chuàng)新大使劉力 之前我們分享了《從零開始訓(xùn)練一個(gè)大語言模型需要投資多少錢》，其中高昂的預(yù)訓(xùn)練費(fèi)用讓許多對(duì)大模型預(yù)訓(xùn)練技術(shù)感興趣...

2025-02-19 標(biāo)簽：數(shù)據(jù)集大模型LLM 1007 0

VPG 在 LLM 之間的可遷移性問題

通過我們的VPGTrans框架可以根據(jù)需求為各種新的大語言模型靈活添加視覺模塊。比如我們?cè)贚LaMA-7B和Vicuna-7B基礎(chǔ)上制作了VL-LLaM...

2023-05-17 標(biāo)簽：開源模型LLM 998 0

Allen AI推出集成主流大語言模型的LLM-BLENDER框架

在推理階段，計(jì)算一個(gè)矩陣，該矩陣包含表示成對(duì)比較結(jié)果的logits。給定該矩陣，可以推斷給定輸入x的N個(gè)輸出的排序。隨后，可以使用來自PAIRRANKE...

2023-06-11 標(biāo)簽：框架模型語言模型 998 0

自然語言處理應(yīng)用LLM推理優(yōu)化綜述

當(dāng)前，業(yè)界在將傳統(tǒng)優(yōu)化技術(shù)引入 LLM 推理的同時(shí)，同時(shí)也在探索從大模型自回歸解碼特點(diǎn)出發(fā)，通過調(diào)整推理過程和引入新的模型結(jié)構(gòu)來進(jìn)一步提升推理性能。

2024-04-10 標(biāo)簽：人工智能自然語言處理調(diào)度器 982 0

Medusa如何加速大型語言模型（LLM）的生成？

面對(duì)推測(cè)性解碼的復(fù)雜性，研究人員推出了Medusa技術(shù)，這個(gè)框架回歸了Transformer模型的本質(zhì)，減少了復(fù)雜度，增強(qiáng)了效率，讓每個(gè)生成階段都能快速...

2023-09-20 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)語言模型LLM 979 0

我們能否擴(kuò)展現(xiàn)有的預(yù)訓(xùn)練 LLM 的上下文窗口

? ? 在大家不斷升級(jí)迭代自家大模型的時(shí)候，LLM（大語言模型）對(duì)上下文窗口的處理能力，也成為一個(gè)重要評(píng)估指標(biāo)。 ? 比如 OpenAI 的 gpt-3...

2023-06-30 標(biāo)簽：編碼窗口模型 962 0

OpenVINO 2024.4持續(xù)提升GPU上LLM性能

本次新版本在整個(gè) OpenVINO 產(chǎn)品系列中引入了重要的功能和性能變化，使大語言模型 （LLM） 的優(yōu)化和部署在所有支持的場(chǎng)景中更容易、性能更高，包括...

2024-10-12 標(biāo)簽：處理器英特爾LLM 938 0

對(duì)話式LLM用于硬件設(shè)計(jì)

通常，開發(fā)任何類型的硬件（包括芯片，作為電子設(shè)備大腦的微小電子元件），都是從用正常語言描述硬件應(yīng)該做什么開始的。

2023-06-15 標(biāo)簽：HDL語言OpenAIChatGPT 935 0

對(duì)比解碼在LLM上的應(yīng)用

為了改進(jìn)LLM的推理能力，University of California聯(lián)合Meta AI實(shí)驗(yàn)室提出將Contrastive Decoding應(yīng)用于多...

2023-09-21 標(biāo)簽：解碼AI深度學(xué)習(xí) 933 0

使用ReMEmbR實(shí)現(xiàn)機(jī)器人推理與行動(dòng)能力

視覺語言模型（VLM）通過將文本和圖像投射到同一個(gè)嵌入空間，將基礎(chǔ)大語言模型（LLM）強(qiáng)大的語言理解能力與視覺 transformer（ViT）的視覺能...

2024-11-19 標(biāo)簽：機(jī)器人NVIDIALLM 925 0

大模型對(duì)話系統(tǒng)的內(nèi)功與外功

Zero-shot Setting：在 O-Cue 中，由于單步指令較復(fù)雜（不要要進(jìn)行推理還要進(jìn)行回復(fù)生成，以及生成的格式要求），單步生成內(nèi)容過多，導(dǎo)致...

2023-12-01 標(biāo)簽：數(shù)據(jù)集大模型LLM 924 0

英特爾軟硬件構(gòu)建模塊如何幫助優(yōu)化RAG應(yīng)用

深入研究檢索增強(qiáng)生成 (Retrieval Augmented Generation, RAG)，該創(chuàng)新方法定義了企業(yè)和機(jī)構(gòu)如何利用大語言模型(LLM)...

2024-07-24 標(biāo)簽：英特爾軟硬件LLM 897 0

LLM在生成摘要方面效果到底如何？

文本摘要，作為自然語言生成（NLG）中的一項(xiàng)任務(wù)，主要用來將一大段長(zhǎng)文本壓縮為簡(jiǎn)短的摘要，例如新聞文章、源代碼和跨語言文本等多種內(nèi)容都能用到。

2023-09-21 標(biāo)簽：源代碼GPT大模型 871 0

大模型學(xué)習(xí)筆記

Apple最近發(fā)表了一篇文章，可以在iphone, MAC 上運(yùn)行大模型：【LLM in a flash: Efficient Large Langua...

2024-01-08 標(biāo)簽：DRAMMac大模型 868 0

VILA與其他模型在提供邊緣AI 2.0方面的表現(xiàn)

VILA 是 NVIDIA 研究部門與麻省理工學(xué)院共同開發(fā)的高性能視覺語言模型系列。最大的模型約有 400 億參數(shù)，最小的模型約有 30 億參數(shù)，并且完...

2024-10-10 標(biāo)簽：NVIDIA模型邊緣AI 853 0