ChatGPT是怎么實(shí)現(xiàn)的

ChatGPT 能夠自動(dòng)生成類(lèi)似于人類(lèi)寫(xiě)作的文本，這一點(diǎn)非常引人注目，也令人意外。但它是如何實(shí)現(xiàn)的？為什么它能夠如此出色地生成我們認(rèn)為有意義的文本？我的...

2023-10-16 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型ChatGPT 1471 0

行人摔倒檢測(cè)-在英特爾開(kāi)發(fā)套件上基于OpenVINO? C# API部署PP-Human

OpenVINO 2023.1 于 2023 年 9 月 18 日發(fā)布，該工具包帶來(lái)了挖掘生成人工智能全部潛力的新功能。生成人工智能的覆蓋范圍得到了擴(kuò)展...

2023-10-13 標(biāo)簽：英特爾視頻監(jiān)控語(yǔ)言模型 1144 0

清華&港大提出LanguageMPC：將大語(yǔ)言模型和MPC相結(jié)合的新型類(lèi)人智駕系統(tǒng)

LanguageMPC首次將LLM應(yīng)用于駕駛場(chǎng)景，并設(shè)計(jì)了將文字形式高層決策轉(zhuǎn)化為可操作駕駛行為的方法。我們定量的證明了LanguageMPC在路口和環(huán)...

2023-10-10 標(biāo)簽：MPC語(yǔ)言模型自動(dòng)駕駛 1386 0

DISC-LawLLM：復(fù)旦大學(xué)團(tuán)隊(duì)發(fā)布中文智慧法律系統(tǒng)，構(gòu)建司法評(píng)測(cè)基準(zhǔn)，開(kāi)源30萬(wàn)微調(diào)數(shù)據(jù)

DISC-LawLLM是基于我們構(gòu)建的高質(zhì)量數(shù)據(jù)集DISC-Law-SFT在通用領(lǐng)域中文大模型Baichuan-13B上進(jìn)行全參指令微調(diào)得到的法律大模型...

2023-09-28 標(biāo)簽：算法智能化語(yǔ)言模型 1495 0

華為提出Sorted LLaMA：SoFT代替SFT，訓(xùn)練多合一大語(yǔ)言模型

而這一切的背后，是一項(xiàng)名為Sorted Fine-Tuning（SoFT）的新訓(xùn)練技術(shù)。SoFT讓我們可以在一個(gè)訓(xùn)練周期內(nèi)產(chǎn)出多個(gè)子模型，無(wú)需任何額外的...

2023-09-26 標(biāo)簽：華為模型語(yǔ)言模型 1149 0

DreamLLM：多功能多模態(tài)大型語(yǔ)言模型，你的DreamLLM~

由于固有的模態(tài)缺口，如CLIP語(yǔ)義主要關(guān)注模態(tài)共享信息，往往忽略了可以增強(qiáng)多模態(tài)理解的模態(tài)特定知識(shí)。因此，這些研究并沒(méi)有充分認(rèn)識(shí)到多模式創(chuàng)造和理解之間潛...

2023-09-25 標(biāo)簽：框架語(yǔ)言模型機(jī)器智能 1117 0

Medusa如何加速大型語(yǔ)言模型（LLM）的生成？

面對(duì)推測(cè)性解碼的復(fù)雜性，研究人員推出了Medusa技術(shù)，這個(gè)框架回歸了Transformer模型的本質(zhì)，減少了復(fù)雜度，增強(qiáng)了效率，讓每個(gè)生成階段都能快速...

2023-09-20 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型LLM 979 0

Falcon-7B大型語(yǔ)言模型在心理健康對(duì)話(huà)數(shù)據(jù)集上使用QLoRA進(jìn)行微調(diào)

使用領(lǐng)域適應(yīng)技術(shù)對(duì)預(yù)訓(xùn)練LLM進(jìn)行微調(diào)可以提高在特定領(lǐng)域任務(wù)上的性能。但是，進(jìn)行完全微調(diào)可能會(huì)很昂貴，并且可能會(huì)導(dǎo)致CUDA內(nèi)存不足錯(cuò)誤。當(dāng)進(jìn)行完全微調(diào)...

2023-09-19 標(biāo)簽：模型語(yǔ)言模型數(shù)據(jù)集 871 0

從原理到代碼理解語(yǔ)言模型訓(xùn)練和推理，通俗易懂，快速修煉LLM

要理解大語(yǔ)言模型（LLM），首先要理解它的本質(zhì)，無(wú)論預(yù)訓(xùn)練、微調(diào)還是在推理階段，核心都是next token prediction，也就是以自回歸的方式...

2023-09-19 標(biāo)簽：語(yǔ)言模型LLM 2291 0

開(kāi)源大模型FLM-101B：訓(xùn)練成本最低的超100B參數(shù)大模型

近期，一支來(lái)自中國(guó)的研究團(tuán)隊(duì)正是針對(duì)這些問(wèn)題提出了解決方案，他們推出了FLM-101B模型及其配套的訓(xùn)練策略。FLM-101B不僅大幅降低了訓(xùn)練成本，而...

2023-09-12 標(biāo)簽：開(kāi)源語(yǔ)言模型大模型 1952 0

AI Agents的框架構(gòu)成以及LLMs的基礎(chǔ)知識(shí)

智能代理（AI Agents）長(zhǎng)期以來(lái)都被視為通往人工通用智能（AGI）的一條希望途徑，預(yù)期中其能夠通過(guò)自主規(guī)劃和指令來(lái)自動(dòng)完成相關(guān)任務(wù)。然而，早期的代...

2023-09-06 標(biāo)簽：傳感器機(jī)器人AI 3157 0

FPGA加速器支撐ChatGPT類(lèi)大語(yǔ)言模型創(chuàng)新

作者：Bill Jenkins，Achronix人工智能/機(jī)器學(xué)習(xí)產(chǎn)品營(yíng)銷(xiāo)總監(jiān) 探索FPGA加速語(yǔ)言模型如何通過(guò)更快的推理、更低的延遲和更好的語(yǔ)言理解來(lái)...

2023-09-04 標(biāo)簽：fpga人工智能語(yǔ)言模型 847 0

中科大&字節(jié)提出UniDoc：統(tǒng)一的面向文字場(chǎng)景的多模態(tài)大模型

如上圖所示，UniDoc基于預(yù)訓(xùn)練的視覺(jué)大模型及大語(yǔ)言模型，將文字的檢測(cè)、識(shí)別、spotting(圖中未畫(huà)出)、多模態(tài)理解等四個(gè)任務(wù)，通過(guò)多模態(tài)指令微調(diào)...

2023-08-31 標(biāo)簽：語(yǔ)言模型數(shù)據(jù)集大模型 1934 0

BaiChuan13B多輪對(duì)話(huà)微調(diào)范例

答案是不會(huì)。原因是LLM作為語(yǔ)言模型，它的注意力機(jī)制是一個(gè)單向注意力機(jī)制(通過(guò)引入 Masked Attention實(shí)現(xiàn))，模型在第一輪對(duì)話(huà)的輸出跟輸入...

2023-08-24 標(biāo)簽：語(yǔ)言模型大模型 1423 0

通過(guò)循環(huán)訓(xùn)練實(shí)現(xiàn)忠實(shí)的低資源數(shù)據(jù)文本生成

從結(jié)構(gòu)化數(shù)據(jù)中自然語(yǔ)言生成（NLG）往往會(huì)產(chǎn)生多種錯(cuò)誤，從而限制了這些模型在面向客戶(hù)的應(yīng)用中的實(shí)用性。當(dāng)NLG 模型在生成的輸出文本時(shí)注入與輸入結(jié)構(gòu)化數(shù)...

2023-08-24 標(biāo)簽：數(shù)據(jù)庫(kù)模型語(yǔ)言模型 731 0

大型語(yǔ)言模型與知識(shí)圖譜：機(jī)遇與挑戰(zhàn)

這對(duì)知識(shí)表示領(lǐng)域來(lái)說(shuō)是一個(gè)巨大的步驟。長(zhǎng)時(shí)間以來(lái)，人們關(guān)注的是明確的知識(shí)，例如嵌入在文本中的知識(shí)，有時(shí)也被稱(chēng)為非結(jié)構(gòu)化數(shù)據(jù)，以及以結(jié)構(gòu)化形式存在的知識(shí)，...

2023-08-24 標(biāo)簽：語(yǔ)言模型自然語(yǔ)言知識(shí)圖譜 1012 0