大模型正在被加速，AI不是只有大模型

目前最新的第四代至強(qiáng) 可擴(kuò)展處理器的單顆CPU核數(shù)已經(jīng)增長到最高60核。而在數(shù)據(jù)訪問速度上，各級(jí)緩存大小、內(nèi)存通道數(shù)、內(nèi)存訪問速度等都有一定程度的優(yōu)化，...

2023-09-28 標(biāo)簽：處理器英特爾AI 920 0

未來人機(jī)交互趨勢：多模態(tài)大模型

在實(shí)踐中，主做視覺算法的公司和主做語音算法的公司在做方案的時(shí)候各自有側(cè)重點(diǎn)，不一定能完全根據(jù)主機(jī)廠的意愿來優(yōu)化。假如提供視覺算法的供應(yīng)商把結(jié)果優(yōu)化地很好...

2023-09-28 標(biāo)簽：傳感器人機(jī)交互手勢識(shí)別 2135 0

大模型壓縮首篇綜述來啦

模型壓縮涉及將大型資源密集型模型轉(zhuǎn)化為適合在受限移動(dòng)設(shè)備上存儲(chǔ)的緊湊版本。此外，它還可以優(yōu)化模型以實(shí)現(xiàn)更快的執(zhí)行速度和最小的延遲，或在這些目標(biāo)之間取得平衡。

2023-09-26 標(biāo)簽：模型數(shù)據(jù)集nlp 1477 0

多模態(tài)大模型最全綜述來了！

其中最后一個(gè)表示監(jiān)督信號(hào)是從圖像本身中挖掘出來的，流行的方法包括對(duì)比學(xué)習(xí)、非對(duì)比學(xué)習(xí)和masked image建模。在這些方法之外，文章也進(jìn)一步討論了多...

2023-09-26 標(biāo)簽：圖像AIGC大模型 2938 0

mlc-llm對(duì)大模型推理的流程及優(yōu)化方案

在 MLC-LLM 部署RWKV World系列模型實(shí)戰(zhàn)（3B模型Mac M2解碼可達(dá)26tokens/s） 中提到要使用mlc-llm部署模型首先需要...

2023-09-26 標(biāo)簽：編譯MLC深度學(xué)習(xí) 1233 0

為什么transformer性能這么好？Transformer的上下文學(xué)習(xí)能力是哪來的？

為什么 transformer 性能這么好？它給眾多大語言模型帶來的上下文學(xué)習(xí) (In-Context Learning) 能力是從何而來？在人工智能領(lǐng)...

2023-09-25 標(biāo)簽：人工智能深度學(xué)習(xí)DeepMind 1640 0

InfiniBand和RoCEv2網(wǎng)絡(luò)簡介及解決方案

超高帶寬、超低延遲、超高可靠，這是大模型訓(xùn)練對(duì)于網(wǎng)絡(luò)的要求。

2023-09-22 標(biāo)簽：數(shù)據(jù)中心AITCP 1.1萬 0

聽圖森CTO王乃巖淺談從L2到L4商用車自動(dòng)駕駛中的規(guī)模化、可靠性與成本

算法冗余：針對(duì)單點(diǎn)算法失效的問題，圖森未來將整車運(yùn)行的算法分成兩大類，即Data driven算法和Principle based算法；Data dri...

2023-09-21 標(biāo)簽：自動(dòng)駕駛大模型圖森未來 749 0

LLM在生成摘要方面效果到底如何？

文本摘要，作為自然語言生成（NLG）中的一項(xiàng)任務(wù)，主要用來將一大段長文本壓縮為簡短的摘要，例如新聞文章、源代碼和跨語言文本等多種內(nèi)容都能用到。

2023-09-21 標(biāo)簽：源代碼GPT大模型 847 0

人工智能中常見的數(shù)據(jù)標(biāo)注方法

數(shù)據(jù)標(biāo)注（Data Annotations）是指對(duì)收集到的、未處理的原始數(shù)據(jù)或初級(jí)數(shù)據(jù)，包括語音、圖片、文本、視頻等類型的數(shù)據(jù)進(jìn)行加工處理，并轉(zhuǎn)換為機(jī)器...

2023-09-21 標(biāo)簽：人機(jī)交互人工智能大模型 3227 0

【比特熊充電?！繉?shí)戰(zhàn)演練構(gòu)建LLM對(duì)話引擎

大模型時(shí)代，安全問題不容小覷。但如果把大模型比作孫悟空，那 NVIDIA NeMo Guardrails 就是“安全護(hù)欄”，可以輕松的為基于 LLM 的...

2023-09-19 標(biāo)簽：微軟NVIDIAOpenAI 1317 0

一文詳解6G內(nèi)生AI架構(gòu)及關(guān)鍵技術(shù)

6G作為下一代移動(dòng)通信技術(shù)，正在成為全球范圍內(nèi)通信行業(yè)的重要研究熱點(diǎn)。6G內(nèi)生AI架構(gòu)，將人工智能與無線網(wǎng)絡(luò)緊密結(jié)合，有望為未來的通信帶來革命性的改變。

2023-09-18 標(biāo)簽：無線網(wǎng)絡(luò)AI人工智能 1592 0

大模型訓(xùn)練為什么不能用4090顯卡，GPU訓(xùn)練性能和成本對(duì)比

為什么？一般有 tensor parallelism、pipeline parallelism、data parallelism 幾種并行方式，分別在模...

2023-09-15 標(biāo)簽：fpgagpu內(nèi)存 3.1萬 0

基于星火大模型的智能編程助手iFlyCode簡介

一款基于星火大模型的智能編程助手，旨在為開發(fā)者提供高效、準(zhǔn)確和智能的編程支持。

2023-09-15 標(biāo)簽：編程C++編輯器 4008 0

大模型未來的產(chǎn)業(yè)發(fā)展趨勢和挑戰(zhàn)是什么

一般而言，大模型(Large Language Models)指的是包含超大規(guī)模參數(shù)的神經(jīng)網(wǎng)絡(luò)模型。大模型通常能夠?qū)W習(xí)到更細(xì)微的模式和規(guī)律，具有更強(qiáng)的泛...

2023-09-13 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)語音識(shí)別人工智能 1113 0

開源大模型FLM-101B：訓(xùn)練成本最低的超100B參數(shù)大模型

近期，一支來自中國的研究團(tuán)隊(duì)正是針對(duì)這些問題提出了解決方案，他們推出了FLM-101B模型及其配套的訓(xùn)練策略。FLM-101B不僅大幅降低了訓(xùn)練成本，而...

2023-09-12 標(biāo)簽：開源語言模型大模型 1912 0

LLaMA微調(diào)顯存需求減半，清華提出4比特優(yōu)化器

從 GPT-3，Gopher 到 LLaMA，大模型有更好的性能已成為業(yè)界的共識(shí)。但相比之下，單個(gè) GPU 的顯存大小卻增長緩慢，這讓顯存成為了大模型訓(xùn)...

2023-09-11 標(biāo)簽：圖像分類機(jī)器翻譯大模型 767 0

揭秘英偉達(dá)A100、A800、H100、H800 GPU如何實(shí)現(xiàn)高性能大模型的百倍訓(xùn)練加速

摘要：本文主要介紹大模型的內(nèi)部運(yùn)行原理、我國算力發(fā)展現(xiàn)狀。大模型指具有巨大參數(shù)量的深度學(xué)習(xí)模型，如GPT-4。其通過在大規(guī)模數(shù)據(jù)集上進(jìn)行訓(xùn)練，能夠產(chǎn)生更...

2023-09-09 標(biāo)簽：NVIDIAgpu英偉達(dá) 2392 0

大模型外掛知識(shí)庫優(yōu)化-大模型輔助向量召回

用LLM根據(jù)用戶query生成k個(gè)“假答案”。（大模型生成答案采用sample模式，保證生成的k個(gè)答案不一樣，不懂LLM生成答案原理的同學(xué)可以看我這篇文...

2023-09-08 標(biāo)簽：向量數(shù)據(jù)集大模型 2578 0