AMD發(fā)布首款小語言AI模型Llama-135m
近日，AMD在Huggingface平臺上正式推出了自家首款“小語言模型”——AMD-Llama-135m。這款模型以其獨特的推測解碼功能，吸引了業(yè)界的廣泛關注。
AMD-Llama-135m模型擁有6700億個token，并采用了Apache 2.0開源許可，為用戶提供了更多的靈活性和自由度。據(jù)AMD介紹，該模型主打“推測解碼”能力，這一功能的基本原理是通過使用一個小型草稿模型來生成一組候選token，然后由更大的目標模型對這些候選token進行驗證。這種方法不僅能夠確保生成的token的準確性和可靠性，而且允許每次前向傳遞生成多個token，從而顯著提高了效率。
與傳統(tǒng)的AI模型相比，AMD-Llama-135m在RAM占用方面也有了顯著的優(yōu)化。由于采用了推測解碼技術，該模型能夠在不影響性能的前提下，減少RAM的占用，實現(xiàn)了更加高效的計算和存儲資源利用。
AMD-Llama-135m的發(fā)布，標志著AMD在AI領域邁出了重要的一步。未來，AMD將繼續(xù)致力于AI技術的研發(fā)和創(chuàng)新，為全球用戶提供更加智能、高效和可靠的解決方案。
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
amd
+關注
關注
25文章
5589瀏覽量
136406 -
AI
+關注
關注
88文章
35193瀏覽量
280232 -
模型
+關注
關注
1文章
3522瀏覽量
50446
發(fā)布評論請先 登錄
相關推薦
熱點推薦
使用 NPU 插件對量化的 Llama 3.1 8b 模型進行推理時出現(xiàn)“從 __Int64 轉換為無符號 int 的錯誤”，怎么解決？
安裝了 OpenVINO? GenAI 2024.4。
使用以下命令量化 Llama 3.1 8B 模型：
optimum-cli export openvino -m meta-llama
發(fā)表于 06-25 07:20
NVIDIA推出開放式Llama Nemotron系列模型
作為 NVIDIA NIM 微服務，開放式 Llama Nemotron 大語言模型和 Cosmos Nemotron 視覺語言模型可在任何
極空間私有云聯(lián)合UnifyDrive亮相CES：發(fā)布全球首款大語言模型 AI NAS
的是，作為國內領先的網(wǎng)絡存儲品牌極空間私有云此次聯(lián)合UnifyDrive宣布推出全球首款配備大語言模型（LLM）的AINAS，同時也是全球首
Meta重磅發(fā)布Llama 3.3 70B：開源AI模型的新里程碑
新的高度。 一，技術突破：開源智能的新高度 Llama 3.3 70B 模型的發(fā)布，標志著開源AI模型在智能水平上的一大飛躍。它不僅達到了之
使用NVIDIA TensorRT提升Llama 3.2性能
Llama 3.2 模型集擴展了 Meta Llama 開源模型集的模型陣容，包含視覺語言
AMD發(fā)布10億參數(shù)開源AI模型OLMo
AMD公司近日宣布了一項重大進展，推出了首個完全開放的10億參數(shù)語言模型系列——AMD OLMo。這一舉措為開發(fā)者和研究人員提供了強大的AI
Llama 3 與開源AI模型的關系
在人工智能（AI）的快速發(fā)展中，開源AI模型扮演著越來越重要的角色。它們不僅推動了技術的創(chuàng)新，還促進了全球開發(fā)者社區(qū)的合作。Llama 3，作為一個新興的
Llama 3 模型與其他AI工具對比
Llama 3模型與其他AI工具的對比可以從多個維度進行，包括但不限于技術架構、性能表現(xiàn)、應用場景、定制化能力、開源與成本等方面。以下是對Llama 3
Llama 3 語言模型應用
在人工智能領域，語言模型的發(fā)展一直是研究的熱點。隨著技術的不斷進步，我們見證了從簡單的關鍵詞匹配到復雜的上下文理解的轉變。 一、Llama 3 語言
使用OpenVINO 2024.4在算力魔方上部署Llama-3.2-1B-Instruct模型
前面我們分享了《三步完成Llama3在算力魔方的本地量化和部署》。2024年9月25日，Meta又發(fā)布了Llama3.2：一個多語言大型語言
亞馬遜云科技上線Meta Llama 3.2模型
亞馬遜云科技近日宣布，Meta公司的新一代模型Llama 3.2已在其平臺上正式上線。該模型包括Meta首款多模態(tài)
亞馬遜云科技正式上線Meta Llama 3.2模型
亞馬遜云科技宣布，Meta的新一代模型Llama 3.2，包括其首款多模態(tài)模型，現(xiàn)已在Amazon Bedrock和Amazon SageM
英偉達發(fā)布AI模型 Llama-3.1-Nemotron-51B AI模型
英偉達公司宣布推出 Llama-3.1-Nemotron-51B AI 模型，這個AI大模型是源自 Meta 公司的
Meta發(fā)布全新開源大模型Llama 3.1
科技巨頭Meta近期震撼發(fā)布了其最新的開源人工智能（AI）模型——Llama 3.1，這一舉措標志著Meta在AI領域的又一重大突破。Met
NVIDIA AI Foundry 為全球企業(yè)打造自定義 Llama 3.1 生成式 AI 模型
借助 NVIDIA AI Foundry，企業(yè)和各國現(xiàn)在能夠使用自有數(shù)據(jù)與 Llama 3.1 405B 和 NVIDIA Nemotron 模型配對，來構建“超級模型” NVIDIA
發(fā)表于 07-24 09:39
?920次閱讀
工商網(wǎng)監(jiān)
評論