浪潮信息近日推出了革命性的“源2.0-M32”開源大模型。該模型在源2.0系列基礎(chǔ)上,引入了“基于注意力機制的門控網(wǎng)絡(luò)”技術(shù),構(gòu)建了一個包含32個專家的混合專家模型(MoE),有效提升了模型算力效率。
M32模型憑借其獨特且優(yōu)化的架構(gòu),在僅激活37億參數(shù)的情況下,便展現(xiàn)出了與700億參數(shù)LLaMA3模型相媲美的性能。更令人矚目的是,它實現(xiàn)的這一性能所消耗的算力僅為LLaMA3的1/19,極大降低了運行成本。
此次浪潮信息的創(chuàng)新,不僅展示了其在人工智能領(lǐng)域的深厚實力,也為整個行業(yè)樹立了新的標桿。隨著“源2.0-M32”的發(fā)布,我們有理由期待人工智能領(lǐng)域?qū)⒂瓉砀嗤黄婆c發(fā)展。
-
浪潮
+關(guān)注
關(guān)注
1文章
475瀏覽量
24713 -
開源
+關(guān)注
關(guān)注
3文章
3691瀏覽量
43851 -
大模型
+關(guān)注
關(guān)注
2文章
3148瀏覽量
4086
發(fā)布評論請先 登錄
飛利信與浪潮信息達成戰(zhàn)略合作
浪潮信息發(fā)布元腦R1推理服務(wù)器
浪潮信息與智源研究院攜手共建大模型多元算力生態(tài)
浪潮信息與智源研究院達成戰(zhàn)略合作協(xié)議
浪潮信息發(fā)布"源"Yuan-EB,刷新RAG檢索最高成績
借助浪潮信息元腦企智EPAI高效創(chuàng)建大模型RAG

浪潮信息發(fā)布“源”Yuan-EB助力RAG檢索精度新高

浪潮信息發(fā)布KOS AI定制版,大幅提升大模型訓練效率
浪潮信息AI存儲性能測試的領(lǐng)先之道

浪潮信息源2.0大模型與百度PaddleNLP全面適配
浪潮信息發(fā)布元腦企智一體機
浪潮信息:元腦企智EPAI助力金融大模型快速落地

源2.0-M32大模型發(fā)布量化版 運行顯存僅需23GB 性能可媲美LLaMA3

浪潮信息趙帥:開放計算創(chuàng)新 應(yīng)對Scaling Law挑戰(zhàn)

評論