浪潮信息近日發(fā)布了一款全新的開源大模型——“源2.0-M32”。這款大模型在“源2.0”系列大模型的基礎(chǔ)上,進行了深度的技術(shù)創(chuàng)新與升級。
其核心技術(shù)亮點在于“基于注意力機制的門控網(wǎng)絡(luò)”技術(shù)的引入。通過這一技術(shù),浪潮信息成功構(gòu)建了一個包含32個專家的混合專家模型(MoE),該模型不僅結(jié)構(gòu)先進,而且算力效率極高。在運行時,模型的激活參數(shù)僅為37億,這一數(shù)字在業(yè)界中堪稱領(lǐng)先。
更為值得一提的是,“源2.0-M32”在性能上全面對標了擁有700億參數(shù)的LLaMA3開源大模型。在業(yè)界主流基準評測中,它展現(xiàn)出了卓越的性能,為用戶提供了更為高效、精準的服務(wù)。
此次“源2.0-M32”的發(fā)布,無疑將進一步推動人工智能領(lǐng)域的發(fā)展,同時也彰顯了浪潮信息在技術(shù)創(chuàng)新方面的領(lǐng)先地位。
-
浪潮
+關(guān)注
關(guān)注
1文章
475瀏覽量
24710 -
開源
+關(guān)注
關(guān)注
3文章
3690瀏覽量
43840 -
大模型
+關(guān)注
關(guān)注
2文章
3147瀏覽量
4079
發(fā)布評論請先 登錄
飛利信與浪潮信息達成戰(zhàn)略合作
浪潮信息發(fā)布元腦R1推理服務(wù)器
浪潮信息與智源研究院攜手共建大模型多元算力生態(tài)
浪潮信息與智源研究院達成戰(zhàn)略合作協(xié)議
浪潮信息發(fā)布"源"Yuan-EB,刷新RAG檢索最高成績
借助浪潮信息元腦企智EPAI高效創(chuàng)建大模型RAG

浪潮信息發(fā)布“源”Yuan-EB助力RAG檢索精度新高

浪潮信息發(fā)布KOS AI定制版,大幅提升大模型訓(xùn)練效率
浪潮信息AI存儲性能測試的領(lǐng)先之道

浪潮信息源2.0大模型與百度PaddleNLP全面適配
浪潮信息發(fā)布元腦企智一體機
浪潮信息:元腦企智EPAI助力金融大模型快速落地

源2.0-M32大模型發(fā)布量化版 運行顯存僅需23GB 性能可媲美LLaMA3

浪潮信息趙帥:開放計算創(chuàng)新 應(yīng)對Scaling Law挑戰(zhàn)

評論