摩爾線程聯(lián)合潞晨科技研發(fā)的預(yù)訓(xùn)練語言模型MusaBert（MUSA為摩爾線程提出的通用元計(jì)算架構(gòu)），在12月16日的中文語言理解領(lǐng)域權(quán)威CLUE榜單上進(jìn)入TOP 10，最終以82.889得分在CLUE1.1總排行榜中排名（除人類成績以外）第9，并在AFQMC任務(wù)中以86.92分取得排名第一的成績，這意味著摩爾線程AI在語義理解與匹配能力上超越了人類水平。同時(shí)，這也是潞晨科技的AI大模型開發(fā)系統(tǒng)Colossal-AI在自然語言處理領(lǐng)域應(yīng)用的重要進(jìn)展。

（2022年12月16日CLUE1.1總排行榜最新成績）

相較于CLUE總排行榜TOP 10的其他中文預(yù)訓(xùn)練模型，MusaBert僅包含3億參數(shù)量，是前十名中規(guī)模最小的模型，并且為單模型（single model），沒有進(jìn)行任何集成。此外，摩爾線程基于MusaBert的語義嵌入模型MusaSim在AFQMC任務(wù)上擊敗一眾大規(guī)模模型，取得第一名，不僅為檢索系統(tǒng)、分類對話等更深度語義理解研究打下堅(jiān)固基石，也證明了摩爾線程在中文自然語言處理領(lǐng)域和低資源大模型訓(xùn)練方面的強(qiáng)大能力。

一直以來，語義理解都是NLP（自然語言處理）技術(shù)的重要目標(biāo)，通過一系列AI算法，可將文本解析為結(jié)構(gòu)化的、機(jī)器可讀的意圖與詞槽信息。通常來說，訓(xùn)練數(shù)據(jù)的獲取與處理、模型的迭代和訓(xùn)練等都是NLP技術(shù)的落地難點(diǎn)。MusaBert僅使用了極少的參數(shù)量便取得了比肩甚至超越百億參數(shù)大模型的成績，主要是得益于多方面獲得的突破性進(jìn)展：

▼技術(shù)層面：摩爾線程擁有“軟硬一體”的技術(shù)能力，使得MusaBert能夠從底到上進(jìn)行優(yōu)化；摩爾線程多功能GPU內(nèi)置AI加速和并行計(jì)算等硬件模塊，能夠提供AI和科學(xué)計(jì)算在內(nèi)的全棧功能，能夠?yàn)锳I推理計(jì)算加速、低資源大模型訓(xùn)練等應(yīng)用場景提供通用、高性價(jià)比、節(jié)能環(huán)保的AI能力。

▼算法層面：MusaBert使用了潞晨科技的AI大模型開發(fā)系統(tǒng)Colossal-AI，在上游訓(xùn)練方面，充分發(fā)揮了該系統(tǒng)的易用性及強(qiáng)大的并行訓(xùn)練性能，同時(shí)MusaBert針對模型數(shù)據(jù)預(yù)處理使用的DataLoader進(jìn)行了優(yōu)化，可以在低資源的條件下快速處理大規(guī)模數(shù)據(jù)；在下游任務(wù)方面，摩爾線程通過采用合適的優(yōu)化建模、在領(lǐng)域內(nèi)進(jìn)行數(shù)據(jù)增強(qiáng)以及在模型的訓(xùn)練優(yōu)化中采用了先進(jìn)的Adan優(yōu)化器等方式，盡可能發(fā)掘和展現(xiàn)出預(yù)訓(xùn)練語言模型強(qiáng)大的語義理解能力。摩爾線程自研的語義嵌入模型MusaSim以MusaBert為基座模型，使用對比學(xué)習(xí)方法進(jìn)行精調(diào)，并利用了摩爾線程收集的百萬對有監(jiān)督數(shù)據(jù)。得益于MusaBert和高質(zhì)量的數(shù)據(jù)集，MusaSim不僅在語義相似度任務(wù)上超越了眾多更大規(guī)模的模型，在意圖識別、情緒分析等分類任務(wù)上，也能得到較好的效果。

▼數(shù)據(jù)層面：MusaBert除使用了摩爾線程自身收集的高質(zhì)量語義相似數(shù)據(jù)以外，還使用了200GB悟道開源數(shù)據(jù)和80GB的CLUE社區(qū)數(shù)據(jù)，以及浪潮電子信息產(chǎn)業(yè)股份有限公司提供的1T高質(zhì)量數(shù)據(jù)集。大規(guī)模高質(zhì)量的數(shù)據(jù)使得模型在相對小的規(guī)模下仍然保持了較高的性能。

目前，MusaBert作為基座模型，已經(jīng)應(yīng)用于摩爾線程研發(fā)的智能客服與數(shù)字人等項(xiàng)目，并相繼在下游語義相似度、情緒識別、閱讀理解、聲韻識別等領(lǐng)域落地。

為了更進(jìn)一步降低大模型開發(fā)和應(yīng)用的門檻，MusaBert代碼現(xiàn)已開源到Colossal-AI倉庫(https://github.com/hpcaitech/ColossalAI/tree/main/examples/language/roberta)，使用該腳本，可在短時(shí)間內(nèi)訓(xùn)練出高質(zhì)量的中文Bert模型。包括MusaBert和MusaSim在內(nèi)的一系列高質(zhì)量模型也將在近期開源以貢獻(xiàn)中文NLP社區(qū)。此外，經(jīng)摩爾線程與潞晨科技的嚴(yán)格測試，僅通過摩爾線程多功能GPU單卡，即可進(jìn)行MusaBert甚至是更大規(guī)模的GPT2的訓(xùn)練，大大降低了預(yù)訓(xùn)練成本，這也為雙方實(shí)現(xiàn)低資源大模型訓(xùn)練的共同愿景，邁出了堅(jiān)實(shí)一步。

作為中文語言理解領(lǐng)域最具權(quán)威性的測評基準(zhǔn)之一，CLUE 涵蓋文本相似度、分類、自然語言推理、閱讀理解等眾多語義分析和理解類子任務(wù)，工業(yè)界和學(xué)術(shù)界紛紛用 CLUE 作為預(yù)訓(xùn)練算法能力的驗(yàn)證和衡量標(biāo)準(zhǔn)。此次進(jìn)入CLUE榜單TOP 10，代表了摩爾線程與潞晨科技聯(lián)合研發(fā)團(tuán)隊(duì)在中文預(yù)訓(xùn)練研究領(lǐng)域已達(dá)到業(yè)內(nèi)領(lǐng)先水平。

展望未來，摩爾線程還將與潞晨科技緊密合作，著手更適當(dāng)規(guī)模的自然語言大模型研究，充分利用上游數(shù)據(jù)，產(chǎn)出能力更強(qiáng)的模型并且開源。同時(shí)，保持算法和系統(tǒng)兩個層面并行，持續(xù)優(yōu)化大模型在摩爾線程多功能GPU上的訓(xùn)練能力，尤其在單張消費(fèi)級顯卡等低資源場景下的訓(xùn)練能力，可以大大降低使用大模型訓(xùn)練的門檻和成本，進(jìn)一步促進(jìn)AI民主化。

▼ 關(guān)于潞晨科技

潞晨科技是一家致力于“解放AI生產(chǎn)力”的全球性公司，核心產(chǎn)品面向大模型時(shí)代的通用深度學(xué)習(xí)系統(tǒng) Colossal-AI，可實(shí)現(xiàn)高效快速部署AI大模型訓(xùn)練和推理，降低AI大模型應(yīng)用成本。自開源以來，Colossal-AI已經(jīng)多次在GitHub熱榜位列世界第一，獲得GitHub Star約七千顆，并成功入選SC、AAAI、PPoPP等國際AI與HPC頂級會議的官方教程。相關(guān)解決方案已成功在自動駕駛、云計(jì)算、零售、醫(yī)藥、芯片等行業(yè)知名廠商落地應(yīng)用、廣受好評。

▼ 關(guān)于摩爾線程

摩爾線程是一家以 GPU 芯片設(shè)計(jì)為主的集成電路高科技公司，專注于研發(fā)設(shè)計(jì)全功能 GPU 芯片及相關(guān)產(chǎn)品，能夠?yàn)橹袊萍忌鷳B(tài)合作伙伴提供強(qiáng)大的計(jì)算加速能力。公司成立于 2020年10月，致力于創(chuàng)新面向元計(jì)算應(yīng)用的新一代 GPU，構(gòu)建融合視覺計(jì)算、3D 圖形計(jì)算、科學(xué)計(jì)算及人工智能計(jì)算的綜合計(jì)算平臺，建立基于云原生 GPU計(jì)算的生態(tài)系統(tǒng)，助力驅(qū)動數(shù)字經(jīng)濟(jì)發(fā)展。

審核編輯 ：李倩