大語(yǔ)言模型“書(shū)生·浦語(yǔ)”多項(xiàng)專(zhuān)業(yè)評(píng)測(cè)拔頭籌
最近，AI大模型測(cè)評(píng)火熱，尤其在大語(yǔ)言模型領(lǐng)域，“聰明”的上限被不斷刷新。
“SuperCLUE是由創(chuàng)立于2019年的CLUE學(xué)術(shù)社區(qū)最新發(fā)布的中文通用大模型綜合性評(píng)測(cè)基準(zhǔn)，包含SuperCLUE-Opt客觀題測(cè)試、SuperCLUE-Open主觀題測(cè)試、SuperCLUE-LYB瑯琊榜用戶投票的匿名對(duì)戰(zhàn)測(cè)試三大基準(zhǔn)組成。為更好地反映國(guó)內(nèi)大模型與國(guó)際領(lǐng)先大模型間的差距和優(yōu)勢(shì)，SuperCLUE選取了多個(gè)國(guó)內(nèi)外有代表性的可用模型進(jìn)行評(píng)測(cè)，同時(shí)由于其數(shù)據(jù)集保密性高，對(duì)大模型來(lái)說(shuō)是‘閉卷考試’，減少了模型訓(xùn)練數(shù)據(jù)混入評(píng)測(cè)數(shù)據(jù)的可能性。此外，SuperCLUE還通過(guò)自動(dòng)化評(píng)測(cè)方式測(cè)試不同模型效果，可一鍵對(duì)大模型進(jìn)行評(píng)測(cè)，相對(duì)更客觀。” “書(shū)生·浦語(yǔ)”：不僅善于考試，還是開(kāi)源大模型中的佼佼者
?
?作為SuperCLUE綜合性三大基準(zhǔn)之一，SuperCLUE-Opt評(píng)測(cè)基準(zhǔn)每期有3700+道客觀題（選擇題），由基礎(chǔ)能力（10個(gè)子任務(wù)）、中文特性能力（10個(gè)子任務(wù)）、學(xué)術(shù)專(zhuān)業(yè)能力（50+子任務(wù)）組成，采用封閉域測(cè)試方式。
相比第二名ChatGLM2-6B，InternLM-chat-7B主要在學(xué)術(shù)專(zhuān)業(yè)方面取得較大領(lǐng)先，同時(shí)全面領(lǐng)先于第三名Baichuan-13B-Chat。
商湯與上海AI實(shí)驗(yàn)室等聯(lián)合打造的大語(yǔ)言模型“書(shū)生·浦語(yǔ)”（InternLM）也表現(xiàn)出色，分別在智源FlagEval大語(yǔ)言模型評(píng)測(cè)8月排行榜和中文通用大模型綜合性評(píng)測(cè)基準(zhǔn)SuperCLUE 7月評(píng)測(cè)榜兩項(xiàng)業(yè)內(nèi)權(quán)威大模型評(píng)測(cè)榜單中獲得優(yōu)異成績(jī)。 “FlagEval是知名人工智能新型研發(fā)機(jī)構(gòu)北京智源人工智能研究院推出的大模型評(píng)測(cè)體系及開(kāi)放平臺(tái)。FlagEval大模型評(píng)測(cè)體系構(gòu)建了“能力-任務(wù)-指標(biāo)”三維評(píng)測(cè)框架，可視化呈現(xiàn)評(píng)測(cè)結(jié)果，總計(jì)600+評(píng)測(cè)維度，包括22個(gè)主觀、客觀評(píng)測(cè)數(shù)據(jù)集，84433道評(píng)測(cè)題目。除知名的公開(kāi)數(shù)據(jù)集 HellaSwag、MMLU、C-Eval外，F(xiàn)lagEval還集成了包括智源自建的主觀評(píng)測(cè)數(shù)據(jù)集Chinese Linguistics & Cognition Challenge (CLCC)，北京大學(xué)等單位共建的詞匯級(jí)別語(yǔ)義關(guān)系判斷、句子級(jí)別語(yǔ)義關(guān)系判斷、多義詞理解、修辭手法判斷評(píng)測(cè)數(shù)據(jù)集。”
“SuperCLUE是由創(chuàng)立于2019年的CLUE學(xué)術(shù)社區(qū)最新發(fā)布的中文通用大模型綜合性評(píng)測(cè)基準(zhǔn)，包含SuperCLUE-Opt客觀題測(cè)試、SuperCLUE-Open主觀題測(cè)試、SuperCLUE-LYB瑯琊榜用戶投票的匿名對(duì)戰(zhàn)測(cè)試三大基準(zhǔn)組成。為更好地反映國(guó)內(nèi)大模型與國(guó)際領(lǐng)先大模型間的差距和優(yōu)勢(shì)，SuperCLUE選取了多個(gè)國(guó)內(nèi)外有代表性的可用模型進(jìn)行評(píng)測(cè)，同時(shí)由于其數(shù)據(jù)集保密性高，對(duì)大模型來(lái)說(shuō)是‘閉卷考試’，減少了模型訓(xùn)練數(shù)據(jù)混入評(píng)測(cè)數(shù)據(jù)的可能性。此外，SuperCLUE還通過(guò)自動(dòng)化評(píng)測(cè)方式測(cè)試不同模型效果，可一鍵對(duì)大模型進(jìn)行評(píng)測(cè)，相對(duì)更客觀。” “書(shū)生·浦語(yǔ)”：不僅善于考試，還是開(kāi)源大模型中的佼佼者
“書(shū)生·浦語(yǔ)”，是商湯科技、上海AI實(shí)驗(yàn)室聯(lián)合香港中文大學(xué)、復(fù)旦大學(xué)及上海交通大學(xué)打造的大語(yǔ)言模型，具有千億參數(shù)，在包含1.8萬(wàn)億token的高質(zhì)量語(yǔ)料上訓(xùn)練而成。
今年6月，“書(shū)生·浦語(yǔ)”聯(lián)合團(tuán)隊(duì)曾選取20余項(xiàng)評(píng)測(cè)進(jìn)行檢驗(yàn)，包括全球最具影響力的四個(gè)綜合性考試評(píng)測(cè)。結(jié)果顯示，“書(shū)生·浦語(yǔ)”在綜合性考試中表現(xiàn)突出，在多項(xiàng)中文考試中超越ChatGPT。（詳情可參考「AI考生今日抵達(dá)，商湯與上海AI實(shí)驗(yàn)室等發(fā)布“書(shū)生·浦語(yǔ)”大模型」報(bào)道） 7月，“書(shū)生·浦語(yǔ)”正式開(kāi)源70億參數(shù)的輕量級(jí)版本InternLM-7B。（https://github.com/InternLM/InternLM）
后續(xù)又推出升級(jí)版對(duì)話模型InternLM-Chat-7Bv1.1，成為首個(gè)具有代碼解釋能力的開(kāi)源對(duì)話模型，能根據(jù)需要靈活調(diào)用Python解釋器等外部工具，解決復(fù)雜數(shù)學(xué)計(jì)算等任務(wù)的能力顯著提升。
此外，該模型還可通過(guò)搜索引擎獲取實(shí)時(shí)信息，提供具有時(shí)效性的回答。
在北京智源人工智能研究院FlagEval大語(yǔ)言模型評(píng)測(cè)體系8月最新排行榜中， “InternLM-chat-7B”和“InternLM-7B”分別在監(jiān)督微調(diào)模型（SFT Model）榜單、基座模型（Base Model）榜單中取得第一和第二名。
“InternLM-chat-7B”還刷新中英客觀評(píng)測(cè)記錄。 「什么是“基座模型”、“有監(jiān)督微調(diào)模型”？」 基座模型（Base Model）是經(jīng)過(guò)海量數(shù)據(jù)預(yù)訓(xùn)練（Pre-train）得到的，它具備一定的通用能力，比如：GPT-3。 有監(jiān)督微調(diào)模型（SFT Model）則是經(jīng)過(guò)指令微調(diào)數(shù)據(jù)（包含了各種與人類(lèi)行為及情感相關(guān)的指令和任務(wù)的數(shù)據(jù)集）訓(xùn)練后得到的，具備了與人類(lèi)流暢對(duì)話的能力，如：ChatGPT。 普遍的觀點(diǎn)認(rèn)為，基座模型在很大程度上決定了微調(diào)模型的能力。 因此，F(xiàn)lagEval大語(yǔ)言模型評(píng)測(cè)體系針對(duì)基座模型的評(píng)測(cè)主要從“提示學(xué)習(xí)評(píng)測(cè)”和“適配評(píng)測(cè)”兩方面進(jìn)行；針對(duì)有監(jiān)督微調(diào)模型的評(píng)測(cè)則從“復(fù)用針對(duì)基座模型的客觀評(píng)測(cè)” 進(jìn)一步增加“引入主觀評(píng)測(cè)”。 此次兩個(gè)榜單中，“InternLM-chat-7B”和“InternLM-7B”均表現(xiàn)出優(yōu)異的綜合性能，超越備受關(guān)注的Llama2-chat-13B/7B和Llama2-13B/7B。 特別在SFT Model測(cè)試中，InternLM-chat-7B中文能力大幅領(lǐng)先同時(shí)，英文能力也與對(duì)手保持在相近水平，展現(xiàn)出更強(qiáng)的實(shí)用性能。
?SuperCLUE評(píng)測(cè)從基礎(chǔ)能力、專(zhuān)業(yè)能力、中文特性能力三個(gè)不同維度對(duì)國(guó)內(nèi)外通用大模型產(chǎn)品進(jìn)行評(píng)價(jià)，考察大模型在70余個(gè)任務(wù)上的綜合表現(xiàn)。
“書(shū)生·浦語(yǔ)”InternLM-chat-7B在7月公布SuperCLUE評(píng)測(cè)榜單中表現(xiàn)出色，在SuperCLUE-Opt開(kāi)源大模型榜單拔得頭籌。
?作為SuperCLUE綜合性三大基準(zhǔn)之一，SuperCLUE-Opt評(píng)測(cè)基準(zhǔn)每期有3700+道客觀題（選擇題），由基礎(chǔ)能力（10個(gè)子任務(wù)）、中文特性能力（10個(gè)子任務(wù)）、學(xué)術(shù)專(zhuān)業(yè)能力（50+子任務(wù)）組成，采用封閉域測(cè)試方式。
相比第二名ChatGLM2-6B，InternLM-chat-7B主要在學(xué)術(shù)專(zhuān)業(yè)方面取得較大領(lǐng)先，同時(shí)全面領(lǐng)先于第三名Baichuan-13B-Chat。
相關(guān)閱讀，戳這里
《讓大模型“百花齊放”，商湯大裝置SenseCore提供一片沃土》《商湯發(fā)布多模態(tài)多任務(wù)通用大模型“書(shū)生2.5”》
《商湯聯(lián)合發(fā)布通才AI智能體通關(guān)<我的世界>》
原文標(biāo)題：大語(yǔ)言模型“書(shū)生·浦語(yǔ)”多項(xiàng)專(zhuān)業(yè)評(píng)測(cè)拔頭籌
文章出處：【微信公眾號(hào)：商湯科技SenseTime】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。
聲明：本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
商湯科技
+關(guān)注
關(guān)注
8文章
564瀏覽量
36797
原文標(biāo)題：大語(yǔ)言模型“書(shū)生·浦語(yǔ)”多項(xiàng)專(zhuān)業(yè)評(píng)測(cè)拔頭籌
文章出處：【微信號(hào)：SenseTime2017，微信公眾號(hào)：商湯科技SenseTime】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
熱點(diǎn)推薦
語(yǔ)言模型管理的作用
要充分發(fā)揮語(yǔ)言模型的潛力，有效的語(yǔ)言模型管理非常重要。以下，是對(duì)語(yǔ)言模型管理作用的分析，由AI部
云知聲山海大模型多項(xiàng)評(píng)測(cè)名列前茅
近日，智源研究院發(fā)布并解讀了國(guó)內(nèi)外100余個(gè)開(kāi)源和商業(yè)閉源的語(yǔ)言、視覺(jué)語(yǔ)言、文生圖、文生視頻、語(yǔ)音語(yǔ)言大模型綜合及專(zhuān)項(xiàng)評(píng)測(cè)結(jié)果。
小米汽車(chē)接入VLM視覺(jué)語(yǔ)言大模型，OTA更新帶來(lái)多項(xiàng)升級(jí)
小米汽車(chē)近日宣布，其SU7車(chē)型的1.4.5版OTA(空中升級(jí))已經(jīng)開(kāi)始推送。此次更新帶來(lái)了多項(xiàng)新增功能和體驗(yàn)優(yōu)化，旨在進(jìn)一步提升用戶的駕駛體驗(yàn)。 其中最引人注目的是，小米汽車(chē)正式接入了VLM視覺(jué)語(yǔ)言
大語(yǔ)言模型開(kāi)發(fā)框架是什么
大語(yǔ)言模型開(kāi)發(fā)框架是指用于訓(xùn)練、推理和部署大型語(yǔ)言模型的軟件工具和庫(kù)。下面，AI部落小編為您介紹大語(yǔ)言模
大語(yǔ)言模型開(kāi)發(fā)語(yǔ)言是什么
在人工智能領(lǐng)域，大語(yǔ)言模型（Large Language Models, LLMs）背后，離不開(kāi)高效的開(kāi)發(fā)語(yǔ)言和工具的支持。下面，AI部落小編為您介紹大語(yǔ)言
名單公布！【書(shū)籍評(píng)測(cè)活動(dòng)NO.52】基于大模型的RAG應(yīng)用開(kāi)發(fā)與優(yōu)化
這樣的應(yīng)用還遠(yuǎn)遠(yuǎn)不能發(fā)揮出大模型的真正價(jià)值，我們期望大模型在更專(zhuān)業(yè)的生產(chǎn)領(lǐng)域發(fā)揮作用，提升生產(chǎn)力，引領(lǐng)真正的科技變革。
當(dāng)前大模型被普遍看好的兩個(gè)專(zhuān)
發(fā)表于 12-04 10:50
云端語(yǔ)言模型開(kāi)發(fā)方法
云端語(yǔ)言模型的開(kāi)發(fā)是一個(gè)復(fù)雜而系統(tǒng)的過(guò)程，涉及數(shù)據(jù)準(zhǔn)備、模型選擇、訓(xùn)練優(yōu)化、部署應(yīng)用等多個(gè)環(huán)節(jié)。下面，AI部落小編為您分享云端語(yǔ)言模型的開(kāi)發(fā)
大語(yǔ)言模型如何開(kāi)發(fā)
大語(yǔ)言模型的開(kāi)發(fā)是一個(gè)復(fù)雜且細(xì)致的過(guò)程，涵蓋了數(shù)據(jù)準(zhǔn)備、模型架構(gòu)設(shè)計(jì)、訓(xùn)練、微調(diào)和部署等多個(gè)階段。以下是對(duì)大語(yǔ)言模型開(kāi)發(fā)步驟的介紹，由AI部
科大訊飛發(fā)布訊飛星火4.0 Turbo大模型及星火多語(yǔ)言大模型
，科大訊飛以其一貫的創(chuàng)新精神，開(kāi)創(chuàng)性地發(fā)布了星火多語(yǔ)言大模型。這一創(chuàng)新之舉不僅進(jìn)一步鞏固了科大訊飛在中文和英文處理領(lǐng)域的領(lǐng)先地位，更將語(yǔ)言的支持范圍大幅擴(kuò)展，涵蓋了俄語(yǔ)、日語(yǔ)、阿拉伯語(yǔ)
通用大模型評(píng)測(cè)標(biāo)準(zhǔn)正式發(fā)布
近日，在2024中國(guó)移動(dòng)全球合作伙伴大會(huì)上，一項(xiàng)關(guān)于大模型評(píng)測(cè)體系建設(shè)的新成果——《通用大模型評(píng)測(cè)標(biāo)準(zhǔn)》正式發(fā)布。這一標(biāo)準(zhǔn)由中國(guó)移動(dòng)攜手工信部中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院、中國(guó)電信、國(guó)家電
云知聲山海大模型多項(xiàng)能力全球領(lǐng)跑
國(guó)內(nèi)人工智能權(quán)威機(jī)構(gòu)清華大學(xué)基礎(chǔ)模型研究中心發(fā)布SuperBench九月綜合榜單。本次評(píng)測(cè)選取海內(nèi)外24個(gè)具有代表性的大模型，結(jié)果顯示，山海大模型對(duì)齊、智能體、安全等
名單公布！【書(shū)籍評(píng)測(cè)活動(dòng)NO.41】大模型時(shí)代的基礎(chǔ)架構(gòu)：大模型算力中心建設(shè)指南
工作日內(nèi)未聯(lián)系，視為放棄本次試用評(píng)測(cè)資格！
書(shū)籍介紹
大模型是近年來(lái)引人注目的熱點(diǎn)之一。大模型蓬勃發(fā)展的基礎(chǔ)，是針對(duì)其需求設(shè)計(jì)的算力及基礎(chǔ)架構(gòu)。本書(shū)針對(duì)如何為大模型構(gòu)建基礎(chǔ)架構(gòu)進(jìn)行深入
發(fā)表于 08-16 18:33
【《大語(yǔ)言模型應(yīng)用指南》閱讀體驗(yàn)】+ 基礎(chǔ)知識(shí)學(xué)習(xí)
今天來(lái)學(xué)習(xí)大語(yǔ)言模型在自然語(yǔ)言理解方面的原理以及問(wèn)答回復(fù)實(shí)現(xiàn)。
主要是基于深度學(xué)習(xí)和自然語(yǔ)言處理技術(shù)。
大語(yǔ)言
發(fā)表于 08-02 11:03
【《大語(yǔ)言模型應(yīng)用指南》閱讀體驗(yàn)】+ 基礎(chǔ)篇
今天開(kāi)始學(xué)習(xí)《大語(yǔ)言模型應(yīng)用指南》第一篇——基礎(chǔ)篇，對(duì)于人工智能相關(guān)專(zhuān)業(yè)技術(shù)人員應(yīng)該可以輕松加愉快的完成此篇閱讀，但對(duì)于我還是有許多的知識(shí)點(diǎn)、專(zhuān)業(yè)術(shù)語(yǔ)比較陌生，需要網(wǎng)上搜索學(xué)習(xí)更多的資
發(fā)表于 07-25 14:33
【《大語(yǔ)言模型應(yīng)用指南》閱讀體驗(yàn)】+ 俯瞰全書(shū)
松。
入門(mén)篇主要偏應(yīng)用，比如大語(yǔ)言模型的三種交互方式，分析了提示工程、工作記憶和長(zhǎng)短期記憶，此篇最后講了ChatGPT的接口和擴(kuò)展功能應(yīng)用，適合大語(yǔ)言模型應(yīng)用技術(shù)人員閱讀。
進(jìn)階篇就非
發(fā)表于 07-21 13:35
工商網(wǎng)監(jiān)
評(píng)論