PaddleNLP 又帶著新功能和大家見面了。本次更新，為大家?guī)?lái)文心 ERNIE 3.0 Tiny 輕量級(jí)模型，刷新了中文小模型的 SOTA 成績(jī)；通過(guò)模型裁剪、量化感知訓(xùn)練、Embedding 量化等壓縮方案，能夠進(jìn)一步提升模型推理速度、降低模型大小、顯存占用。歡迎廣大開發(fā)者使用 NVIDIA 與飛槳聯(lián)合深度適配的 NGC 飛槳容器，在 NVIDIA GPU 上體驗(yàn) ERNIE 3.0 Tiny。

ERNIE 3.0 Tiny 與配套壓縮部署方案介紹

ERNIE 3.0 Tiny

近年來(lái)，隨著深度學(xué)習(xí)技術(shù)的迅速發(fā)展，大規(guī)模預(yù)訓(xùn)練范式通過(guò)一次又一次刷新各種評(píng)測(cè)基線證明了其卓越的學(xué)習(xí)與遷移能力。在這個(gè)過(guò)程中，研究者們發(fā)現(xiàn)通過(guò)不斷地?cái)U(kuò)大模型參數(shù)便能持續(xù)提升深度學(xué)習(xí)模型的威力。然而，參數(shù)的指數(shù)級(jí)增長(zhǎng)意味著模型體積增大、所需計(jì)算資源增多、計(jì)算耗時(shí)更長(zhǎng)，而這無(wú)論出于業(yè)務(wù)線上響應(yīng)效率的要求還是機(jī)器資源預(yù)算問(wèn)題，都給大模型落地帶來(lái)了極大的挑戰(zhàn)。

如何選擇最優(yōu)模型？如何在保證效果的前提下壓縮模型？如何適配 GPU、CPU 等多硬件的加速？如何在低資源場(chǎng)景下落地大模型？如何讓加速工具觸手可及？這是行業(yè)內(nèi)亟待解決的課題。2022 年 6 月，文心大模型中的輕量化技術(shù)加持的多個(gè)文心 ERNIE 3.0 Tiny 輕量級(jí)模型（下文簡(jiǎn)稱文心 ERNIE 3.0 Tiny v1）開源至飛槳自然語(yǔ)言處理模型庫(kù) PaddleNLP 中，該模型刷新了中文小模型的 SOTA 成績(jī)，配套模型動(dòng)態(tài)裁剪和量化推理方案，被學(xué)術(shù)與工業(yè)界廣泛使用。

圖：GPU 下 ERNIE 3.0 Tiny 輕量級(jí)模型時(shí)延與效果圖

圖中，越偏左上方的模型越優(yōu)秀，可以看到 ERNIE 3.0 輕量級(jí)模型在同等規(guī)模的開源模型中，綜合實(shí)力領(lǐng)先其他同類型輕量級(jí)模型。與 RoBERTa-Base 相比，12L768H 的 ERNIE 3.0-Base 平均精度絕對(duì)提升了 1.9 個(gè)點(diǎn)，比同等規(guī)模的 BERT-Base-Chinese 提升 3.5 個(gè)點(diǎn)；6L768H 的 ERNIE 3.0-Medium 相比 12L768H 的 UER/Chinese-RoBERTa ，在節(jié)省一倍運(yùn)算時(shí)間基礎(chǔ)上，獲得比兩倍大的 RoBERTa 更好的效果。

近日，文心 ERNIE 3.0 Tiny 升級(jí)版–––文心 ERNIE 3.0 Tiny v2 也開源了！相較于 v1，文心 ERNIE 3.0 Tiny v2 在 Out-domain（域外數(shù)據(jù)）、Low-resource（小樣本數(shù)據(jù)）的下游任務(wù)上精度顯著提升，并且 v2 還開源了 3L128H 結(jié)構(gòu)，5.99M 參數(shù)量的小模型，更適用于低資源場(chǎng)景。

表：ERNIE 3.0 Tiny v2 效果更優(yōu)

文心 ERNIE 3.0 Tiny v2 包含一系列不同尺寸的中文預(yù)訓(xùn)練模型，方便不同性能需求的應(yīng)用場(chǎng)景使用：

• 文心ERNIE 3.0 Tiny-Base-v2(12-layer, 768-hidden, 12-heads)

• 文心ERNIE 3.0 Tiny-Medium-v2(6-layer, 768-hidden, 12-heads)

• 文心ERNIE 3.0 Tiny-Mini-v2(6-layer, 384-hidden, 12-heads)

• 文心ERNIE 3.0 Tiny-Micro-v2(4-layer, 384-hidden, 12-heads)

• 文心ERNIE 3.0 Tiny-Nano-v2(4-layer, 312-hidden, 12-heads)

• 文心ERNIE 3.0 Tiny-Pico-v2(3-layer, 128-hidden, 2-heads)

除以上中文模型外，本次還發(fā)布了英文版文心 ERNIE 3.0 Tiny-Mini-v2，適用于各類英文任務(wù)。

在 PaddleNLP 中，可一鍵加載以上模型。

開源地址：https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/ernie-tiny

語(yǔ)義理解模型壓縮、部署方案

由文心大模型蒸餾得到的文心 ERNIE 3.0 Tiny v2 可以直接在下游任務(wù)上微調(diào)應(yīng)用，如果想要進(jìn)一步壓縮模型體積，降低推理時(shí)延，可使用 PaddleNLP 開源的語(yǔ)義理解模型壓縮、部署方案。

結(jié)合飛槳模型壓縮工具 PaddleSlim，PaddleNLP 發(fā)布了語(yǔ)義理解壓縮、部署方案，包含裁剪、量化級(jí)聯(lián)壓縮，如下圖所示：

以上各類壓縮策略以及對(duì)應(yīng)的推理功能如果從零實(shí)現(xiàn)非常復(fù)雜，飛槳模型壓縮工具庫(kù) PaddleSlim 和飛槳高性能深度學(xué)習(xí)端側(cè)推理引擎 Paddle Lite 提供了一系列壓縮、推理工具鏈。飛槳 AI 推理部署工具 FastDeploy 對(duì)其進(jìn)一步封裝，使開發(fā)者可以通過(guò)更簡(jiǎn)單的 API 去實(shí)現(xiàn)模型壓縮、推理部署流程，適配多領(lǐng)域模型，并兼容多硬件。PaddleNLP 依托以上工具，提供 NLP 模型數(shù)據(jù)處理、訓(xùn)練、壓縮、部署全流程的最佳實(shí)踐。

基于 PaddleNLP 提供的的模型壓縮 API，可大幅降低開發(fā)成本。壓縮 API 支持對(duì) ERNIE、BERT 等 transformer 類下游任務(wù)微調(diào)模型進(jìn)行裁剪和量化。只需要簡(jiǎn)單地調(diào)用 compress()即可一鍵啟動(dòng)裁剪量化流程，并自動(dòng)保存壓縮后的模型。

下面會(huì)對(duì)壓縮方案（詞表裁剪、模型寬度裁剪、量化感知訓(xùn)練、詞表量化）與部署工具進(jìn)行介紹。

詞表裁剪

ERNIE 3.0 Tiny 預(yù)訓(xùn)練模型的詞表參數(shù)量在總參數(shù)量中占比很大。在內(nèi)存有限的場(chǎng)景下，推薦在下游任務(wù)微調(diào)之前，按照詞頻對(duì)詞表進(jìn)行裁剪，去除出現(xiàn)頻次較低的詞，這樣能夠減少分詞后 [UNK] 的出現(xiàn)，使精度得到最大限度保持。例如，某數(shù)據(jù)集 4w 大小的詞表，高頻出現(xiàn)的詞不到 1w 個(gè)，此時(shí)通過(guò)詞表裁剪可以節(jié)省不少內(nèi)存。

模型寬度裁剪

基于 DynaBERT 寬度自適應(yīng)裁剪策略，通過(guò)知識(shí)蒸餾的方法，在下游任務(wù)中將 ERNIE 3.0 Tiny 的知識(shí)遷移到寬度更窄的學(xué)生網(wǎng)絡(luò)中，最后得到效果與教師模型接近的學(xué)生模型。一般來(lái)說(shuō)，對(duì)于 4 到 6 層的 NLU 模型，寬度裁剪 1/4 可基本保證精度無(wú)損。

量化感知訓(xùn)練

模型量化是一種通過(guò)將訓(xùn)練好的模型參數(shù)、激活值從 FP32 浮點(diǎn)數(shù)轉(zhuǎn)換成 INT8 整數(shù)來(lái)減小存儲(chǔ)、加快計(jì)算速度、降低功耗的模型壓縮方法。目前主要有兩種量化方法：

? 靜態(tài)離線量化：使用少量校準(zhǔn)數(shù)據(jù)計(jì)算量化信息，可快速得到量化模型；

? 量化感知訓(xùn)練：在模型中插入量化、反量化算子并進(jìn)行訓(xùn)練，使模型在訓(xùn)練中學(xué)習(xí)到量化信息 。

圖：量化感知訓(xùn)練 vs 離線量化

在對(duì) ERNIE 3.0 Tiny 的壓縮中，更推薦使用量化感知訓(xùn)練的方式。通常情況下，使用量化感知訓(xùn)練的方法能夠比使用靜態(tài)離線量化取得更高的精度。這是因?yàn)樵诹炕兄?xùn)練之前，壓縮 API 在模型的矩陣乘算子前插入量化、反量化算子，使量化帶來(lái)的誤差可以在訓(xùn)練過(guò)程中被建模和優(yōu)化，能夠使模型被量化后精度基本無(wú)損。

Embedding 量化

為了能進(jìn)一步節(jié)省顯存占用，可對(duì)模型的 Embedding 權(quán)重進(jìn)行 INT8量化，并將精度的損失保持在 0.5%之內(nèi)。

部署

模型壓縮后，精度基本無(wú)損。到此，算法側(cè)的工作基本完成。為了進(jìn)一步降低部署難度，可以使用飛槳 FastDeploy 對(duì)模型進(jìn)行部署。

FastDeploy 是一款全場(chǎng)景、易用靈活、極致高效的 AI 推理部署工具，提供開箱即用的部署體驗(yàn)。FastDeploy 為 NLP 任務(wù)提供了一整套完整的部署 Pipeline，提供文心 ERNIE 3.0 Tiny 模型從文本預(yù)處理、推理引擎 Runtime 以及后處理三個(gè)階段所需要的接口模塊，開發(fā)者可以基于這些接口模塊在云、邊、端上部署各類常見的 NLP 任務(wù)，如文本分類、序列標(biāo)注、信息抽取等。

FastDeploy 中的 Paddle Lite 后端基于算子融合和常量折疊對(duì)深度模型進(jìn)行優(yōu)化，無(wú)縫銜接了 Paddle Lite 的 FP16 和 INT8 的推理能力，可使模型推理速度大幅提升。其集成的高性能 NLP 處理庫(kù) FastTokenizer（視覺(jué)領(lǐng)域集成了高性能 AI 處理庫(kù) FlyCV），能夠?qū)Ψ衷~階段進(jìn)行加速，適配 GPU、CPU 等多硬件。

FastDeploy 項(xiàng)目地址：https://github.com/PaddlePaddle/FastDeploy

文心大模型

隨著數(shù)據(jù)井噴、算法進(jìn)步和算力突破，效果好、泛化能力強(qiáng)、通用性強(qiáng)的預(yù)訓(xùn)練大模型（以下簡(jiǎn)稱“大模型”），成為人工智能發(fā)展的關(guān)鍵方向與人工智能產(chǎn)業(yè)應(yīng)用的基礎(chǔ)底座。

百度文心大模型源于產(chǎn)業(yè)、服務(wù)于產(chǎn)業(yè)，是產(chǎn)業(yè)級(jí)知識(shí)增強(qiáng)大模型。百度通過(guò)大模型與國(guó)產(chǎn)深度學(xué)習(xí)框架融合發(fā)展，打造了自主創(chuàng)新的 AI 底座，大幅降低了 AI 開發(fā)和應(yīng)用的門檻，滿足真實(shí)場(chǎng)景中的應(yīng)用需求，真正發(fā)揮大模型驅(qū)動(dòng) AI 規(guī)模化應(yīng)用的產(chǎn)業(yè)價(jià)值。

文心大模型包含基礎(chǔ)通用大模型及面向重點(diǎn)領(lǐng)域和重點(diǎn)任務(wù)的大模型，同時(shí)有豐富的工具與平臺(tái)支撐高效便捷的應(yīng)用開發(fā)。學(xué)習(xí)效率高，可解釋性好，大幅降低AI開發(fā)與應(yīng)用門檻。

從技術(shù)研發(fā)到落地應(yīng)用，大模型的發(fā)展已經(jīng)進(jìn)入產(chǎn)業(yè)落地的關(guān)鍵期，歡迎前往文心大模型官網(wǎng)了解詳情：https://wenxin.baidu.com/。也歡迎使用NGC，體驗(yàn)文心大模型。

加入 PaddleNLP 技術(shù)交流群，體驗(yàn) NVIDIA NGC + PaddleNLP

入群方式：微信掃描下方二維碼，關(guān)注公眾號(hào)，填寫問(wèn)卷后進(jìn)入微信群隨時(shí)進(jìn)行技術(shù)交流。

?

NGC 飛槳容器介紹

如果您希望體驗(yàn) PaddleNLP 的新特性，歡迎使用 NGC 飛槳容器。NVIDIA 與百度飛槳聯(lián)合開發(fā)了 NGC 飛槳容器，將最新版本的飛槳與最新的NVIDIA的軟件棧（如CUDA）進(jìn)行了無(wú)縫的集成與性能優(yōu)化，最大程度的釋放飛槳框架在 NVIDIA 最新硬件上的計(jì)算能力。這樣，用戶不僅可以快速開啟 AI 應(yīng)用，專注于創(chuàng)新和應(yīng)用本身，還能夠在 AI 訓(xùn)練和推理任務(wù)上獲得飛槳+NVIDIA 帶來(lái)的飛速體驗(yàn)。

最佳的開發(fā)環(huán)境搭建工具 - 容器技術(shù)

1. 容器其實(shí)是一個(gè)開箱即用的服務(wù)器。極大降低了深度學(xué)習(xí)開發(fā)環(huán)境的搭建難度。例如你的開發(fā)環(huán)境中包含其他依賴進(jìn)程（redis，MySQL，Ngnix，selenium-hub等等），或者你需要進(jìn)行跨操作系統(tǒng)級(jí)別的遷移

2. 容器鏡像方便了開發(fā)者的版本化管理

3. 容器鏡像是一種易于復(fù)現(xiàn)的開發(fā)環(huán)境載體

4. 容器技術(shù)支持多容器同時(shí)運(yùn)行

最好的 PaddlePaddle 容器

NGC 飛槳容器針對(duì) NVIDIA GPU 加速進(jìn)行了優(yōu)化，并包含一組經(jīng)過(guò)驗(yàn)證的庫(kù)，可啟用和優(yōu)化 NVIDIA GPU 性能。此容器還可能包含對(duì) PaddlePaddle 源代碼的修改，以最大限度地提高性能和兼容性。此容器還包含用于加速 ETL (DALI, RAPIDS),、訓(xùn)練(cuDNN, NCCL)和推理(TensorRT)工作負(fù)載的軟件。

PaddlePaddle 容器具有以下優(yōu)點(diǎn)：

1. 適配最新版本的 NVIDIA 軟件棧（例如最新版本CUDA），更多功能，更高性能

2. 更新的 Ubuntu 操作系統(tǒng)，更好的軟件兼容性

3. 按月更新

4. 滿足 NVIDIA NGC 開發(fā)及驗(yàn)證規(guī)范，質(zhì)量管理

通過(guò)飛槳官網(wǎng)快速獲取

環(huán)境準(zhǔn)備

使用 NGC 飛槳容器需要主機(jī)系統(tǒng)（Linux）安裝以下內(nèi)容：

• Docker 引擎

• NVIDIA GPU 驅(qū)動(dòng)程序

• NVIDIA 容器工具包

有關(guān)支持的版本，請(qǐng)參閱 NVIDIA 框架容器支持矩陣 和 NVIDIA 容器工具包文檔。

不需要其他安裝、編譯或依賴管理。無(wú)需安裝 NVIDIA CUDA Toolkit。

NGC 飛槳容器正式安裝：

要運(yùn)行容器，請(qǐng)按照 NVIDIA Containers For Deep Learning Frameworks User’s Guide 中 Running A Container一章中的說(shuō)明發(fā)出適當(dāng)?shù)拿?，并指定注?cè)表、存儲(chǔ)庫(kù)和標(biāo)簽。有關(guān)使用 NGC 的更多信息，請(qǐng)參閱 NGC 容器用戶指南。如果您有 Docker 19.03 或更高版本，啟動(dòng)容器的典型命令是：

dockerrun--gpusall--shm-size=1g--ulimitmemlock=-1-it--rm
nvcr.io/nvidia/paddlepaddle:22.08-py3

*詳細(xì)安裝介紹 《NGC 飛槳容器安裝指南》

https://www.paddlepaddle.org.cn/documentation/docs/zh/install/install_NGC_PaddlePaddle_ch.html

*詳細(xì)產(chǎn)品介紹視頻

【飛槳開發(fā)者說(shuō)｜NGC飛槳容器全新上線 NVIDIA產(chǎn)品專家全面解讀】

https://www.bilibili.com/video/BV16B4y1V7ue?share_source=copy_web&vd_source=266ac44430b3656de0c2f4e58b4daf82

飛槳與 NVIDIA NGC 合作介紹

NVIDIA 非常重視中國(guó)市場(chǎng)，特別關(guān)注中國(guó)的生態(tài)伙伴，而當(dāng)前飛槳擁有超過(guò) 535 萬(wàn)的開發(fā)者。在過(guò)去五年里我們緊密合作，深度融合，做了大量適配工作，如下圖所示。

今年，我們將飛槳列為 NVIDIA 全球前三的深度學(xué)習(xí)框架合作伙伴。我們?cè)谥袊?guó)已經(jīng)設(shè)立了專門的工程團(tuán)隊(duì)支持，賦能飛槳生態(tài)。

為了讓更多的開發(fā)者能用上基于 NVIDIA 最新的高性能硬件和軟件棧。當(dāng)前，我們正在進(jìn)行全新一代 NVIDIA GPU H100 的適配工作，以及提高飛槳對(duì) CUDA Operation API 的使用率，讓飛槳的開發(fā)者擁有優(yōu)秀的用戶體驗(yàn)及極致性能。

以上的各種適配，僅僅是讓飛槳的開發(fā)者擁有高性能的推理訓(xùn)練成為可能。但是，這些離行業(yè)開發(fā)者還很遠(yuǎn)，門檻還很高，難度還很大。

為此，我們將剛剛這些集成和優(yōu)化工作，整合到三大產(chǎn)品線中。其中 NGC 飛槳容器最為閃亮。

NVIDIA NGC Container – 最佳的飛槳開發(fā)環(huán)境，集成最新的 NVIDIA 工具包（例如 CUDA）

點(diǎn)擊 “閱讀原文” 或掃描下方海報(bào)二維碼，即可免費(fèi)注冊(cè) GTC23，在 3 月 24 日 聽 OpenAI 聯(lián)合創(chuàng)始人與 NVIDIA 創(chuàng)始人的爐邊談話，會(huì)議將由 NVIDIA 專家主持，配中文講解和實(shí)時(shí)答疑，一起看 AI 的現(xiàn)狀和未來(lái)！