中國版ChatGPT下月面世

美國人工智能公司OpenAI的大語言模型ChatGPT在推出約兩個(gè)月后，1月已達(dá)到1億月活躍用戶，成為歷史上增長最快的消費(fèi)者應(yīng)用程序，更是掀起了新一輪人工智能浪潮。

北京時(shí)間2月8日凌晨，微軟推出由ChatGPT支持的最新版本必應(yīng)搜索引擎和Edge瀏覽器，宣布要“重塑搜索”。微軟旗下Office、Azure云服務(wù)等所有產(chǎn)品都將全線整合ChatGPT。

更有甚者，中國百度公司2月7日表示，將在今年3月完成類似ChatGPT的項(xiàng)目“文心一言”（ERNIE Bot）的內(nèi)部測試，加入這場全球競賽。

百度公司表示，文心一言（其英文名Ernie為“通過知識整合增強(qiáng)表征”的英文縮寫）是一種大型人工智能賦能的語言模式，于2019年啟動(dòng)。該公司還說，它已經(jīng)逐漸發(fā)展到能夠完成語言理解、語言生成和文本生成圖像等任務(wù)。

百度稱，該公司在人工智能四層架構(gòu)中擁有全棧布局?！拔男囊谎浴蔽挥谀Ｐ蛯印；诠驹谌斯ぶ悄茴I(lǐng)域深耕數(shù)十年，擁有產(chǎn)業(yè)級知識增強(qiáng)文心大模型ERNIE，具備跨模態(tài)、跨語言的深度語義理解與生成能力。

如何訓(xùn)練ChatGPT

ChatGPT現(xiàn)在支持GPT-3.5系列機(jī)型，比 GPT3更強(qiáng)大。 這些模型在 Microsoft 的Azure AI超級計(jì)算基礎(chǔ)設(shè)施上使用文本和代碼數(shù)據(jù)進(jìn)行訓(xùn)練。

具體來說，ChatGPT是在開源數(shù)據(jù)集上訓(xùn)練的，訓(xùn)練參數(shù)比上一代GPT3提升了10倍以上，并且人工標(biāo)注數(shù)據(jù)和強(qiáng)化學(xué)習(xí)，相當(dāng)于拿回了被GPT3去掉的微調(diào)步驟，實(shí)現(xiàn)了在與人類互動(dòng)時(shí)從反饋中強(qiáng)化學(xué)習(xí)。

當(dāng)我們想要構(gòu)建一個(gè)AI模型時(shí)，最重要的步驟總結(jié)下來就是：定義架構(gòu)、訓(xùn)練、調(diào)試以及測試。記者詢問ChatGPT，你是如何訓(xùn)練的，它的回復(fù)是：1. 選擇大規(guī)模語料庫，構(gòu)建訓(xùn)練集。2. 定義模型架構(gòu)，通常使用Transformer模型。3. 選擇優(yōu)化算法并設(shè)置超參數(shù)。4. 訓(xùn)練模型，根據(jù)訓(xùn)練損失下降情況和驗(yàn)證集結(jié)果決定是否需要調(diào)整超參數(shù)。5. 使用測試集評估模型性能。6. 如果需要，對模型進(jìn)行微調(diào)，以提高性能。

當(dāng)決定要訓(xùn)練一個(gè)語言類AI模型時(shí)，第一件事就要明確訓(xùn)練AI的語料庫。語料庫的選擇十分重要，為了讓語言模型學(xué)到足夠多的語言信息，需要選擇盡量規(guī)模大的文本語料庫。以ChatGPT為例，訓(xùn)練類似AI模型時(shí)，就需要準(zhǔn)備各類網(wǎng)站的百科文章、網(wǎng)絡(luò)回答、專業(yè)論文等。據(jù)了解，一款通用AI算法所使用的預(yù)訓(xùn)練語料庫大小為1-10GB之間，而用于訓(xùn)練ChatGPT的前身——GPT-3的語料庫達(dá)到了45TB。

訓(xùn)練AI執(zhí)行語言任務(wù)還繞不開Transformer模型。Transformer模型（變換器）是一種采用自注意力機(jī)制的深度學(xué)習(xí)模型，自注意力的意思即可以按照輸入數(shù)據(jù)各部分重要性的不同而分配不同的權(quán)重。它通過計(jì)算詞與詞之間的相對位置關(guān)系來確定注意力的權(quán)值，最終生成語句的語義表示。Transformer的優(yōu)勢在于其可以并行計(jì)算，速度快，精度高，是目前自然語言處理中最常使用的模型之一。

文章綜合與非網(wǎng)、參考消息網(wǎng)、新華社