百度 | Bard | Chat GPT

谷歌 | RLHF|ERNIE Bot

隨著深度學習、高性能計算、數(shù)據(jù)分析、數(shù)據(jù)挖掘、LLM、PPO、NLP等技術(shù)的快速發(fā)展，Chat GPT得到快速發(fā)展。Chat GPT是OpenAI開發(fā)的大型預訓練語言模型，GPT-3模型的一個變體，經(jīng)過訓練可以在對話中生成類似人類的文本響應(yīng)。

為了占據(jù)ChatGPT市場的有利地位，百度谷歌等巨頭公司也在運籌帷幄，不斷發(fā)展。

作為國內(nèi)液冷服務(wù)器知名廠商，藍海大腦Chat GPT深度學習一體機實現(xiàn)了軟硬協(xié)同的深度優(yōu)化，在分布式存儲加速、智能網(wǎng)絡(luò)加速等關(guān)鍵性技術(shù)上取得重要突破，提供更加出色的云系統(tǒng)性能。采用NVMe專屬定制的加速引擎，發(fā)揮NVMe極致性能，全棧的數(shù)據(jù)傳輸通道實現(xiàn)分布式存儲副本數(shù)據(jù)傳輸零損耗。同時，升級智能網(wǎng)絡(luò)引擎，通過更多類型網(wǎng)卡進行虛擬化調(diào)度，釋放CPU性能，可以使計算資源節(jié)約最多達90%，網(wǎng)絡(luò)轉(zhuǎn)發(fā)速率提高數(shù)倍，進一步提升平臺性能深受廣大Chat GPT 工作者的喜愛。

深度學習一體機

ChatGPT的訓練過程

在整體技術(shù)路線上，Chat GPT引入了“手動標注數(shù)據(jù)+強化學習”(RLHF，從人的反饋進行強化學習)來不斷Fine-tune預訓練語言模型。主要目的是讓LLM模型學會理解人類命令的含義(比如寫一篇短文生成問題、知識回答問題、頭腦風暴問題等不同類型的命令)，讓LLM學會判斷對于給定的提示輸入指令(用戶的問題)什么樣的回答是優(yōu)質(zhì)的(富含信息、內(nèi)容豐富、對用戶有幫助、無害、不包含歧視信息等多種標準)。

在“人工標注數(shù)據(jù)+強化學習”的框架下，具體來說，Chat GPT的訓練過程分為以下三個階段:

一、第一階段：監(jiān)督調(diào)優(yōu)模型

就 GPT 3.5 本身而言，雖然功能強大，但很難理解不同類型人類的不同指令所體現(xiàn)的不同意圖，也很難判斷生成的內(nèi)容是否是高質(zhì)量的結(jié)果。為了讓GPT 3.5初步理解指令中包含的意圖，將隨機選擇一批測試用戶提交的prompt（即指令或問題），由專業(yè)標注人員對指定指令提供高質(zhì)量的答案，然后專業(yè)人員標注數(shù)據(jù)對GPT 3.5模型進行微調(diào)。通過這個過程，可以假設(shè) GPT 3.5 最初具有理解人類命令中包含的意圖并根據(jù)這些意圖提供相對高質(zhì)量答案的能力。

第一階段的首要任務(wù)是通過收集數(shù)據(jù)以訓練監(jiān)督的策略模型。

數(shù)據(jù)采集：選擇提示列表，要求標注者寫出預期結(jié)果。Chat GPT 使用兩種不同的prompt 來源：一些是直接使用注釋者或研究人員生成的，另一些是從 OpenAI 的API 請求（即來自 GPT-3 用戶）獲得的。盡管整個過程緩慢且昂貴，但最終結(jié)果是一個相對較小的高質(zhì)量數(shù)據(jù)集（大概有 12-15k 個數(shù)據(jù)點），可用于調(diào)整預訓練語言模型。

模型選擇：Chat GPT 開發(fā)人員從 GPT-3.5 套件中選擇預訓練模型，而不是對原始 GPT-3 模型進行微調(diào)。使用的基礎(chǔ)模型是最新版本的text-davinci-003（用程序代碼調(diào)優(yōu)的GPT-3模型）。

二、第二階段：訓練回報模型

這個階段的主要目標是通過手動標注訓練數(shù)據(jù)來訓練回報模型。具體是隨機抽取用戶提交的請求prompt（大部分與第一階段相同），使用第一階段Enhancement的冷啟動模型。對于每個prompt，冷啟動模型都會生成K個不同的答案，所以模型會生成數(shù)據(jù), ....。之后，標注者根據(jù)各種標準（上述的相關(guān)性、富含信息性、有害信息等諸多標準）對X個結(jié)果進行排序，并指定X個結(jié)果的排名順序，這就是這個階段人工標注的數(shù)據(jù)。

接下來，使用這個排名結(jié)果數(shù)據(jù)來訓練回報模型。使用的訓練方式實際上是常用的pair-wise learning to rank。對于 X 排序結(jié)果，兩兩組合起來形成一個訓練數(shù)據(jù)對，ChatGPT 使用 pair-wise loss 來訓練 Reward Model。RM 模型將 作為輸入，并提供獎勵分數(shù)來評估答案的質(zhì)量。對于一對訓練數(shù)據(jù)，假設(shè) answer1 排在 answer2 之前，那么Loss函數(shù)驅(qū)動 RM 模型比其他得分更高。

總結(jié)一下：在這個階段，首先冷啟動后的監(jiān)控策略模型對每個prompt生成X個結(jié)果，并根據(jù)結(jié)果的質(zhì)量從高到低排序，并作為訓練數(shù)據(jù)，通過pair-wise learning to rank模式來訓練回報模型。對于學好的 RM 模型來說，輸入 ，并輸出結(jié)果質(zhì)量分數(shù)。分數(shù)越高，答案的質(zhì)量就越高。其工作原理是：

選擇prompt列表，SFT 模型為每個命令生成多個輸出（4 到 9 之間的任何值）；

標注者從最好到最差對輸出進行排名。結(jié)果是一個新標記的數(shù)據(jù)集，其大小大約是用于 SFT 模型的確切數(shù)據(jù)集的 10 倍；

此新數(shù)據(jù)用于訓練 RM 模型。該模型將 SFT 模型的輸出作為輸入，并按優(yōu)先順序?qū)λ鼈冞M行排序。

三、第三階段：使用 PPO 模型微調(diào) SFT 模型

本階段不需要人工標注數(shù)據(jù)，而是利用上一階段學習的RM模型，根據(jù)RM打分結(jié)果更新預訓練模型參數(shù)。具體來說，首先從用戶提交的prompt中隨機選擇一批新的指令（指的是不同于第一階段和第二階段的新提示），PPO模型參數(shù)由冷啟動模型初始化。然后對于隨機選取的prompt，使用PPO模型生成答案，使用前一階段訓練好的RM模型，提供一個評價答案質(zhì)量的獎勵分數(shù)，即RM對所有答案給出的整體reward。有了單詞序列的最終回報，每個詞可以看作一個時間步長，reward從后向前依次傳遞，由此產(chǎn)生的策略梯度可以更新PPO模型的參數(shù)。這是一個標準化的強化學習過程，目標是生成符合 RM 標準的高質(zhì)量答案。

如果我們不斷重復第二和第三階段，很明顯每次迭代都會讓 LLM 模型變得越來越強大。因為在第二階段，RM模型的能力通過人工標注數(shù)據(jù)得到增強，而在第三階段，增強的RM模型更準確地評估新prompt生成的答案，并使用強化學習來鼓勵LLM模型學習新的高質(zhì)量內(nèi)容 ，這類似于使用偽標簽來擴展高質(zhì)量的訓練數(shù)據(jù)，從而進一步增強LLM模型。顯然，第二階段和第三階段相輔相成，這就是為什么連續(xù)迭代的效果會越來越大。

不過小編認為，在第三階段實施強化學習策略并不一定是Chat GPT模型如此出色的主要原因。假設(shè)第三階段不使用強化學習，而是采用如下方法：與第二階段類似，對于一個新的prompt，冷啟動模型可能會生成X個答案，由RM模型打分。我們選擇得分最高的答案組成新的訓練數(shù)據(jù)，進入fine-tune LLM模型。假設(shè)換成這種模式，相信效果可能會比強化學習更好。雖然沒那么精致，但效果不一定差很多。不管第三階段采用哪種技術(shù)模型，本質(zhì)上很可能是利用第二階段學會的RM，從LLM模型中擴展出高質(zhì)量的訓練數(shù)據(jù)。

以上是Chat GPT訓練過程。這是一個改進的 instruct GPT。改進主要是標注數(shù)據(jù)收集方法上的一些差異。其他方面，包括模型結(jié)構(gòu)和訓練過程，基本遵循instruct GPT。估計這種Reinforcement Learning from Human Feedback技術(shù)會很快擴散到其他內(nèi)容創(chuàng)作方向，比如一個很容易想到的方向，類似“A machine translation model based on Reinforcement Learning from Human Feedback”等。不過個人認為在NLP的內(nèi)容生成的特定領(lǐng)域采用這項技術(shù)并不是很重要，因為Chat GPT本身可以處理很多不同類型的任務(wù)，基本上涵蓋了NLP產(chǎn)生的很多子領(lǐng)域。因此，對于NLP的某些細分領(lǐng)域，單獨使用這項技術(shù)的價值并不大，其可行性可以認為是經(jīng)過Chat GPT驗證的。如果將該技術(shù)應(yīng)用到其他模式的創(chuàng)作中，比如圖像、音頻、視頻等，這或許是一個值得探索的方向?？赡芎芸炀蜁吹筋愃啤癆 XXX diffusion model based on Reinforcement Learning from Human Feedback”之類的內(nèi)容。

Chat GPT的不足之處

盡管Chat GPT好評如潮且商家采用率不斷提高，但仍然存在許多缺點。

一、回答缺少連貫性

因為Chat GPT只能基于上文且記憶力差，傾向于忘記一些重要的信息。研究人員正在開發(fā)一種 AI，可以在預測文本中的下一個字母時查看短期和長期特征。這種策略稱為卷積。使用卷積的神經(jīng)網(wǎng)絡(luò)可以跟蹤足夠長的信息以保持主題。

二、有時會存在偏見

因為 Chat GPT 訓練數(shù)據(jù)集是文本，反映了人類的世界觀，這不可避免地包含了人類的偏見。如果企業(yè)使用 Chat GPT 撰寫電子郵件、文章、論文等無需人工審核，則法律和聲譽風險會很大。例如，帶有種族偏見的文章可能會產(chǎn)生重大后果。

Facebook 的 AI 負責人 Jerome Pesenti 使用 Kumar的 GPT-3 生成的推文來展示輸出如何根據(jù)需要使用“猶太人、黑人、女性或大屠殺”等詞，其輸出可能會變得多么危險。Kumar 認為這些推文是精心挑選的，Pesenti 同意，但回應(yīng)說“產(chǎn)生種族主義和性別歧視的輸出不應(yīng)該那么容易，尤其是在中立的情況下。”

另外，對GPT-3文章的評價也有失偏頗。人類寫作文本的風格會因文化和性別而有很大差異。如果 GPT-3 在沒有校對的情況下對論文進行評分，GPT-3 論文評分者可能會給學生更高的評分，因為他們的寫作風格在訓練數(shù)據(jù)中更為普遍。

三、對事實理解能力較弱

Chat GPT不能從事實的角度區(qū)分是非。例如，Chat GPT 可能會寫一個關(guān)于獨角獸的有趣故事，但 Chat GPT 可能不了解獨角獸到底是什么。

四、錯誤信息/虛假新聞

Chat GPT可能會創(chuàng)作逼真的新聞或評論文章，這些文章可能會被壞人利用來生成虛假信息，例如虛假故事、虛假通訊或冒充社交媒體帖子，以及帶有偏見或辱罵性的語言?；蚶]件、網(wǎng)絡(luò)釣魚、欺詐性學術(shù)論文寫作、煽動極端主義和社會工程借口。Chat GPT 很容易成為強大宣傳機器的引擎。

五、不適合高風險類別

OpenAI 聲明該系統(tǒng)不應(yīng)該用于“高風險類別”，例如醫(yī)療保健。在 Nabra 的博客文章中，作者證實 Chat GPT 可以提供有問題的醫(yī)療建議，例如“自殺是個好主意”。Chat GPT 不應(yīng)在高風險情況下使用，因為盡管有時它給出的結(jié)果可能是正確的，但有時會給出錯誤的答案。在這個領(lǐng)域，正確處理事情是生死攸關(guān)的問題。

六、有時產(chǎn)生無用信息

因為 Chat GPT 無法知道哪些輸出是正確的，哪些是錯誤的，并且無法阻止自己向世界傳播不適當?shù)膬?nèi)容。使用此類系統(tǒng)生成的內(nèi)容越多，互聯(lián)網(wǎng)上產(chǎn)生的內(nèi)容污染就越多。在互聯(lián)網(wǎng)上尋找真正有價值的信息變得越來越困難。由于語言模型發(fā)出未經(jīng)檢查的話語，可能正在降低互聯(lián)網(wǎng)內(nèi)容的質(zhì)量，使人們更難獲得有價值的知識。

谷歌、百度應(yīng)對OpenAI所采取的措施

近日，Chat GPT聊天機器人風靡全球，轟動一時。這些AI產(chǎn)品是眾多大廠競相競爭的對象。2月7日消息，據(jù)外媒報道，當?shù)貢r間周一，谷歌公布了Chat GPT的競爭對手Bard，一款人工智能聊天機器人工具。此外，百度計劃在今年 3 月推出類似于 Chat GPT OpenAI 的 AI 聊天機器人服務(wù)。

一、谷歌推出AI聊天機器人工具Bard

谷歌CEO桑達爾·皮查伊（Sundar Pichai）在一篇博文中宣布了該項目，將該工具描述為一種由LaMDA（谷歌開發(fā)的大型語言模型）支持的“實驗性對話式人工智能服務(wù)”，將回答用戶問題并參與對話。

他還指出，Bard 能夠從網(wǎng)絡(luò)中提取最新信息以提供新鮮、高質(zhì)量的回復，這意味著 Bard 可能能夠以 Chat GPT 難以做到的方式回答有關(guān)近期事件的問題。

Pichai 表示，該軟件最初將開始面向可信任的測試人員開放，然后在未來幾周內(nèi)更廣泛地向公眾提供。目前尚不清楚 Bard 將具有哪些功能，但聊天機器人似乎將像美國人工智能研究公司 OpenAI 擁有的 Chat GPT 一樣免費使用。

據(jù)悉，Chat GPT由OpenAI于2022年11月30日推出，Chat GPT可以根據(jù)用戶需求快速創(chuàng)作文章、故事、歌詞、散文、笑話，甚至代碼，并回答各種問題。Chat GPT一經(jīng)發(fā)布就在互聯(lián)網(wǎng)上掀起一股風暴，并受到包括作家、程序員、營銷人員在內(nèi)的用戶以及其他公司的青睞。對于Chat GPT的走紅，Pichai在公司內(nèi)部發(fā)布了“紅色警報”，表示將在2023年圍繞Chat GPT全面適配谷歌在AI方面的工作。上周，皮查伊表示，谷歌將在未來幾周或幾個月內(nèi)推出自己的 AI 語言建模工具，類似于 Chat GPT。

二、百度Chat GPT產(chǎn)品官宣確認：文心一言3月完成內(nèi)測

值得注意的是，據(jù)外媒報道百度計劃在今年3月推出類似于Chat GPT OpenAI的人工智能聊天機器人服務(wù)。初始版本將嵌入其搜索服務(wù)中。目前，百度已確認該項目名稱為文心一言，英文名稱為ERNIE Bot。內(nèi)部測試于 3 月結(jié)束，并向公眾開放。此時，文心一言正在做上線前的沖刺。

去年9月，百度CEO李彥宏判斷人工智能的發(fā)展“在技術(shù)層面和商業(yè)應(yīng)用層面都出現(xiàn)了方向性轉(zhuǎn)變”。據(jù)猜測百度那時候就開始做文心一言。按照谷歌和微軟的節(jié)奏，文心一言可能提前開啟內(nèi)測。

百度擁有 Chat GPT 相關(guān)技術(shù)，在四層人工智能架構(gòu)上（包括底層芯片、深度學習框架、大模型、頂級搜索應(yīng)用）進行了全棧布局。文心一言位于模型層。百度深耕人工智能領(lǐng)域數(shù)十年，擁有產(chǎn)業(yè)級知識增強文心大模型ERNIE，具有跨模態(tài)、跨語言的深度語義理解和生成能力。

業(yè)內(nèi)人士分析，尤其是在自然語言處理領(lǐng)域，國內(nèi)絕對沒有一家公司能接近百度目前的水平。有專家提出Chat GPT是人工智能的一個里程碑，更是分水嶺，意味著AI技術(shù)的發(fā)展已經(jīng)到了一個臨界點，企業(yè)需要盡快落地。

審核編輯黃宇