電子發(fā)燒友網(wǎng)報(bào)道（文/李彎彎）日前，由OpenAI訓(xùn)練的大規(guī)模語(yǔ)言模型ChatGPT上線。ChatGPT背后的算法基于Transformer架構(gòu)，這是一種使用自注意力機(jī)制處理輸入數(shù)據(jù)的深度神經(jīng)網(wǎng)絡(luò)。Transformer架構(gòu)廣泛應(yīng)用于語(yǔ)言翻譯、文本摘要、問(wèn)答等自然語(yǔ)言處理任務(wù)。

ChatGPT可用于創(chuàng)建能與用戶進(jìn)行對(duì)話的聊天機(jī)器人，由ChatGPT構(gòu)建的對(duì)話機(jī)器人，可以高質(zhì)量的回答用戶的提問(wèn)，能夠?qū)懶≌f(shuō)，編寫程序。不僅能夠?yàn)橛脩籼峁┯杏玫男畔⑦€很好玩，因此迅速出圈。據(jù)稱，ChatGPT的用戶數(shù)量已經(jīng)突破100萬(wàn)。

什么是ChatGPT

OpenAI是2015年在美國(guó)成立的一家人工智能研究機(jī)構(gòu)，由馬斯克、美國(guó)創(chuàng)業(yè)孵化器Y Combinator總裁阿爾特曼、全球在線支付平臺(tái)PayPal聯(lián)合創(chuàng)始人彼得·蒂爾等創(chuàng)立。后來(lái)馬斯克退出，微軟在2019年向OpenAI投資10億美元。

OpenAI分別在2018年、2019年和2020年相繼推出語(yǔ)言模型GPT-1、GPT-2和GPT-3。其中GPT-3在2020年6月上線的時(shí)候引起很大關(guān)注，被認(rèn)為是史上最強(qiáng)大的AI模型語(yǔ)言模型，參數(shù)量達(dá)到1750億。

相比GPT-3而言，今年初，OpenAI 采用對(duì)齊研究（alignment research），訓(xùn)練出更真實(shí)、更無(wú)害，而且更好地遵循用戶意圖的語(yǔ)言模型InstructGPT，被認(rèn)為是GPT-3.5版本。

OpenAI此次上線的ChatGPT，其訓(xùn)練方法和InstructGPT大體一樣，只是在使用的數(shù)據(jù)集上有微小差別。首先，通過(guò)有監(jiān)督學(xué)習(xí)訓(xùn)練出初始模型：人類AI培訓(xùn)員分別作為使用者和AI助手，模擬用戶和AI的對(duì)話。在這個(gè)過(guò)程中，人類AI培訓(xùn)員能夠訪問(wèn)機(jī)器編寫的建議來(lái)幫助他們生成恰當(dāng)?shù)幕貜?fù)。

為了創(chuàng)建出強(qiáng)化學(xué)習(xí)所需要的獎(jiǎng)勵(lì)機(jī)制，OpenAI將數(shù)個(gè)機(jī)器生成的回復(fù)進(jìn)行對(duì)比，并按照回復(fù)質(zhì)量由高到低進(jìn)行排序。訓(xùn)練團(tuán)隊(duì)選取了人類AI培訓(xùn)員與機(jī)器的對(duì)話后，從中隨機(jī)挑選一條機(jī)器編寫的信息，和幾條替代選項(xiàng)放在一起，讓人類AI培訓(xùn)員進(jìn)行排序。通過(guò)這種近端策略優(yōu)化方法，可以篩選出最讓人滿意的模型，多次迭代后便訓(xùn)練出了現(xiàn)在的版本。

ChatGPT有多強(qiáng)大

相比之下，ChatGPT比GPT-3更強(qiáng)。GPT-3只預(yù)測(cè)任何給定的單詞串之后的文本，而ChatGPT則試圖以一種更像人類的方式與用戶發(fā)生互動(dòng)。ChatGPT的互動(dòng)非常流暢，并且有能力參與各種主題，與幾年前才面世的聊天機(jī)器人相比，有巨大改進(jìn)。

ChatGPT到底有多強(qiáng)大，由其構(gòu)建的聊天機(jī)器人，交互界面簡(jiǎn)潔，只有一個(gè)輸入框，AI將根據(jù)輸入內(nèi)容進(jìn)行回復(fù)，并允許在一個(gè)語(yǔ)境下持續(xù)聊天。從用戶的使用情況來(lái)看，無(wú)論是讓它寫首押韻的詩(shī)、檢查代碼的bug、回答科學(xué)問(wèn)題，它都能隨機(jī)給出令人滿意的答案。

比如，知識(shí)講解。


比如，寫小說(shuō)。


有人用《老友記》等喜劇演員為角色，讓它寫一些肥皂劇對(duì)白，它可以寫得惟妙惟肖。解釋極其專業(yè)的科學(xué)概念也不在話下。它甚至可以寫一些基本的學(xué)術(shù)文章。

總之，ChatGPT可以回答基本的、甚至無(wú)聊的瑣碎問(wèn)題，也可以解釋專業(yè)的知識(shí)。這讓許多人認(rèn)為，像這樣的人工智能系統(tǒng)有一天會(huì)取代搜索引擎。聊天機(jī)器人是根據(jù)從網(wǎng)上收集到的信息進(jìn)行訓(xùn)練的。因此，如果能準(zhǔn)確地呈現(xiàn)這些信息，并以更流暢和對(duì)話的語(yǔ)調(diào)來(lái)進(jìn)行反饋，這將代表著傳統(tǒng)搜索的巨大進(jìn)步。

ChatGPT也存在問(wèn)題

雖然很多用戶對(duì)ChatGPT的功能印象深刻，然而也有人注意到，它容易產(chǎn)生看似合理但錯(cuò)誤的回答。比如，讓ChatGPT寫一個(gè)公眾人物的傳記，它很可能插入錯(cuò)誤的人物生平。讓它為特定功能編寫程序，它也許會(huì)生成看起來(lái)可信但最終不正確的代碼。

普林斯頓大學(xué)計(jì)算機(jī)科學(xué)教授Arvind Narayanan在推特上指出，人們對(duì)使用ChatGPT學(xué)習(xí)感到興奮。不過(guò)，除非你已經(jīng)知道答案，否則你無(wú)法判斷它什么時(shí)候是錯(cuò)的。他說(shuō)：“我嘗試了一些基本的信息安全問(wèn)題。在大多數(shù)情況下，答案聽起來(lái)似乎有理，但實(shí)際上漏洞百出?！?br />
近日，編程問(wèn)答網(wǎng)站Stack Overflow暫時(shí)禁止用戶分享ChatGPT生成的回復(fù)。原因是，Stack Overflow認(rèn)為，ChatGPT很容易與用戶互動(dòng)，且可以快速生成大量回答，這讓網(wǎng)站充斥著許多第一眼看起來(lái)是正確的答案，但在仔細(xì)檢查后就能發(fā)現(xiàn)其中的錯(cuò)誤。

OpenAI也坦誠(chéng)地表示，由于ChatGPT的知識(shí)只來(lái)自訓(xùn)練數(shù)據(jù)中的統(tǒng)計(jì)規(guī)律，而不是任何類似人類對(duì)世界復(fù)雜和抽象系統(tǒng)的理解，因此該系統(tǒng)可能偶爾會(huì)產(chǎn)生不正確或誤導(dǎo)性的信息，并產(chǎn)生攻擊性或有偏見(jiàn)的內(nèi)容。

ChatGPT頻出的錯(cuò)誤是人工智能文本生成模型的幾個(gè)眾所周知的缺點(diǎn)之一。這些系統(tǒng)通過(guò)分析從網(wǎng)上抓取的大量文本來(lái)訓(xùn)練機(jī)器人。人工智能在這些數(shù)據(jù)中尋找統(tǒng)計(jì)規(guī)律，并利用這些規(guī)律來(lái)預(yù)測(cè)給定的句子中，接下來(lái)應(yīng)該出現(xiàn)什么單詞。然而，這意味著他們?nèi)狈κ澜缟显S多系統(tǒng)運(yùn)行的硬編碼規(guī)則，導(dǎo)致他們傾向于產(chǎn)生“流利的廢話”。

小結(jié)

不可否認(rèn)的是，OpenAI訓(xùn)練的ChatGPT確實(shí)非常強(qiáng)大，可以回答無(wú)聊的問(wèn)題，也能解釋專業(yè)的科學(xué)問(wèn)題，可以寫小說(shuō)，也可以編寫程序。然而確實(shí)也還存在問(wèn)題，對(duì)2021年之后的世界認(rèn)知有限，對(duì)某些特定人群的問(wèn)題知之甚少，寫的人物傳記不準(zhǔn)確等。目前來(lái)說(shuō)，將其作為新一代的搜索引擎還存在風(fēng)險(xiǎn)。不過(guò)ChatGPT的上線也展示出了人工智能的更多可能。