來源：大數(shù)據(jù)文摘

人類語言及其背后的思維模式在結(jié)構(gòu)上比我們想象的更簡單、更“符合規(guī)律”。

ChatGPT大火，甚至已經(jīng)開始改變?nèi)祟惖墓ぷ骱退伎挤绞剑浞至私獠⑶艺J(rèn)識它，同時(shí)看到未來的機(jī)會，已經(jīng)成為每個(gè)人迫不及待需要建立的心智。而放眼全球，唯一一本能夠講透GPT的原理以及未來的書，唯有斯蒂芬·沃爾弗拉姆的這本《這就是ChatGPT》。

無論你是否了解他，我都想再次誠意的為你介紹這位傳奇人物的經(jīng)歷。

他是伊利諾斯大學(xué)物理學(xué)、數(shù)學(xué)和計(jì)算機(jī)科學(xué)教授，“科學(xué)天才”。15歲發(fā)表首篇粒子物理方面的學(xué)術(shù)論文；19歲，到加州理工學(xué)院研究基本粒子物理學(xué)，一年內(nèi)獲得理論物理學(xué)博士學(xué)位。隨后他和費(fèi)曼一起研究起元胞自動機(jī)。

同時(shí)也是軟件工程師、企業(yè)老板，他創(chuàng)辦的Wolfram Research軟件公司，研發(fā)出當(dāng)今世界四大數(shù)學(xué)軟件之一Mathematica。Mathematica的發(fā)布標(biāo)志著現(xiàn)代科技計(jì)算的開始，它是世界上通用計(jì)算系統(tǒng)中最強(qiáng)大的系統(tǒng)。沃爾夫勒姆本人也因?yàn)檫@個(gè)發(fā)明被認(rèn)為是“人類的偉大贊助者”，并跨入千萬富翁的行列。

1981年，沃爾弗拉姆被授予麥克阿瑟“天才人物”獎，并成為該獎有史以來最年輕的獲得者。

2009年5月，沃爾弗拉姆發(fā)布了一個(gè)搜索引擎WolframAlpha?！暗谝粋€(gè)真正實(shí)用的人工智能”。可以給出針對問題的有效答案，所以，WolframAlpha問世不久后便被稱為“谷歌殺手”。他跟喬布斯也是好友，比如蘋果手機(jī)助手Siri，背后的知識庫，其實(shí)就是Wolfram|Alpha支持的。

他的大部頭著作，1197頁的《一種新科學(xué)》（A New Kind of Science）在2002年出版的時(shí)候登上了亞馬遜的榜首，暢銷無比。

他是當(dāng)今世界活著的最聰明的人之一，最硬核的思考者。

1、那么，ChatGPT到底在做什么？它為什么能做到這些？

ChatGPT的基本概念在某種程度上相當(dāng)簡單：首先從互聯(lián)網(wǎng)、書籍等獲取人類創(chuàng)造的海量文本樣本，然后訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)來生成“與之類似”的文本。特別是，它能夠從“提示”開始，繼續(xù)生成“與其訓(xùn)練數(shù)據(jù)相似的文本”。

正如我們所見，ChatGPT中的神經(jīng)網(wǎng)絡(luò)實(shí)際上由非常簡單的元素組成，盡管有數(shù)十億個(gè)。神經(jīng)網(wǎng)絡(luò)的基本操作也非常簡單，本質(zhì)上是對于它生成的每個(gè)新詞（或詞的一部分），都將根據(jù)目前生成的文本得到的輸入依次傳遞“給其所有元素一次”（沒有循環(huán)等）。

值得注意和出乎意料的是，這個(gè)過程可以成功地產(chǎn)生與互聯(lián)網(wǎng)、書籍等中的內(nèi)容“相似”的文本。ChatGPT不僅能產(chǎn)生連貫的人類語言，而且能根據(jù)“閱讀”過的內(nèi)容來“循著提示說一些話”。它并不總是能說出“在全局上有意義”（或符合正確計(jì)算）的話，因?yàn)椋ㄈ绻麤]有利用Wolfram|Alpha的“計(jì)算超能力”）它只是在根據(jù)訓(xùn)練材料中的內(nèi)容“聽起來像什么”來說出“聽起來正確”的話。

ChatGPT 的具體工程非常引人注目。但是，（至少在它能夠使用外部工具之前）ChatGPT“僅僅”是從其積累的“傳統(tǒng)智慧的統(tǒng)計(jì)數(shù)據(jù)”中提取了一些“連貫的文本線索”。但是，結(jié)果的類人程度已經(jīng)足夠令人驚訝了。

正如我所討論的那樣，這表明了一些至少在科學(xué)上非常重要的東西：人類語言及其背后的思維模式在結(jié)構(gòu)上比我們想象的更簡單、更“符合規(guī)律”。ChatGPT 已經(jīng)隱含地發(fā)現(xiàn)了這一點(diǎn)。但是我們可以用語義語法、計(jì)算語言等來明確地揭開它的面紗。

ChatGPT 在生成文本方面表現(xiàn)得非常出色，結(jié)果通常非常類似于人類創(chuàng)作的文本。這是否意味著 ChatGPT 的工作方式像人類的大腦一樣？它的底層人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)說到底是對理想化大腦的建模。當(dāng)人類生成語言時(shí)，許多方面似乎非常相似。

當(dāng)涉及訓(xùn)練（即學(xué)習(xí)）時(shí)，大腦和當(dāng)前計(jì)算機(jī)在“硬件”（以及一些未開發(fā)的潛在算法思想）上的不同之處會迫使 ChatGPT 使用一種可能與大腦截然不同的策略（在某些方面不太有效率）。

還有一件事值得一提：甚至與典型的算法計(jì)算不同，ChatGPT 內(nèi)部沒有“循環(huán)”或“重新計(jì)算數(shù)據(jù)”。這不可避免地限制了其計(jì)算能力—即使與當(dāng)前的計(jì)算機(jī)相比也是如此，更談不上與大腦相比了。

我們尚不清楚如何在“修復(fù)”這個(gè)問題的同時(shí)仍然讓系統(tǒng)以合理的效率進(jìn)行訓(xùn)練。但這樣做可能會使未來的 ChatGPT 能夠執(zhí)行更多“類似大腦的事情”。當(dāng)然，有許多事情大腦并不擅長，特別是涉及不可約計(jì)算的事情。對于這些問題，大腦和像 ChatGPT 這樣的東西都必須尋求“外部工具”，比如 Wolfram 語言的幫助。

但是就目前而言，看到 ChatGPT 已經(jīng)能夠做到的事情是非常令人興奮的。在某種程度上，它是一個(gè)極好的例子，說明了大量簡單的計(jì)算元素可以做出非凡、驚人的事情。它也為我們提供了 2000 多年以來的最佳動力，來更好地理解人類條件（human condition）的核心特征—人類語言及其背后的思維過程—的本質(zhì)和原則。

2、前方的路

機(jī)器學(xué)習(xí)是一種強(qiáng)大的方法，特別是在過去十年中，它取得了一些非凡的成功—ChatGPT 是最新的成功案例。除此之外，還有圖像識別、語音轉(zhuǎn)文字、語言翻譯……在每個(gè)案例中，都會跨越一個(gè)門檻—通常是突然之間。一些任務(wù)從“基本不可能”變成了“基本可行”。

但結(jié)果從來不是“完美”的。也許有的東西能夠在 95% 的時(shí)間內(nèi)運(yùn)作良好。但是不論怎樣努力，它的表現(xiàn)在剩下的 5% 時(shí)間內(nèi)仍然難以捉摸。對于某些情況來說，這可能被視為失敗。但關(guān)鍵在于，在各種重要的用例中，95% 往往就“足夠好了”。原因也許是輸出是一種沒有“正確答案”的東西，也許是人們只是在試圖挖掘一些可能性供人類（或系統(tǒng)算法）選擇或改進(jìn)。

擁有數(shù)百億參數(shù)的神經(jīng)網(wǎng)絡(luò)一次一個(gè)標(biāo)記地生成文本，能夠做到ChatGPT 所能做的事情，這著實(shí)是非同凡響的。

鑒于這種戲劇性、意想不到的成功，人們可能會認(rèn)為，如果能夠“訓(xùn)練一個(gè)足夠大的網(wǎng)絡(luò)”，就能夠用它來做任何事情。但事實(shí)并非如此。關(guān)于計(jì)算的基本事實(shí)，尤其是計(jì)算不可約的概念，表明它最終是無法做到的。

不過不要緊，重點(diǎn)在于我們在機(jī)器學(xué)習(xí)的實(shí)際歷史中看到的：會取得（像 ChatGPT 這樣的）重大突破，進(jìn)步不會停止。更重要的是，我們會發(fā)現(xiàn)能做之事的成功用例，它們并未因不能做之事受阻。雖然“原始 ChatGPT”可以在許多情況下幫助人們寫作、提供建議或生成對各種文檔或交流有用的文本，但是當(dāng)必須把事情做到完美時(shí)，機(jī)器學(xué)習(xí)并不是解決問題的方法—就像人類也不是一樣。

這正是我們在以上例子中看到的。ChatGPT 在“類人的部分”表現(xiàn)出色，因?yàn)槠渲袥]有精確的“正確答案”。但當(dāng)它被“趕鴨子上架”、需要提供精確的內(nèi)容時(shí)，往往會失敗。這些例子要表達(dá)的重點(diǎn)是，有一種很好的方法可以解決該問題—將 ChatGPT 連接到Wolfram|Alpha（沃爾弗拉姆公司所研發(fā)的新一代的搜索引擎，能根據(jù)問題直接給出答案的網(wǎng)站）以利用其全部的計(jì)算知識“超能力”。

3、為ChatGPT賦予“思想”

在 Wolfram|Alpha 內(nèi)部，一切都被轉(zhuǎn)換為計(jì)算語言，轉(zhuǎn)換為精確的Wolfram 語言代碼。這些代碼在某種程度上必須是“完美”的，才能可靠地使用。關(guān)鍵是，ChatGPT 無須生成這些代碼。它可以生成自己常用的自然語言，然后由 Wolfram|Alpha 利用其自然語言理解能力轉(zhuǎn)換為精確的 Wolfram 語言。

在許多方面，可以說 ChatGPT 從未“真正理解”過事物，它只“知道如何產(chǎn)生有用的東西”。但是 Wolfram|Alpha 則完全不同。因?yàn)橐坏?Wolfram|Alpha 將某些東西轉(zhuǎn)換為 Wolfram 語言，我們就擁有了它們完整、精確、形式化的表示，可以用來可靠地計(jì)算事物。不用說，有很多“人類感興趣”的事物并沒有形式化的計(jì)算表示—盡管我們?nèi)匀豢梢杂米匀徽Z言談?wù)撍鼈?，但是可能不夠?zhǔn)確。對于這些事物，ChatGPT 只能靠自己，而且能憑借自己的能力做得非常出色。

就像我們?nèi)祟愐粯樱?strong>ChatGPT 有時(shí)候需要更形式化和精確的“助力”。重點(diǎn)在于，它不必用“形式化和精確”的語言表達(dá)自己，因?yàn)?Wolfram|Alpha 可以用相當(dāng)于 ChatGPT 母語的自然語言進(jìn)行溝通。當(dāng)把自然語言轉(zhuǎn)換成自己的母語 —Wolfram 語言時(shí)，Wolfram|Alpha 會負(fù)責(zé)“添加形式和精度”。我認(rèn)為這是一種非常好的情況，具有很大的實(shí)用潛力。

這種潛力不僅可以用于典型的聊天機(jī)器人和文本生成應(yīng)用，還能擴(kuò)展到像數(shù)據(jù)科學(xué)或其他形式的計(jì)算工作（或編程）中。從某種意義上說，這是一種直接把 ChatGPT 的類人世界和 Wolfram 語言的精確計(jì)算世界結(jié)合起來的最佳方式。

ChatGPT 能否直接學(xué)習(xí) Wolfram 語言呢？答案是肯定的，事實(shí)上它已經(jīng)開始學(xué)習(xí)了。我十分希望像 ChatGPT 這樣的東西最終能夠直接在 Wolfram 語言中運(yùn)行，并且因此變得非常強(qiáng)大。

這種有趣而獨(dú)特的情況之所以能成真，得益于 Wolfram 語言的如下特點(diǎn)：它是一門全面的計(jì)算語言，可以用計(jì)算術(shù)語來廣泛地談?wù)撌澜缟虾推渌胤降氖挛铩?/p>

Wolfram 語言的總體概念就是對我們?nèi)祟惖乃妓脒M(jìn)行計(jì)算上的表示和處理。普通的編程語言旨在確切地告訴計(jì)算機(jī)要做什么，而作為一門全面的計(jì)算語言，Wolfram 語言涉及的范圍遠(yuǎn)遠(yuǎn)超出了這一點(diǎn)。實(shí)際上，它旨在成為一門既能讓人類也能讓計(jì)算機(jī)“用計(jì)算思維思考”的語言。

許多世紀(jì)以前，當(dāng)數(shù)學(xué)符號被發(fā)明時(shí)，人類第一次有了“用數(shù)學(xué)思維思考”事物的一種精簡媒介。它的發(fā)明很快導(dǎo)致了代數(shù)、微積分和最終所有數(shù)學(xué)科學(xué)的出現(xiàn)。Wolfram 語言的目標(biāo)則是為計(jì)算思維做類似的事情，不僅是為了人類，而且是要讓計(jì)算范式能夠開啟的所有“計(jì)算 XX 學(xué)”領(lǐng)域成為可能。

我個(gè)人因?yàn)槭褂?Wolfram 語言作為“思考語言”而受益匪淺。過去幾十年里，看到許多人通過 Wolfram 語言“以計(jì)算的方式思考”而取得了很多進(jìn)展，真的讓我喜出望外。

那么 ChatGPT 呢？它也可以做到這一點(diǎn)，只是我還不確定一切將如何運(yùn)作。但可以肯定的是，這不是讓 ChatGPT 學(xué)習(xí)如何進(jìn)行 Wolfram 語言已經(jīng)掌握的計(jì)算，而是讓 ChatGPT 學(xué)習(xí)像人類一樣使用 Wolfram 語言，讓 ChatGPT 用計(jì)算語言（而非自然語言）生成“創(chuàng)造性文章”，等等。

我在很久之前就討論過由人類撰寫的計(jì)算性文章的概念，它們混合使用了自然語言和計(jì)算語言?，F(xiàn)在的問題是，ChatGPT 能否撰寫這些文章，能否使用 Wolfram 語言作為一種提供對人類和計(jì)算機(jī)而言都“有意義的交流”的方式。是的，這里存在一個(gè)潛在的有趣的反饋循環(huán)，涉及對 Wolfram 語言代碼的實(shí)際執(zhí)行。

但至關(guān)重要的是Wolfram 語言代碼所代表的“思想”的豐富性和“思想”流—與普通編程語言中的不同，更接近 ChatGPT 在自然語言中“像魔法一樣”處理的東西。

換句話說，Wolfram 語言是和自然語言一樣富有表現(xiàn)力的，足以用來為 ChatGPT 編寫有意義的“提示”。沒錯，Wolfram 語言代碼可以直接在計(jì)算機(jī)上執(zhí)行。但作為 ChatGPT 的提示，它也可以用來“表達(dá)”一個(gè)可以延續(xù)的“想法”。它可以描述某個(gè)計(jì)算結(jié)構(gòu)，讓ChatGPT“即興續(xù)寫”人們可能對于該結(jié)構(gòu)的計(jì)算上的說法，而且根據(jù)它通過閱讀人類寫作的大量材料所學(xué)到的東西來看，這“對人類來說將是有趣的”。

ChatGPT 的意外成功突然帶來了各種令人興奮的可能性。就目前而言，我們能馬上抓住的機(jī)會是，通過 Wolfram|Alpha 賦予 ChatGPT計(jì)算知識超能力。這樣，ChatGPT 不僅可以產(chǎn)生“合理的類人輸出”，而且能保證這些輸出利用了封裝在 Wolfram|Alpha 和 Wolfram語言內(nèi)的整座計(jì)算和知識高塔。