ChatGPT火熱的背后。

ChatGPT目前每天花費約 700,000 美元來運行硬件推理成本。如果ChatGPT的當(dāng)前實施和運營被投入到每一個谷歌搜索中，這將意味著成本結(jié)構(gòu)的巨大增加，達(dá)到360億美元。谷歌服務(wù)業(yè)務(wù)部門的年凈收入將從 2022 年的 555 億美元下降至 195 億美元。

當(dāng)然，這永遠(yuǎn)不會發(fā)生，但是如果我們假設(shè)沒有進(jìn)行任何軟件或硬件改進(jìn)，那就是有趣的思想實驗。

第一輪優(yōu)化很簡單。Bing GPT 的 84 個不同真實示例的令牌輸出計數(shù)明顯較低，約為 350，而 ChatGPT 則為 2,000。在大多數(shù)情況下，人們希望在與搜索交互時避免閱讀大量信息。此估算考慮了未向用戶顯示的令牌。后續(xù)的優(yōu)化是前2000個關(guān)鍵詞占搜索量的12.2%，更多的也是純導(dǎo)航搜索。假設(shè) 20% 的搜索不需要 LLM。最后，與使用基于英偉達(dá)的 HGX A100 的 Microsoft/OpenAI 相比，谷歌使用內(nèi)部 TPUv4 pod 具有顯著的基礎(chǔ)設(shè)施優(yōu)勢。

這些簡單的優(yōu)化使 Google 在搜索中實施 LLM 的額外成本僅為 30 億美元。如果一切從一開始就完美設(shè)置，Google 僅在硬件上的資本支出成本就約為200億美元，包括數(shù)據(jù)中心基礎(chǔ)設(shè)施。這是在Nvidia H100 和 Google 的 TPUv5 等新硬件或MoE、稀疏性、修剪、模型蒸餾、kv 緩存和提前退出等各種技術(shù)提高成本之前。

人們不會接受連接到互聯(lián)網(wǎng)的 ChatGPT 的接口，速度太慢，容易編造信息，無法有效變現(xiàn)。上面的分析仍然過于簡單，僅在搜索堆棧的一部分（實時查詢處理）中說明了LLM?。

今天，我們將深入探討 LLM 在整個搜索堆棧中的未來實現(xiàn)。由于用戶體驗的變化，單位收入經(jīng)濟和成本結(jié)構(gòu)將完全重新設(shè)計，這將在未來 2 到 3 年內(nèi)迅速改變。

要從收入和成本的角度更深入地了解變化，我們首先必須解釋當(dāng)前的搜索架構(gòu)，因為它為未來的變化提供了背景。從較高的層面來看，搜索的目標(biāo)是盡快提供相關(guān)信息。輸入關(guān)鍵字時，你希望將最佳信息提升到頂部。搜索管道有四個主要進(jìn)程：爬蟲、索引、查詢處理器和廣告引擎。機器學(xué)習(xí)模型已經(jīng)在這四個領(lǐng)域得到廣泛應(yīng)用。

履帶式

爬蟲自動定位互聯(lián)網(wǎng)上的新內(nèi)容，包括網(wǎng)頁、圖像和視頻，并將其添加到搜索引擎的數(shù)據(jù)庫（索引）中。通過利用機器學(xué)習(xí)，爬蟲確定要索引的頁面的價值并識別重復(fù)內(nèi)容。它還分析頁面之間的鏈接，評估哪些頁面可能相關(guān)且重要。此信息用于優(yōu)化抓取過程，確定抓取哪些頁面、頻率和程度。

爬蟲在內(nèi)容提取中也起著重要作用。目標(biāo)是全面文本化網(wǎng)頁包含的內(nèi)容，同時最小化該數(shù)據(jù)的總大小以支持快速準(zhǔn)確的搜索。延遲就是搜索的重中之重的問題，即使是幾百毫秒也會顯著影響用戶的搜索量。

谷歌和必應(yīng)利用圖像和小型語言模型來生成頁面/圖像/視頻本身不存在的元數(shù)據(jù)。大型語言和多模式模型的明顯插入點是大規(guī)模擴展這些功能。在任何簡單的搜索成本模型中都沒有考慮到這一點。

索引

索引是一個數(shù)據(jù)庫，用于存儲爬蟲發(fā)現(xiàn)的信息。在索引層中進(jìn)行了大量預(yù)處理，以最大限度地減少必須搜索的數(shù)據(jù)量。這最大限度地減少了延遲并最大限度地提高了搜索相關(guān)性。

相關(guān)性排名：模型可用于根據(jù)相關(guān)性對索引中的頁面進(jìn)行排名，以便首先返回最相關(guān)的頁面以響應(yīng)用戶的搜索查詢。

聚類：模型可用于將索引中相似的頁面分組為聚類，使用戶更容易找到相關(guān)信息。

異常檢測：模型可以檢測并從索引中刪除異?；蚶撁?，從而提高搜索結(jié)果的質(zhì)量。

文本分類：模型可用于根據(jù)內(nèi)容和上下文對索引中的頁面進(jìn)行分類。

主題建模：模型可以識別索引頁面涵蓋的主題，并將每一頁映射到一個或多個主題。

雖然目前這是通過較小的模型和 DLRM 完成的，但如果插入 LLM，效率將顯著提高。在任何簡單的搜索成本模型中都沒有考慮到這一點。我們將在本報告稍后部分討論用例并估算成本。

查詢處理器

這是搜索堆棧中最受關(guān)注的層。它接收用戶的查詢并生成最相關(guān)的結(jié)果。它通過解析用戶的查詢，將其分解為關(guān)鍵字和短語，從索引中獲取最相關(guān)的項目，然后針對該用戶的特定查詢重新排序和過濾來實現(xiàn)這一點。查詢處理器還負(fù)責(zé)將這些結(jié)果呈現(xiàn)給用戶。

目前有多種模型部署在這個管道中，從簡單的拼寫檢查到查詢擴展，自動將相關(guān)術(shù)語添加到用戶的查詢中以提高搜索結(jié)果的準(zhǔn)確性。基于用戶的搜索歷史、位置、設(shè)備、偏好和興趣的相關(guān)性排名和個性化結(jié)果。這目前需要在多個小模型上運行推理。

當(dāng)用戶實時提交查詢時，必須快速有效地執(zhí)行查詢處理。相比之下，抓取和索引是持續(xù)發(fā)生的過程，不與用戶交互。

順便說一句，谷歌和必應(yīng)在這里使用非常不同的硬件來實現(xiàn)他們的經(jīng)典方法。谷歌使用了大量標(biāo)準(zhǔn) CPU 和內(nèi)部 TPU。另一方面，必應(yīng)目前使用許多標(biāo)準(zhǔn) CPU 和FPGA 。

廣告引擎

雖然搜索堆棧的最后三個部分對于滿足和留住用戶至關(guān)重要，但許多人認(rèn)為廣告引擎最重要，因為所有盈利都源于其質(zhì)量。查詢處理器與廣告引擎實時交互。廣告引擎必須對用戶查詢、用戶配置文件、位置和廣告效果之間的關(guān)系進(jìn)行建模，以便為每個用戶生成個性化推薦，從而最大限度地提高點擊率和收入。

廣告市場是一個實時競價的比賽，廣告商通常為關(guān)鍵字、詞組或某些用戶類型付費。廣告模型松散地使用這些作為指導(dǎo)，因為支付的金額不是服務(wù)的唯一指標(biāo)。該模型需要優(yōu)化轉(zhuǎn)換以賺取收入并提高利率，因此相關(guān)性是超優(yōu)化參數(shù)。

平均而言，在過去四年中，80% 的 Google 搜索都沒有在搜索結(jié)果頂部顯示任何廣告。此外，目前只有一小部分搜索（不到 5%）有四個最熱門的文字廣告。

使用 LLM，消費者閱讀的部分不是廣告可以轉(zhuǎn)化為廣告商銷售的前幾個結(jié)果。相反，它是 LLM 的輸出。因此，這是隨著對話式 LLM 的出現(xiàn)而發(fā)生最大變化的搜索堆棧的一部分。我們將在本報告后面部分討論貨幣化的方式和情況，因為這是廣告服務(wù)運作方式的根本轉(zhuǎn)變。

激進(jìn)的轉(zhuǎn)變

搜索中的LLM不僅僅是加入搜索引擎界面的一個大模型。相反，它是許多模型交織在一起的。每個模型的工作是為鏈中的下一個模型提供最密集和最相關(guān)的信息。這些模型必須不斷地在活躍用戶身上重新訓(xùn)練、調(diào)整和測試。谷歌歷來率先在搜索堆棧的所有四個層中使用人工智能，但現(xiàn)在，搜索正在用戶體驗、使用模型和貨幣化結(jié)構(gòu)方面發(fā)生根本性轉(zhuǎn)變，這可能會使軟件堆棧的許多現(xiàn)有部分失效。

最大的問題是谷歌是否準(zhǔn)備好完成這項任務(wù)。他們能否調(diào)整整個搜索堆棧？

在弄清楚使用模型之前，谷歌是否有要求來超級優(yōu)化其搜索堆棧？假設(shè)谷歌將太多資源投入到以最低成本運營并達(dá)到搜索相關(guān)性的局部最大值。在那種情況下，谷歌可能會限制其本應(yīng)致力于擴展和測試新使用模型的模型開發(fā)和創(chuàng)新。如果是微軟和 OpenAI 團隊的話，更有可能將謹(jǐn)慎拋在一邊，并對搜索堆棧的所有四個元素進(jìn)行徹底重組。

我們最初將與 LaMDA 的輕量級模型版本一起發(fā)布。這個小得多的模型需要更少的計算能力，使我們能夠擴展到更多的用戶，從而獲得更多的反饋。

他們正在削減一個模型，其架構(gòu)最初是在 2021 年初開發(fā)的。當(dāng)然，此后它有所改進(jìn)，但 OpenAI 和微軟正在使用一個更大的模型和更新的架構(gòu)，這些模型是在 2022 年底和 2023 年初開發(fā)的，并得到了 ChatGPT 的持續(xù)反饋。這是有正當(dāng)理由的，但也正是這個原因可能會讓谷歌在用戶體驗和迭代速度方面受到重創(chuàng)。

更令人擔(dān)憂的是，在過去的幾個月里，一些有遠(yuǎn)見的人才最近開始涌向初創(chuàng)公司，包括但不限于 OpenAI。這包括 BERT 的教父、PaLM 推理的首席工程師和 Jax 的首席工程師。這可能是文化弱化的跡象。

想象一下，如果這場搜索競爭導(dǎo)致谷歌的股票繼續(xù)下跌，而 RSU 的價值遠(yuǎn)低于預(yù)期。這對員工的士氣和保留有什么影響？

或者，由于必應(yīng)爭奪市場份額并競標(biāo) Google 目前擁有的 Apple 獨家交易，搜索不再是無窮無盡的搖錢樹怎么樣？谷歌是否必須對虧損的業(yè)務(wù)（包括谷歌云）勒緊褲腰帶？

延遲

Google 的 Bard 是一個較小的模型，具有較低的延遲響應(yīng)時間。谷歌內(nèi)部有一個非常優(yōu)越的 PaLM 模型，但無力部署它。

即使延遲為 2,000 毫秒，是常規(guī)搜索的 4 倍，PaLM 也只能采用 60 個輸入令牌（約 240 個字符）并輸出 20 個令牌（80 個字符），這就是在 64 個 TPUv4 上并行時，始終只能實現(xiàn)大約35% 的利用率。

重要的是，大型 LLM 需要在搜索堆棧的非時間敏感部分使用。此外，更大的批量大小可以在堆棧的這些部分實現(xiàn)更高的利用率，盡管延遲更高。

語境為王

面向用戶的模型和未來 AI 芯片的關(guān)鍵是增加它們的上下文窗口，以便可以通過層向前饋送更多先前的模型或源材料。就推理成本而言，縮放序列長度的成本也非常高，這將使你的成本結(jié)構(gòu)膨脹。

因此，在實時方面將圍繞此進(jìn)行許多優(yōu)化。在爬行和索引階段，你可以最大化上下文窗口，以盡可能多地將源材料密集化到盡可能高的質(zhì)量標(biāo)準(zhǔn)。

這樣就可以在堆棧的實時查詢部分啟用更小的模型，以最大限度地減少搜索和上下文窗口的數(shù)量，從而減少延遲并縮短響應(yīng)時間。

整個搜索堆棧中的 LLM 實現(xiàn)

看看微軟如何以相同的方式應(yīng)用這些技術(shù)作為某些高級企業(yè)搜索和對話式 AI 助手的一部分，掃描過去 30 年中的每個文檔、電子郵件、Excel 工作表、PDF 和即時消息，這也將很有趣。當(dāng)然，谷歌仍然擁有其 Android、YouTube、地圖、購物、航班和照片等模塊，在這些領(lǐng)域微軟幾乎無法與之競爭，因此無論發(fā)生什么情況，這些模塊都可以讓谷歌在搜索領(lǐng)域保持領(lǐng)先地位。

現(xiàn)在，我們將描述我們?nèi)绾卧谶\營和基礎(chǔ)設(shè)施層面設(shè)想新的搜索堆棧。我們將通過堆棧逐個類別地描述五種不同類型的 LLM 的用途及其跨搜索堆棧、爬蟲、索引、查詢處理器和廣告引擎的四個不同層的推理成本結(jié)構(gòu)。這些成本結(jié)構(gòu)將仿照 OpenAI 和微軟將使用的 Nvidia HGX A100 / H100，以及谷歌內(nèi)部的 TPUv4 / TPUv5。從使用模型的角度來看，廣告引擎的變化可能是最有意義的。

編輯：黃飛

?