OpenAI o1、QwQ-32B-Preview、DeepSeek R1-Lite-Preview的相繼發(fā)布，預(yù)示著生成式AI研究正從預(yù)訓(xùn)練轉(zhuǎn)向推理（Inference），以提升AI邏輯推理（reasoning）能力，這一轉(zhuǎn)變將極大推動上層應(yīng)用的發(fā)展。

紅杉資本近期指出，在可預(yù)見的未來，邏輯推理和推理時計算將是一個重要主題，并開啟生成式AI的下一階段。新一輪競賽已然開始。
那么，在推理這一新興市場，哪些企業(yè)占據(jù)了生態(tài)位？他們?nèi)绾螡M足應(yīng)用層的需求？市場格局又將如何變化？風(fēng)險投資專家Eric Flaningam在本文中作了深刻分析和可能性預(yù)測。其中，有一點是明確的：推理市場的發(fā)展取決于AI應(yīng)用程序的規(guī)模和形態(tài)。因此，對于專注提供推理服務(wù)的企業(yè)而言，對應(yīng)用層變化的感知與需求抽象變得尤為重要。

隨著 OpenAI o1 發(fā)布，推理（inference）終于進(jìn)入了我們過去一年來一直期待的聚光燈下。英偉達(dá)CEO黃仁勛曾說：“推理的規(guī)模將會比今天大十億倍?！保槺阏f一句：從查詢數(shù)量的角度來看，這可能是真的，但如果推理確實占到了英偉達(dá)收入的40%，這個說法在收入上是不可能實現(xiàn)的。）

借助 o1，推理首次構(gòu)成了模型總計算中有意義的一部分。

來源：

https://www.fabricatedknowledge.com/p/chatgpt-o1-strawberry-and-memory

它指出了一個新的潛在規(guī)模定律，即模型“思考”的時間越長，其準(zhǔn)確性就越高。Stratechery（https://stratechery.com/2024/enterprise-philosophy-and-the-first-wave-of-ai/）

對這一性能的提升描述得很好：

o1 被明確訓(xùn)練為如何解決問題，其次，o1 被設(shè)計成在推理時生成多個問題解決流，選出最佳方案，并在意識到出錯時迭代每個步驟。這就是為什么它能解開填字游戲——只是花了很長時間。

上個月，Anthropic 宣布了“計算機(jī)使用（Computer Use）”功能，使模型能夠像人類一樣與計算機(jī)互動。這表明，人工智能應(yīng)用將變得越來越復(fù)雜，進(jìn)而導(dǎo)致推理量的增加。

兩個因素使這個市場特別有趣：計算成本的降低和該領(lǐng)域的激烈競爭。

來源：

https://cloudedjudgement.substack.com/p/clouded-judgement-92724-the-foundation

隨著推理成本的降低，市場規(guī)模的迅速擴(kuò)大，以及該領(lǐng)域的競爭加劇，這個市場為人工智能提供了一個非常有趣的案例研究。

本文將深入探討當(dāng)前的形勢，決定市場走向的變量，以及基于這些變量價值如何在生態(tài)系統(tǒng)中流動。

明確地說，推理是一個新興市場，這個領(lǐng)域非常擁擠且變化迅速。我們目前擁有的最佳推理性能指標(biāo)是第三方基準(zhǔn)測試（如果你有更準(zhǔn)確的數(shù)據(jù)，歡迎隨時聯(lián)系我們）。

1推理的背景

首先，推理提供了一個比訓(xùn)練更加開放的競爭市場。在訓(xùn)練過程中，通過大量數(shù)據(jù)集的迭代來創(chuàng)建一個表示復(fù)雜場景的模型，而推理則是將新數(shù)據(jù)輸入該模型以進(jìn)行預(yù)測的過程。

來源：

https://www.linkedin.com/pulse/difference-between-deep-learning-training-inference-mark-robins-mdq8c

一些關(guān)鍵差異在推理中尤為重要：

延遲與位置至關(guān)重要：由于推理會為終端用戶運行工作負(fù)載，響應(yīng)速度至關(guān)重要，這意味著在邊緣或邊緣云環(huán)境中進(jìn)行推理可能比訓(xùn)練更有意義。相比之下，訓(xùn)練可以在任何地方進(jìn)行。

可靠性的重要程度（稍微）降低：訓(xùn)練前沿模型可能需要數(shù)月時間，并且需要大規(guī)模的訓(xùn)練集群。訓(xùn)練集群的相互依賴性意味著集群中一個部分的錯誤可能會減緩整個訓(xùn)練過程。而在推理過程中，工作負(fù)載要小得多，且相互依賴性較低；如果發(fā)生錯誤，只有單個請求受到影響，并且可以快速重新運行。

硬件可擴(kuò)展性的重要程度降低：Nvidia 的一個關(guān)鍵優(yōu)勢在于其通過軟件和網(wǎng)絡(luò)優(yōu)勢擴(kuò)展更大系統(tǒng)的能力。在推理方面，這種可擴(kuò)展性的重要程度較低。

這些原因共同解釋了為什么許多新的半導(dǎo)體公司專注于推理，因為進(jìn)入門檻相對較低。

需要指出的是，雖然“推理”是一個廣泛描述模型實際使用情況的術(shù)語，但它涵蓋了各種類型的機(jī)器學(xué)習(xí)模型。我的同事在這里寫到了近年來 ML 部署方式的變化。這里展示了不同工作負(fù)載的性能差異：

2當(dāng)前的推理市場概覽

企業(yè)運行推理有很多選擇。從最易于管理且定制化程度最低到最難管理但定制化程度最高的選項，企業(yè)有以下幾種選擇進(jìn)行推理：

基礎(chǔ)模型 API：來自 OpenAI 等模型提供商的 API。最簡單且靈活性最低的選項。

推理服務(wù)提供商：專門的推理服務(wù)提供者，如 Fireworks AI 和 DeepInfra，旨在優(yōu)化跨各種云和硬件提供商的成本，是運行和定制開源模型的良好選擇。

AI 云：來自 Coreweave 和 Crusoe 等公司的 GPU 或推理即服務(wù)，企業(yè)可以租用算力并根據(jù)需要進(jìn)行定制。

超大規(guī)模云廠商：超大規(guī)模云廠商提供計算能力、推理服務(wù)和平臺，企業(yè)可以在這些平臺上開發(fā)專用模型。

AI 硬件提供商：企業(yè)用自己的 GPU 并根據(jù)特定需求進(jìn)行優(yōu)化。

附加信息1：從 API 到 AI 硬件——像 Groq、Cerebras 和 SambaNova 這樣的公司已經(jīng)開始提供推理云服務(wù)，使客戶能夠以推理 API 的形式利用其硬件。Nvidia 收購了推理服務(wù)提供商 OctoAI，據(jù)推測是為了創(chuàng)建自己的推理服務(wù)。

附加信息2：邊緣推理——Apple、Qualcomm 和 Intel 希望提供硬件和軟件，使推理能夠直接在設(shè)備上進(jìn)行。

鑒于基礎(chǔ)模型 API 很簡單（企業(yè)從基礎(chǔ)模型提供商調(diào)用 API 并按需付費）。我將從推理提供者開始介紹。

3推理提供商

數(shù)家公司在提供推理服務(wù)方面嶄露頭角，他們抽象化了管理硬件的需求。這些公司中最著名的是像 Fireworks AI、Together、Replicate 和 DeepInfra 這樣的推理初創(chuàng)公司。Kevin Zhang 在這里很好地描述了這些公司：

像 Replicate、Fireworks AI 和 DeepInfra 這樣的 API-only 初創(chuàng)公司已經(jīng)完全抽象化了所有復(fù)雜性，使得模型可以通過 API 調(diào)用訪問。這類似于 OpenAI 等基礎(chǔ)模型提供商為開發(fā)者提供的使用體驗。因此，這些平臺通常不允許用戶自定義選擇用于特定模型的 GPU 等。不過，Replicate 有 Cog 用于部署自定義模型等任務(wù)。

與此同時，Modal 和 Baseten 提供了一種介于兩者之間的體驗，開發(fā)者有更多的“調(diào)節(jié)旋鈕”來控制他們的基礎(chǔ)設(shè)施，但仍然比構(gòu)建自定義基礎(chǔ)設(shè)施更容易。這種更細(xì)粒度的控制使 Modal 和 Baseten 能夠支持超出簡單文本補(bǔ)全和圖像生成的使用場景。

這些提供商的最明確用例是為開源模型提供推理服務(wù)，使企業(yè)能夠使用該模型構(gòu)建應(yīng)用程序。推理提供商使用各種技術(shù)，盡可能地優(yōu)化成本。

在選擇推理提供商時，最終考慮因素主要是成本/性能的計算，包括推理成本、延遲（首次輸出時間和各輸出之間的時間）和吞吐量（處理需求的能力）。我們對價格有一些了解：

現(xiàn)在，過去幾個月的一個有趣變化是硬件供應(yīng)商開始進(jìn)軍推理領(lǐng)域。Nvidia 收購了推理提供商 OctoAI，可能是為了提供類似的服務(wù)。我們可以看到有三家硬件供應(yīng)商提供了市場上最快的推理服務(wù)：

一如既往，應(yīng)對基準(zhǔn)測試結(jié)果持保留態(tài)度。根據(jù)Irrational Analysis（https://irrationalanalysis.substack.com/p/cerebras-cbrso-equity-research-report），Cerebras 不提供 Llama 405B，可能是因為其成本不合理。特定的設(shè)置可以實現(xiàn)這些結(jié)果，但它們可能與其他模型不兼容，或在生產(chǎn)使用場景中不實用。

大多數(shù)公司的投資回報率（ROI）計算將是總擁有成本/性能的比值，而這是在行業(yè)生命周期的這個階段很難獲得的數(shù)據(jù)。

我會指出，像 Coreweave、Crusoe 和 Lambda 這樣的 AI 云都提供推理服務(wù)。超大規(guī)模云廠商也是如此！Kevin Zhang 還推測，數(shù)據(jù)平臺和應(yīng)用程序基礎(chǔ)設(shè)施提供商也可能擴(kuò)展到推理領(lǐng)域：

來源：

https://eastwind.substack.com/p/a-deep-dive-on-ai-inference-startups

在這種競爭環(huán)境下，公司要么需要提供有意義的架構(gòu)差異、基于推理解決方案的開發(fā)工具或通過垂直整合實現(xiàn)成本優(yōu)勢，以創(chuàng)造有意義的差異化。

4硬件提供商

上述推理提供者抽象了管理底層硬件的復(fù)雜性。對于許多大型 AI 公司來說，管理自己的硬件是有意義的。這包括基礎(chǔ)設(shè)施設(shè)置（安裝、數(shù)據(jù)中心建設(shè)或機(jī)房托管設(shè)置）、模型優(yōu)化、性能監(jiān)控和持續(xù)的硬件維護(hù)。

我們可以在價值鏈的芯片部分看到硬件供應(yīng)商：

如果英偉達(dá) 40%的數(shù)據(jù)中心收入確實來自推理，那么英偉達(dá)今天在這個市場上占據(jù)主導(dǎo)地位。正如黃仁勛指出的，已經(jīng)擁有領(lǐng)先訓(xùn)練硬件的企業(yè)可能會在升級設(shè)備時將其轉(zhuǎn)換為推理硬件。

AMD 正在開拓這一市場，預(yù)計其 AI 加速器將帶來 50 億美元的年收入。他們最近的財報電話會議上的大部分定性評論都指向了推理工作負(fù)載。

RunPod 對 H100 和 MI300X 在推理方面作了有趣比較，指出 MI300X 由于有更大的 VRAM，在高批處理大小時具有更好的吞吐量。

https://blog.runpod.io/amd-mi30x-vs-nvidia-h100-sxm-performance-comparison-on-mixtral-8x7b-inference/

MI300X 在非常小和非常大的批處理中更具成本優(yōu)勢。正如博客所指出的，純粹的性能只是評估的一部分。Nvidia 在網(wǎng)絡(luò)和軟件方面的領(lǐng)先地位使其在需要系統(tǒng)級設(shè)計的實際場景中具有額外的優(yōu)勢。

有幾家硬件初創(chuàng)公司也籌集了大量資金以搶占這個市場：

https://www.chipstrat.com/p/etched-silicon-valleys-speedrun

再次需要指出，買家的計算公式將是 TCO/性能。價值將流向硬件層面，問題在于在硬件之上的各層創(chuàng)造了多少價值。

市場上還有一個不確定的變量，但它可以決定推理中價值積累的很大一部分。

5邊緣推理呢？

Chipstrat的Austin（https://www.chipstrat.com/）在這方面做了出色的工作。正如奧斯汀所描述的，邊緣推理對所有相關(guān)方都是有利的：

企業(yè)將會越來越有動力將這些工作負(fù)載盡可能地轉(zhuǎn)移到消費者的設(shè)備上——消費者提供了硬件和電力資源，使企業(yè)能夠生成智能。

這是雙贏的局面：企業(yè)減少了資本支出和運營支出，而消費者則享受到了本地推理的好處。需要注意的是，采用本地推理需要：

激勵消費者（獎勵本地推理的商業(yè)模式、安全優(yōu)勢等）。

可以在邊緣設(shè)備上運行的有用的小模型。

前者似乎很簡單。像 o1-mini 這樣的模型使后一種方法越來越現(xiàn)實。我不需要 Siri 成為整個網(wǎng)絡(luò)的壓縮版本——只需要一個能夠處理簡單任務(wù)的推理工具。所需要的更像是一個訓(xùn)練有素的五年級學(xué)生，而不是一個博士通才。

問題回歸到開發(fā)硬件和軟件以滿足用戶需求。我相信我們可以隨著時間解決這些問題。

https://www.generativevalue.com/p/the-ai-semiconductor-landscape

企業(yè)已經(jīng)在開發(fā)硬件，如蘋果的神經(jīng)網(wǎng)絡(luò)引擎、AMD 的 NPU、英特爾的 NPU、高通的 NPU、谷歌的 Tensor 以及初創(chuàng)公司 Hailo。隨著小型模型的改進(jìn)，它將越來越多地實現(xiàn)在邊緣進(jìn)行推理。

我對邊緣推理的看法：

如果我們回顧歷史上的顛覆性科技變革事件，它發(fā)生在新產(chǎn)品以遠(yuǎn)低于現(xiàn)有產(chǎn)品價格提供較少功能時，而現(xiàn)有產(chǎn)品無法與之競爭。大型機(jī)讓位給小型機(jī)，小型機(jī)讓位給個人電腦，個人電腦又讓位給智能手機(jī)。

開啟這些顛覆性變化的關(guān)鍵變量是性能過剩。高端解決方案解決了對大多數(shù)人而言非必需的問題。許多計算領(lǐng)域的顛覆性變化來自于計算的去中心化，因為消費者并不需要額外的性能。

有了AI，我還沒看到性能過剩。ChatGPT 很好，但還不算出色。一旦它變得出色，那么 AI 在邊緣計算的大門就會打開。小型語言模型和神經(jīng)處理單元將引領(lǐng)這個時代。問題在于 AI 何時會在邊緣計算中實現(xiàn)，而不是是否會實現(xiàn)。

這個市場再次回歸到應(yīng)用，邊緣推理對于消費者應(yīng)用來說更有意義。

6推理市場的未來

推理工作負(fù)載最終將遵循 AI 應(yīng)用程序的規(guī)模和形態(tài)。

人工智能用的規(guī)模和強(qiáng)度將是決定推理市場大小的關(guān)鍵因素（即有多少應(yīng)用程序在使用以及它們的復(fù)雜程度）。這些應(yīng)用程序的形態(tài)（即誰在構(gòu)建它們）將有助于確定推理市場的形態(tài)。

如果 AI 應(yīng)用市場最終集中在 OpenAI、Microsoft 和 Google 等少數(shù)幾家公司手中，那么推理價值將流向這些垂直整合公司的底層硬件。

如果 AI 應(yīng)用市場最終變得碎片化，許多公司擁有較小的市場份額，那么推理市場將更加開放。這些較小的、非垂直整合的公司，將為推理提供商的管理服務(wù)付費。有些公司可能希望獲得比簡單 API 所能提供的更多的個性化或定制化選項。

如果這些應(yīng)用程序能夠使用足夠簡單的模型在邊緣運行，那么這將為邊緣的推理硬件打開大門。

最后，所有這些變量都是連續(xù)的，而不是二元的。一些推理將在邊緣運行，一些應(yīng)用程序?qū)⒊蔀楦叨葟?fù)雜的邏輯推理機(jī)器，一些應(yīng)用程序?qū)⒂纱笮湍Ｐ吞峁┥虛碛?，而另一部分將由初?chuàng)公司贏得。