1. 挑戰(zhàn)ARM！高通恩智浦等5家巨頭聯(lián)手組建新公司，專搞RISC-V

原文：https://mp.weixin.qq.com/s/Qov9c1oTKv0zPiTTm2IG-Q

最近，高通與恩智浦等5家巨頭宣布：

聯(lián)合組建一家新公司，專攻RISC-V芯片技術(shù)開發(fā)。

消息一出，不少觀點都認(rèn)為這是要挑戰(zhàn)ARM的行業(yè)地位。彭博社表示，5家公司擰成一股勁兒的背后，反映的是全球芯片制造商對ARM技術(shù)過度依賴的擔(dān)憂。據(jù)了解，同樣是在這兩天，ARM被曝最快將于下個月進行首次公開募股，目標(biāo)估值高達(dá)600億至700億美元。從汽車業(yè)務(wù)開始首先，簡單看一下這5家公司的來頭：高通不用多說，它在全球智能手機市場的出貨量僅次于聯(lián)發(fā)科，是高端智能手機芯片市場的霸主。恩智浦，則是全球第二大電動汽車芯片生產(chǎn)商。剩下3位也都來頭不小，分別是專攻物聯(lián)網(wǎng)市場的Nordic半導(dǎo)體、全球知名 Tier1供應(yīng)商博世以及德國芯片巨頭英飛凌（其中一大業(yè)務(wù)為汽車電子）。

我們可以看到，5家公司里面的“汽車含量”著實不算少。正如公告所說，這家聯(lián)合RISC-V公司的首要切入點，正是汽車領(lǐng)域，其總部就落址于德國。隨著技術(shù)的成熟，他們最終再轉(zhuǎn)移到移動和物聯(lián)網(wǎng)領(lǐng)域——而這正是高通目前最大的市場。事實上，作為ARM最大的客戶之一，高通對其早有擺脫之心。早在2019年，高通就開始投資知名RISC-V芯片設(shè)計廠商SiFive，去年，它更是領(lǐng)投了其1.75億美元F輪融資，該輪之后，SiFive估值超過25億美元，成為RISC-V芯片陣營首支獨角獸。除此之外，2021年之時，高通還斥資14億美元收購了蘋果前SoC工程師創(chuàng)立的Nuvia。有消息稱，最快在驍龍8Gen4時代，我們就會看到自研Nuvia架構(gòu)和ARM架構(gòu)的雙版本情況。有觀點認(rèn)為，如果Nuvia版本能夠發(fā)揮其潛力，有望讓高通追趕蘋果手機芯片。值得一提的是，高通因為這筆收購，吃到了ARM的官司。ARM認(rèn)為，Nuvia使用ARM許可證開發(fā)芯片設(shè)計，而高通在未經(jīng)ARM同意的情況下獲得Nuvia許可，有違合同，侵犯ARM商標(biāo)權(quán)。這差點讓高通和Nuvia的交易告吹。由此，這把官司也被不少人認(rèn)為是高通與ARM之間的重大決裂。但高通此次和眾多巨頭一起繼續(xù)加碼RISC-V的真正原因，并不止如此。外媒Arstechnica分析，ARM作為全世界絕大多數(shù)移動設(shè)備芯片的核心，卻并沒有從其授權(quán)業(yè)務(wù)中賺到很多錢（跟其他芯片商相比簡直就是相形見絀的程度）。這導(dǎo)致其母公司軟銀很上火，一度想套現(xiàn)跑路以660億美元的價格賣給英偉達(dá)，結(jié)果被英國監(jiān)管機構(gòu)叫停。找不到好出路的ARM只好尋求單獨上市。為此，ARM也告知廣大客戶，預(yù)計其商業(yè)模式將發(fā)生“徹底改變”，并表示要收緊授權(quán)，資費漲幅可達(dá)數(shù)倍。于是在大家眼中，ARM已經(jīng)變成一個“越來越不穩(wěn)定的合作伙伴”，都想另謀出路。除了高通，還有無數(shù)人都想要挑戰(zhàn)ARM的壟斷地位。不過，到目前為止，還沒有一家公司能夠推出與ARM產(chǎn)品相媲美的高端RISC-V芯片。究其原因，ARM在各種生態(tài)尤其是軟件生態(tài)上已是行業(yè)內(nèi)的標(biāo)準(zhǔn)。彭博社表示，ARM花了幾十年的時間才達(dá)到目前的水平，這些競爭對手在短時間內(nèi)肯定是無法撼動其地位的。有保守估計，RISC-V要想ARM的壟斷至少也得個7-8年吧。而有網(wǎng)友表示：

從歷史上看，僅僅因為產(chǎn)品更便宜并不意味著它會成功，因為單位成本在大批量生產(chǎn)中并不重要。RISC-V必須在某些方面比ARM做得更好才能超越它。當(dāng)然，還是希望RISC-V取得成功。

2. 直接用GPT-4控制空調(diào)，微軟免訓(xùn)練方法讓LLM邁向工業(yè)控制

原文：https://mp.weixin.qq.com/s/iZKXZmBrEs-i-aG0NoGEYA

隨著大型語言模型（LLM）技術(shù)的日漸成熟，其應(yīng)用范圍正在不斷擴大。從智能寫作到搜索引擎，LLM 的應(yīng)用潛力正在一點點被挖掘。

最近，微軟亞洲研究院提出可以將 LLM 用于工業(yè)控制，而且僅需少量示例樣本就能達(dá)成優(yōu)于傳統(tǒng)強化學(xué)習(xí)方法的效果。該研究嘗試使用 GPT-4 來控制空氣調(diào)節(jié)系統(tǒng)（HVAC），得到了相當(dāng)積極的結(jié)果。

論文地址：http://export.arxiv.org/abs/2308.03028在智能控制領(lǐng)域，強化學(xué)習(xí)（RL）是最流行的決策方法之一，但卻存在樣本低效問題以及由此導(dǎo)致的訓(xùn)練成本高問題。當(dāng)智能體從頭開始學(xué)習(xí)一個任務(wù)時。傳統(tǒng)的強化學(xué)習(xí)范式從根本上講就難以解決這些問題。畢竟就算是人類，通常也需要數(shù)千小時的學(xué)習(xí)才能成為領(lǐng)域?qū)＜?，這大概對應(yīng)于數(shù)百萬次交互。但是，對于工業(yè)場景的許多控制任務(wù)，比如庫存管理、量化交易和 HVAC 控制，人們更傾向于使用高性能控制器來低成本地處理不同任務(wù)，這對傳統(tǒng)控制方法而言是巨大的挑戰(zhàn)。舉個例子，我們可能希望只需極少量的微調(diào)和有限數(shù)量的參考演示就能控制不同建筑的 HVAC。HVAC 控制可能在不同任務(wù)上的基本原理都類似，但是場景遷移的動態(tài)情況甚至狀態(tài) / 動作空間可能會不一樣。不僅如此，用于從頭開始訓(xùn)練強化學(xué)習(xí)智能體的演示通常也不夠多。因此，我們很難使用強化學(xué)習(xí)或其它傳統(tǒng)控制方法訓(xùn)練出普遍適用于這類場景的智能體。使用基礎(chǔ)模型的先驗知識是一種頗具潛力的方法。這些基礎(chǔ)模型使用了互聯(lián)網(wǎng)規(guī)模的多樣化數(shù)據(jù)集進行預(yù)訓(xùn)練，因此可作為豐富先驗知識的來源而被用于各種工業(yè)控制任務(wù)?；A(chǔ)模型已經(jīng)展現(xiàn)出了強大的涌現(xiàn)能力以及對多種下游任務(wù)的快速適應(yīng)能力，具體的案例包括 GPT-4、Bard、DALL-E、CLIP。其中前兩者是大型語言模型（LLM）的代表，后兩者則能處理文本和圖像。基礎(chǔ)模型近來取得的巨大成功已經(jīng)催生出了一些利用 LLM 執(zhí)行決策的方法。這些方法大致上可分為三類：針對具體下游任務(wù)對 LLM 進行微調(diào)、將 LLM 與可訓(xùn)練組件組合使用、直接使用預(yù)訓(xùn)練的 LLM。之前的研究在使用基礎(chǔ)模型進行控制實驗時，通常選用的任務(wù)是機器人操控、家庭助理或游戲環(huán)境，而微軟亞洲研院的這個團隊則專注于工業(yè)控制任務(wù)。對傳統(tǒng)強化學(xué)習(xí)方法而言，該任務(wù)有三大難點：1) 決策智能體通常面對的是一系列異構(gòu)的任務(wù)，比如具有不同的狀態(tài)和動作空間或遷移動態(tài)情況。強化學(xué)習(xí)方法需要為異構(gòu)的任務(wù)訓(xùn)練不同的模型，這樣做的成本很高。2) 決策智能體的開發(fā)過程需要很低的技術(shù)債（technical debt），這說明所提供的樣本數(shù)量不夠（甚至可能沒有），而傳統(tǒng)的強化學(xué)習(xí)算法需要大數(shù)據(jù)才能訓(xùn)練，因此可能無法設(shè)計針對特定任務(wù)的模型。3) 決策智能體需要以在線方式快速適應(yīng)新場景或不斷變化的動態(tài)情況，比如完全依靠新的在線交互經(jīng)驗而無需訓(xùn)練。為了解決這些難題，微軟亞洲研究院的 Lei Song 等研究者提出直接使用預(yù)訓(xùn)練 LLM 來控制 HVAC。該方法只需少量樣本就能解決異構(gòu)的任務(wù)，其過程不涉及到任何訓(xùn)練，僅使用樣本作為少樣本學(xué)習(xí)的示例來進行上下文學(xué)習(xí)。據(jù)介紹，這項研究的目標(biāo)是探索直接使用預(yù)訓(xùn)練 LLM 來執(zhí)行工業(yè)控制任務(wù)的潛力。具體來說，他們設(shè)計了一種機制來從專家演示和歷史交互挑選示例，還設(shè)計了一種可將目標(biāo)、指示、演示和當(dāng)前狀態(tài)轉(zhuǎn)換為 prompt 的 prompt 生成器。然后，再使用生成的 prompt，通過 LLM 來給出控制。研究者表示，其目的是探究不同的設(shè)計方式會如何影響 LLM 在工業(yè)控制任務(wù)上的表現(xiàn)，而該方法的很多方面都難以把控。

第一，盡管該方法的概念很簡單，但相比于傳統(tǒng)的決策方法，其性能表現(xiàn)還不明朗。
第二，基礎(chǔ)模型向不同任務(wù)的泛化能力（比如對于不同的上下文、動作空間等）仍然有待研究。
第三，該方法對語言包裝器不同設(shè)計的敏感性也值得研究（例如，prompt 中哪一部分對性能影響最大）。

研究者希望通過解答這些問題凸顯出這些方法的潛力以及展現(xiàn)可以如何為技術(shù)債較低的工業(yè)控制任務(wù)設(shè)計解決方法。這篇論文的主要貢獻(xiàn)包括：

開發(fā)了一種可將基礎(chǔ)模型用于工業(yè)控制但無需訓(xùn)練的方法，其能以較低的技術(shù)債用于多種異構(gòu)的任務(wù)。
研究者通過 GPT-4 控制 HVAC 進行了實驗，得到了積極的實驗結(jié)果，展現(xiàn)了這些方法的潛力。
研究者進行了廣泛的消融研究（涉及泛化能力、示例選取和 prompt 設(shè)計），闡明了該方向的未來發(fā)展。

方法該研究使用 GPT-4 來優(yōu)化對 HVAC 設(shè)備的控制，工作流程如下圖 1 所示：

該工作流程中的 LLM 和環(huán)境組件如下：LLM：一個預(yù)訓(xùn)練大型語言模型，用作決策器。它會根據(jù)給出的 prompt 生成對應(yīng)的響應(yīng)。其 prompt 中應(yīng)包含對當(dāng)前狀態(tài)的描述、簡單的 HVAC 控制指令、相關(guān)狀態(tài)的演示等。環(huán)境：一個交互式環(huán)境或模擬器，可以執(zhí)行 LLM 建議的動作并提供反饋。實驗中所使用的具體評估環(huán)境為 BEAR (Zhang et al., 2022a)。為了在 BEAR 中創(chuàng)建環(huán)境，必須提供兩個參數(shù)：建筑類型（如大型辦公室、小型辦公室、醫(yī)院等）和天氣條件（如炎熱干燥、炎熱潮濕、溫暖干燥等）。此外，值得注意的是，每種天氣狀況都對應(yīng)于特定的城市。例如，炎熱干燥的天氣狀況與水牛城有關(guān)。在 BEAR 中，每個狀態(tài)都由一個數(shù)值向量表示，其中除了最后四個維度外，每個維度都對應(yīng)于建筑物中一個房間的當(dāng)前溫度。最后四個維度分別代表室外溫度、全局水平輻射（GHI）、地面溫度和居住者功率。在所有環(huán)境中，首要目標(biāo)是保持室溫在 22 ℃ 附近，同時盡可能減少能耗。BEAR 中的操作被編碼為范圍從 -1 到 1 的實數(shù)。負(fù)值表示制冷模式，正值表示加熱模式。這些動作的絕對值對應(yīng)于閥門打開程度，這能說明能耗情況。如果絕對值更大，那么能耗也就更大。在兼顧舒適度和能耗的條件下，研究者在實驗中使用了以下獎勵函數(shù)：

其中 n 表示房間數(shù)，T=22℃ 是目標(biāo)溫度，t_i 表示第 i 個房間的溫度。超參數(shù) α 用于實現(xiàn)能耗和舒適度的平衡。此外，該工作流程中還包含在線緩沖器、轉(zhuǎn)譯器、嵌入模型、專家演示數(shù)據(jù)集、KNN 模型、聚類模型、prompt 生成器等組件。其中 prompt 生成器的執(zhí)行過程如圖 2 所示，其中紫色的文本僅用于說明，而非 prompt 的一部分。

實驗該研究通過實驗展示了 GPT-4 控制 HVAC 設(shè)備的效果，其中涉及不同的建筑物和天氣條件。只要能提供適當(dāng)?shù)闹甘竞脱菔荆ú灰欢ㄅc目標(biāo)建筑和天氣條件相關(guān)），GPT-4 的表現(xiàn)就能超過專門為特定建筑和天氣條件精心訓(xùn)練的強化學(xué)習(xí)策略。此外，研究者還進行了全面的消融研究，以確定 prompt 中每個部分的貢獻(xiàn)。

3. A卡跑大模型，性能達(dá)到4090的80%，價格只有一半：陳天奇TVM團隊出品

原文：https://mp.weixin.qq.com/s/PxZ3ZYwGKTlii1nPka8EWg

英偉達(dá) GPU 買不到的問題，就這樣解決了？

最近，科技領(lǐng)域有很多人都在為算力發(fā)愁。

自預(yù)訓(xùn)練大模型興起以來，人們面臨的算力挑戰(zhàn)就變得越來越大。為此，人們?yōu)榇笳Z言模型（LLM）提出了許多訓(xùn)練和推理的解決方案。顯然，大多數(shù)高性能推理解決方案都基于 CUDA 并針對英偉達(dá) GPU 進行了優(yōu)化。但在動輒千億參數(shù)的模型體量，多家科技公司激烈競爭，以及單一供應(yīng)商的合力作用下，想搶到 GPU 又變成了一件難事。最近，微軟、OpenAI 等公司都表示正在采取必要措施來緩解用于 AI 任務(wù)的 H100、A100 專用 GPU 的短缺問題。微軟正在限制員工訪問 GPU 的時間，Quora 首席執(zhí)行官表示，硬件短缺掩蓋了人工智能應(yīng)用程序的真正潛力。伊隆?馬斯克還開玩笑說，企業(yè)級 GPU 比買「藥」還難。

旺盛的需求除了推動英偉達(dá)的股價，使其改變生產(chǎn)計劃之外，也讓人們不得不去尋求其他替代方式。好消息是，圖形芯片市場上并不只有 N 卡一家。昨天，卡耐基梅隆大學(xué)博士生侯博涵（Bohan Hou）放出了使用 AMD 顯卡進行大模型推理的新方案，立刻獲得了機器學(xué)習(xí)社區(qū)的關(guān)注。

在 CMU，侯博涵的導(dǎo)師是 TVM、MXNET、XGBoost 的作者陳天奇。對于這項新實踐，陳天奇表示，解決 AI 硬件短缺問題的方法還是要看軟件，讓我們帶來高性能、通用部署的開源大模型吧。

在知乎上，作者對于實現(xiàn)高性能 LLM 推理進行了詳細(xì)介紹：

通過這種優(yōu)化方法，在最新的 Llama2 的 7B 和 13B 模型中，如果用一塊 AMD Radeon RX 7900 XTX 速度可以達(dá)到英偉達(dá) RTX 4090 的 80%，或是 3090Ti 的 94%。除了 ROCm 之外，這種 Vulkan 支持還允許我們把大模型的部署推廣到其他 AMD 芯片類型上，例如具有 AMD APU 的 SteamDeck。如果粗略的比較一下規(guī)格，我們可以看到 AMD 的 RX 7900 XTX 與英偉達(dá)的 RTX 4090 和 RTX 3090 Ti 處于相近級別。它們的顯存都在 24GB，這意味著它們可以容納相同尺寸的模型，它們都具有相似的內(nèi)存帶寬。

但是在算力上，RTX 4090 的 FP16 性能比 7900 XTX 高兩倍，而 3090 Ti 的 FP16 性能比 7900 XTX 高 1.3 倍。如果只考慮延遲敏感的大模型推理，其性能主要受內(nèi)存限制，因此 FP16 性能不是這里的瓶頸。而看價格的話，RX 7900 XTX 比 RTX 4090 便宜 40% 還多（京東上看甚至有 50%），在消費級領(lǐng)域里前者幾乎是和 RTX 4080 對標(biāo)的。3090Ti 的價格則很難比較，畢竟那是上一代產(chǎn)品。但從純硬件規(guī)格的角度來看，AMD 7900 XTX 似乎與 RTX 3090 Ti 相當(dāng)。我們知道，硬件層的算力并不一定是 AMD 長期以來在機器學(xué)習(xí)上落后的原因 —— 主要差距在于缺乏相關(guān)模型的軟件支持和優(yōu)化。從生態(tài)角度來看，有兩個因素已開始改變現(xiàn)狀：

AMD 正在努力在 ROCm 平臺上增加投入。
機器學(xué)習(xí)編譯等新興技術(shù)現(xiàn)在有助于降低跨后端的，更通用軟件支持的總體成本。

研究人員深入討論了 AMD GPU 體系與目前流行的英偉達(dá) GPU 上高性能 CUDA 解決方案相比的表現(xiàn)如何。用 ROCm 進行機器學(xué)習(xí)編譯機器學(xué)習(xí)編譯機器學(xué)習(xí)編譯是一種用于編譯和自動優(yōu)化機器學(xué)習(xí)模型的新興技術(shù)。MLC 解決方案不是為每個后端（如 ROCm 或 CUDA）編寫特定的算子，而是自動生成適用于不同后端的代碼。在這里，作者利用 MLC-LLM，一種基于機器學(xué)習(xí)編譯的解決方案，提供了 LLM 的高性能通用部署。MLC-LLM 建立在 Apache TVM Unity 之上，后者是一個機器學(xué)習(xí)編譯軟件棧，提供了基于 Python 的高效開發(fā)和通用部署。MLC-LLM 為各種后端（包括 CUDA、Metal、ROCm、Vulkan 和 OpenCL）提供了最先進的性能，涵蓋了從服務(wù)器級別 GPU 到移動設(shè)備（iPhone 和 Android）。整體而言，MLC-LLM 允許用戶使用基于 Python 的工作流程獲取開源的大語言模型，并在包括轉(zhuǎn)換計算圖、優(yōu)化 GPU 算子的張量 layout 和 schedule 以及在感興趣的平臺上本地部署時進行編譯。

針對 AMD GPU 和 APU 的 MLC人們對于 A 卡用于機器學(xué)習(xí)的探索其實并不鮮見，支持 AMD GPU 有幾種可能的技術(shù)路線：ROCm、OpenCL、Vulkan 和 WebGPU。ROCm 技術(shù)棧是 AMD 最近推出的，與 CUDA 技術(shù)棧有許多相應(yīng)的相似之處。Vulkan 是最新的圖形渲染標(biāo)準(zhǔn)，為各種 GPU 設(shè)備提供了廣泛的支持。WebGPU 是最新的 Web 標(biāo)準(zhǔn)，允許在 Web 瀏覽器上運行計算。雖然有這么多可能的路線，但很少有解決方案支持除了 CUDA 之外的方法，這在很大程度上是因為復(fù)制新硬件或 GPU 編程模型的技術(shù)棧的工程成本過高。MLC-LLM 支持自動代碼生成，無需為每個 GPU 算子重新定制，從而為以上所有方法提供支持。但是，最終性能仍然取決于 GPU 運行時的質(zhì)量以及在每個平臺上的可用性。在這個案例中，作者選擇 Radeon 7900 XTX 的 ROCm 和 Steamdeck 的 APU 的 Vulkan，可以發(fā)現(xiàn) ROCm 技術(shù)棧是開箱即用的。由于 TVM unity 中具有高效的基于 Python 的開發(fā)流程，花費了若干小時來進一步提供 ROCm 的性能優(yōu)化。具體來說，研究人員采取了以下措施來提供 ROCm 支持：

重用現(xiàn)有后端（如 CUDA 和 Metal）的整個 MLC 流水線，包括內(nèi)存規(guī)劃、算子融合等。
重用 TVM TensorIR 中的通用 GPU 算子優(yōu)化空間，并將其后端選為 AMD GPU
重用 TVM 的 ROCm 代碼生成流程，通過 LLVM 生成 ROCm 代碼。
最后，將生成的代碼導(dǎo)出為可以由 CLI、Python 和 REST API 調(diào)用的共享或靜態(tài)庫。

使用 MLC Python 包進行性能測試作者使用 4 bit 量化對 Llama 2 7B 和 13B 進行了性能測試。通過設(shè)置 prompt 長度為 1 個 token 并生成 512 個 token 來測量 decoding 的性能。所有結(jié)果都是在 batch size=1 的情況下測試。

基于 ROCm5.6，AMD 7900 XTX 可以達(dá)到 NVIDIA 4090 速度的 80%。關(guān)于 CUDA 性能說明：在這里 CUDA baseline 的性能如何？據(jù)我們所知，MLC-LLM 是 CUDA 上大語言模型推理的最優(yōu)解決方案。但作者相信它仍然有改進的空間，例如通過更好的 attention 算子優(yōu)化。一旦這些優(yōu)化在 MLC 中實現(xiàn)，預(yù)計 AMD 和 NVIDIA 的數(shù)據(jù)都會有所改善。如果這些優(yōu)化僅在 N 卡那里實施，將使差距從 20% 增加到 30%。因此，在查看這些數(shù)字時，作者建議放置 10% 的誤差。自行嘗試該項目提供了預(yù)構(gòu)建的安裝包和使用說明，以便用戶在自己的設(shè)備上復(fù)現(xiàn)新的結(jié)果。要運行這些性能測試，請確保你的 Linux 上有安裝了 ROCm 5.6 或更高版本的 AMD GPU。

4. 英偉達(dá)生成式AI超級芯片GH200，兩倍H100算力，黃仁勛：它會瘋狂推理

原文：https://mp.weixin.qq.com/s/B0agIPkI9R8Qee9s9x7BRA

等不及架構(gòu)革新，英偉達(dá)「提前」發(fā)布了生成式 AI 專用的芯片。

當(dāng)?shù)貢r間 8 月 8 日，英偉達(dá) CEO 黃仁勛在計算機圖形學(xué)頂會 SIGGRAPH 2023 上發(fā)布了專為生成式 AI 打造的下一代 GH200 Grace Hopper 平臺，并推出了 OVX 服務(wù)器、AI Workbench 等一系列重磅更新。

五年前，也是在 SIGGRAPH 大會的演講中，英偉達(dá)宣布將 AI 和實時光線追蹤引入 GPU ，可以說，當(dāng)時的這個決定重塑了計算圖形學(xué)。

「我們意識到光柵化已經(jīng)達(dá)到了極限，」黃仁勛表示：「這要求我們重塑硬件、軟件和算法。在我們用 AI 重塑 CG 的同時，也在為 AI 重塑 GPU。」

預(yù)言應(yīng)驗了：幾年來，計算系統(tǒng)變得越來越強大，例如 NVIDIA HGX H100，它利用 8 個 GPU 和總共 1 萬億個晶體管，與基于 CPU 的系統(tǒng)相比，提供了顯著的加速。

「這就是世界數(shù)據(jù)中心迅速轉(zhuǎn)向加速計算的原因，」在今年的 SIGGRAPH 大會，黃仁勛重申：「The more you buy, the more you save.」

如今，訓(xùn)練越來越大的生成式 AI 模型所需的計算未必由具有一定 GPU 能力的傳統(tǒng)數(shù)據(jù)中心來完成，而是要依靠像 H100 這樣從一開始就為大規(guī)模運算而設(shè)計的系統(tǒng)。可以說，AI 的發(fā)展在某種程度上只受限于這些計算資源的可用性。但黃仁勛斷言，這僅僅是個開始。新模型不僅需要訓(xùn)練時的計算能力，還需要實現(xiàn)由數(shù)百萬甚至數(shù)十億用戶實時運行的計算能力。

「未來，LLM 將出現(xiàn)在幾乎所有事物的前端：人類就是新的編程語言。從視覺效果到快速數(shù)字化的制造市場、工廠設(shè)計和重工業(yè)，一切都將采用自然語言界面。」黃仁勛表示。在這場一個多小時的演講中，黃仁勛帶來了一系列新發(fā)布，全部面向「生成式 AI」。更強的 GH200 Grace Hopper 超級芯片平臺英偉達(dá)的 Grace Hopper 超級芯片 NVIDIA GH200 結(jié)合了 72 核 Grace CPU 和 Hopper GPU，并已在 5 月全面投入生產(chǎn)。現(xiàn)在，黃任勛又宣布 Grace Hopper 超級芯片將配備 HBM3e 高帶寬內(nèi)存（HBM3e 比當(dāng)前的 HBM3 快 50%），下一代 GH200 Grace Hopper 平臺將大幅提升生成式 AI 的計算速度。

全新的 GH200 內(nèi)存容量將增加至原有的 3.5 倍，帶寬增加至 3 倍，包含一臺具有 144 個 Arm Neoverse 核心、282GB HBM3e 內(nèi)存的服務(wù)器，提供 8 petaflops 的 AI 算力。為了提升大模型的實際應(yīng)用效率，生成式 AI 模型的工作負(fù)載通常涵蓋大型語言模型、推薦系統(tǒng)和向量數(shù)據(jù)庫。GH200 平臺旨在全面處理這些工作負(fù)載，并提供多種配置。英偉達(dá)表示，這款名為 GH200 的超級芯片將于 2024 年第二季度投產(chǎn)。全新的 RTX 工作站和 Omniverse老黃還宣布，英偉達(dá)與 BOXX、戴爾科技、惠普和聯(lián)想等工作站制造商合作，打造了一系列全新的高性能 RTX 工作站。最新發(fā)布的 RTX 工作站提供多達(dá)四個英偉達(dá) RTX 6000 Ada GPU，每個 GPU 配備 48GB 內(nèi)存。單個桌面工作站可提供高達(dá) 5828 TFLOPS 的性能和 192GB 的 GPU 內(nèi)存。

根據(jù)用戶需求，這些系統(tǒng)可配置 Nvidia AI Enterprise 或 Omniverse Enterprise 軟件，為各種要求苛刻的生成式 AI 和圖形密集型工作負(fù)載提供必要的動力。這些新發(fā)布預(yù)計將于秋季推出。新發(fā)布的 Nvidia AI Enterprise 4.0 引入了 Nvidia NeMo，這是一個用于構(gòu)建和定制生成式 AI 基礎(chǔ)模型的端到端框架。它還包括用于數(shù)據(jù)科學(xué)的 Nvidia Rapids 庫，并為常見企業(yè) AI 用例（例如推薦器、虛擬助理和網(wǎng)絡(luò)安全解決方案）提供框架、預(yù)訓(xùn)練模型和工具。工業(yè)數(shù)字化平臺 Omniverse Enterprise 是 Nvidia 生態(tài)系統(tǒng)的另一個組成部分，讓團隊能夠開發(fā)可互操作的 3D 工作流程和 OpenUSD 應(yīng)用程序。Omniverse 利用其 OpenUSD 原生平臺，使全球分布的團隊能夠協(xié)作處理來自數(shù)百個 3D 應(yīng)用程序的完整設(shè)計保真度數(shù)據(jù)集。此次英偉達(dá)主要升級了 Omniverse Kit（用于開發(fā)原生 OpenUSD 應(yīng)用和擴展程序的引擎），以及 NVIDIA Omniverse Audio2Face 基礎(chǔ)應(yīng)用和空間計算功能。開發(fā)者可以輕松地利用英偉達(dá)提供的 600 多個核心 Omniverse 擴展程序來構(gòu)建自定義應(yīng)用。作為發(fā)布的一部分，英偉達(dá)還推出了三款全新的桌面工作站 Ada Generation GPU：Nvidia RTX 5000、RTX 4500 和 RTX 4000。全新 NVIDIA RTX 5000、RTX 4500 和 RTX 4000 桌面 GPU 采用最新的 NVIDIA Ada Lovelace 架構(gòu)技術(shù)。其中包括增強的 NVIDIA CUDA 核心（用于增強單精度浮點吞吐量）、第三代 RT 核心（用于改進光線追蹤功能）以及第四代 Tensor 核心（用于更快的 AI 訓(xùn)練性能）。

5. 賈佳亞團隊提出LISA大模型：理解人話「分割一切」，在線可玩

原文：https://mp.weixin.qq.com/s/ia7_55hfI-cs2wWalmk8yA

分割一切這事，又有一項重磅研究入局。

香港中文大學(xué)終身教授賈佳亞團隊，最新提出LISA大模型——理解人話，精準(zhǔn)分割。

例如讓AI看一張早餐圖，要識別“哪個是橙子”是比較容易的，但若是問一句“哪個食物維他命C最高”呢？畢竟這不是一個簡單分割的任務(wù)了，而是需要先認(rèn)清圖中的每個食物，還要對它們的成分有所了解。但現(xiàn)在，對于這種人類復(fù)雜的自然語言指令，AI已經(jīng)是沒有在怕的了，來看下LISA的表現(xiàn)：

不難看出，LISA精準(zhǔn)無誤的將橘子分割了出來。再“投喂”LISA一張圖并提問：

是什么讓這位女士站的更高？請把它分割出來并解釋原因。

從結(jié)果上來看，LISA不僅識別出來了“梯子”，而且也對問題做出了解釋。還有一個更有意思的例子。許多朋友在看到這個大模型的名字，或許會聯(lián)想到女子組合BLACK PINK里的Lisa。賈佳亞團隊還真拿她們的照片做了個測試——讓LISA找Lisa：

不得不說，會玩！基于LISA，復(fù)雜分割任務(wù)拿下SOTA根據(jù)發(fā)布的論文來看，LISA是一個多模態(tài)大模型，它在這次研究中主攻的任務(wù)便是推理分割（Reasoning Segmentation）。這個任務(wù)要求模型能夠處理復(fù)雜的自然語言指令，并給出精細(xì)的分割結(jié)果。

如上圖所示，推理分割任務(wù)具有很大的挑戰(zhàn)性，可能需要借鑒世界知識（例如，左圖需要了解“短鏡頭更適合拍攝近物體”），或進行復(fù)雜圖文推理（如右圖需要分析圖像和文本語義，才能理解圖中“柵欄保護嬰兒”的含義），才能獲得最終理想的分割結(jié)果。盡管當(dāng)前多模態(tài)大模型（例如Flamingo[1], BLIP-2[2], LLaVA[3], miniGPT-4[4], Otter[5]）使得AI能夠根據(jù)圖像內(nèi)容推理用戶的復(fù)雜問題，并給出相應(yīng)的文本分析和回答，但仍無法像視覺感知系統(tǒng)那樣在圖像上精確定位指令對應(yīng)的目標(biāo)區(qū)域。因此，LISA通過引入一個標(biāo)記來擴展初始大型模型的詞匯表，并采用Embedding-as-Mask的方式賦予現(xiàn)有多模態(tài)大型模型分割功能，最終展現(xiàn)出強大的零樣本泛化能力。同時，這項工作還創(chuàng)建了ReasonSeg數(shù)據(jù)集，其中包含上千張高質(zhì)量圖像及相應(yīng)的推理指令和分割標(biāo)注。那么LISA這種精準(zhǔn)理解人話的分割能力，具體是如何實現(xiàn)的呢？

首先將圖像ximg和文本xtxt送到多模態(tài)-大語言模型F（在實驗中即LLaVA），得到輸出的文本結(jié)果，如果此時文本結(jié)果包含標(biāo)記，則表示需要通過輸出分割預(yù)測來解決當(dāng)前問題。反之，若不包含標(biāo)記，則無分割結(jié)果輸出。如果存在標(biāo)記，則將標(biāo)記在多模態(tài)大模型F最后一層對應(yīng)的embedding經(jīng)過一個MLP層得到hseg，并將其與分割視覺特征f一起傳遞給解碼器Fdec（其中分割視覺特征f由輸入編碼器Fenc對圖像ximg進行編碼得到）。最終，F(xiàn)dec根據(jù)生成最終的分割結(jié)果M。LISA在訓(xùn)練過程中使用了自回歸交叉熵?fù)p失函數(shù)，以及對分割結(jié)果監(jiān)督的BCE和DICE損失函數(shù)。實驗證明，在訓(xùn)練過程中僅使用不包含復(fù)雜推理的分割數(shù)據(jù)（通過將現(xiàn)有的語義分割數(shù)據(jù)如ADE20K[6]，COCO-Stuff[7]以及現(xiàn)有指代分割數(shù)據(jù)refCOCO系列[8]中的每條數(shù)據(jù)轉(zhuǎn)換成“圖像-指令-分割Mask”三元組），LISA能在推理分割任務(wù)上展現(xiàn)出優(yōu)異的零樣本泛化能力。此外，進一步使用239個推理分割數(shù)據(jù)進行微調(diào)訓(xùn)練還能顯著提升LISA在推理分割任務(wù)上的性能。而且LISA還表現(xiàn)出高效的訓(xùn)練特性，只需在8張具有24GB顯存的3090顯卡上進行10,000次訓(xùn)練迭代，即可完成7B模型的訓(xùn)練。最終，LISA不僅在傳統(tǒng)的語言-圖像分割指標(biāo)（refCOCO、refCOCO+和refCOCOg）上展現(xiàn)出優(yōu)異性能，還能處理以下分割任務(wù)情景：⑴復(fù)雜推理；⑵聯(lián)系世界知識；⑶解釋分割結(jié)果以及⑷多輪對話。

在有復(fù)雜情景的ReasonSeg數(shù)據(jù)集上，LISA顯著領(lǐng)先于其他相關(guān)工作，進一步證明其出色的推理分割能力。

在線可玩值得一提的是，LISA的推理分割能力已經(jīng)出了demo，可以在線體驗的那種。操作也極其簡單，只需填寫“指令”，然后上傳要處理的圖像即可。若是不會描述指令，Demo下方也給出了一些示例，小伙伴們也可以參照一下。

6. 吳恩達(dá)來信：LLMs能否理解世界？

原文：https://mp.weixin.qq.com/s/jcy8MdsYFQXVF4MLZIzrmw

親愛的朋友們,

大型語言模型 (LLMs) 能理解世界嗎？作為一名科學(xué)家和工程師，我會避免詢問人工智能系統(tǒng)是否“理解”某件事情。對于一個系統(tǒng)是否能真正理解——而不是看起來理解——目前還沒有得到廣泛認(rèn)可的科學(xué)測試，就像我在此前一封來信中討論的，目前對于“意識”或“感知”也沒有這樣的測試。這使得“理解”問題成為了哲學(xué)問題，而非科學(xué)問題。這一警示的出現(xiàn)讓我相信LLMs已經(jīng)建立了足夠復(fù)雜的世界模型，我有把握說，它們在某種程度上確實了解這個世界。

對我來說，對Othello-GPT的研究是一個令人信服的證明——LLMs建立了世界模型。也就是說，它們確實了解世界的真實面貌，而不是盲目地鸚鵡學(xué)舌。Kenneth Li和他的同事們訓(xùn)練了一種GPT語言模型的變體，該模型是根據(jù)Othello的移動序列運行的。Othello是一種棋盤游戲，兩名玩家輪流在8x8的網(wǎng)格上放置棋子。例如，一個移動序列可能是d3 c5 f6 f5 e6 e3…，其中每對字符（如d3）對應(yīng)在棋盤的某個位置放置棋子。

在訓(xùn)練過程中，神經(jīng)網(wǎng)絡(luò)只會看到一系列的移動，但這些動作是在正方形、8x8棋盤上的移動的，或游戲規(guī)則是什么并未明確告知。在對這類棋的大量數(shù)據(jù)集進行訓(xùn)練后，神經(jīng)網(wǎng)絡(luò)在預(yù)測下一步棋可能怎么走方面做得不錯。

關(guān)鍵問題是：這個網(wǎng)絡(luò)是通過建立一個世界模型來做出這些預(yù)測的嗎？也就是說，它是否發(fā)現(xiàn)了一個8x8的棋盤，以及一套特定的棋子放置規(guī)則，是這些規(guī)則支撐著這些移動嗎？開發(fā)人員們令人信服地給出了證明。具體來說，給定一個移動序列，網(wǎng)絡(luò)的隱藏單元激活似乎捕捉到當(dāng)前棋盤位置的表達(dá)以及可用的合法走法。這表明，該網(wǎng)絡(luò)確實建立了一個世界模型，而不是試圖模仿其訓(xùn)練數(shù)據(jù)的統(tǒng)計數(shù)據(jù)的“隨機鸚鵡”。

盡管這項研究使用了Othello，但我毫不懷疑在人類文本上訓(xùn)練的LLMs也建立了世界模型。LLMs的許多“突發(fā)”行為——例如，一個經(jīng)過微調(diào)以遵循英語指令的模型也可以遵循用其他語言編寫的指令——似乎很難解釋，除非我們將其視為“理解世界”。長期以來，人工智能一直在與“理解”這個概念作斗爭。哲學(xué)家John Searle在1980年發(fā)表了“中文房間論”。他提出了一個思想實驗：想象一下，一個說英語的人獨自呆在一個房間里，手里拿著一本操縱符號的規(guī)則手冊，他能把從門縫里塞進來的紙上寫的中文翻譯成英文（盡管他自己并不懂中文）。Searle認(rèn)為電腦就像這個人。它看起來懂中文，但其實不懂。一個被當(dāng)做系統(tǒng)回復(fù)的反駁觀點是，即使“中文房間”場景中沒有一個部分能理解中文，但這個人、規(guī)則手冊、紙張等整個系統(tǒng)都理解中文。同樣，我的大腦中沒有一個神經(jīng)元能理解機器學(xué)習(xí)，但我大腦中包含所有神經(jīng)元的系統(tǒng)就有可能理解機器學(xué)習(xí)。在我最近與Geoff Hinton的談話中，LLMs理解世界的概念是我們雙方都同意的一點。雖然哲學(xué)很重要，但我很少撰寫關(guān)于它的文章，因為類似的爭論可能會無休止地爆發(fā)，我寧愿把時間花在編程上。我不清楚當(dāng)代哲學(xué)家對LLMs理解世界的看法，但我確信我們生活在一個充滿奇跡的時代！好了，我們還是回歸編程吧。請不斷學(xué)習(xí),吳恩達(dá)

———————End———————

點擊閱讀原文進入官網(wǎng)

原文標(biāo)題：【AI簡報20230811期】LLM終于邁向工業(yè)控制，但它能否理解世界？

文章出處：【微信公眾號：RTThread物聯(lián)網(wǎng)操作系統(tǒng)】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。舉報投訴