最新的ChatGPT能講故事、進行語音對話，還會看圖。OpenAI將能看圖的模型稱作GPT-4V（ision），還測試了GPT-4V的驗證碼破解及地理定位能力。語音與圖像數據大小顯著高于文本，券商指出，多模態(tài)大模型的訓練推理算力需求將大幅攀升。

當地時間25日，OpenAI宣布ChatGPT迎來重磅更新：這個聊天機器人如今“會看、會說、會聽”——換言之，ChatGPT加入了語音與圖像功能。未來兩周內，Plus用戶與企業(yè)用戶便能體驗新功能，開發(fā)人員等其他用戶群體也有望在不久的將來體驗。

其中，最受外界關注的是ChatGPT的圖像理解能力。據介紹，用戶可以向ChatGPT展示一張或多張圖片，排查為何燒烤爐無法啟動，檢查冰箱里的菜能做什么美食，或分析復雜圖表得出數據。若想讓ChatGPT關注圖片中的特定部分，還可以使用APP中的繪圖工具高亮標注。

在OpenAI給出的示例視頻中可以看到，當用戶向ChatGPT發(fā)送一張自行車照片、詢問如何調低車墊時，ChatGPT不僅會自發(fā)觀察自行車型號、辨認零部件、給出詳細步驟，還會看說明書，并分辨用戶現(xiàn)有工具能否完成這項工作。

值得注意的是，同日發(fā)布的一篇論文中，OpenAI將這一能看圖的模型稱作GPT-4V（ision）。該模型在2022年已完成訓練，之后在2023年早些時候開始早期測試訪問。

借助GPT-4V，今年3月OpenAI與Be My Eyes組織合作開發(fā)Be My AI，可為盲人與視力障礙人士描述外界世界。測試表明，Be My AI可為50萬盲人和視力障礙用戶提供工具，滿足他們在信息、文化和就業(yè)方面的需求。

另外，OpenAI還測試了GPT-4V的驗證碼破解及地理定位能力，前者表明模型具備解決謎題與執(zhí)行復雜視覺推理任務的能力，后者則展現(xiàn)出了模型在搜索物品/地點的用處。但這兩項功能將涉及網絡安全及隱私問題。

至于本次更新的另一語音識別與生成功能，OpenAI表示，用戶可以用這一功能為孩子講述睡前故事，還可以在吵架時作為幫手。

OpenAI與專業(yè)配音演員合作，提供了5種不同的聲音。另外，公司還與Spotify展開合作，通過這一功能將播客翻譯為其他語言，同時保留播客主持人的聲音。

值得一提的是，數據顯示，近期ChatGPT流量回升。SimilarWeb數據顯示，9月11日那一周，ChatGPT流量較前一周增長約12%。另一家分析公司Sensor Tower報告稱，8月最后兩周全球ChatGPT應用程序用戶每周增長超過10%。據悉，流量增長的主要原因為學生開始返校，且印度及巴西市場迎來增長。

▌多模態(tài)大模型成兵家必爭之地 算力需求顯著攀升

如今，多模態(tài)功能已成為各家AI大模型的必爭之地。Meta最近推出AudioCraft，通過AI生成音樂；谷歌Bard及必應機器人均已部署多模式功能；蘋果也在試驗AI生成語音Personal Voice。

隨著AI感知、交互與生成能力快速發(fā)展，應用場景與生態(tài)也有望進一步豐富。而語音與圖像數據大小顯著高于文本，券商指出，多模態(tài)大模型的訓練推理算力需求將大幅攀升。

例如被谷歌寄予厚望的多模態(tài)大模型Gemini，據SemiAnalysi分析師Dylan Patel和Daniel Nishball透露，其已開始在TPUv5 Pod上進行訓練，算力高達~1e26 FLOPS，是訓練GPT-4所需算力的5倍。

華為副董事長、輪值董事長、CFO孟晚舟日前也表示，“人工智能的發(fā)展，算力是核心驅動力。大模型需要大算力，算力大小決定著AI迭代與創(chuàng)新的速度，也影響著經濟發(fā)展的速度。算力的稀缺和昂貴，已經成為制約AI發(fā)展的核心因素?！?/p>

國信證券指出，AI三元素（大模型、算力、應用）呈螺旋式促進關系。AI三元素以“模型更新-算力芯片迭代、單位tokens成本降低-應用增加”循環(huán)往復，當三者中有一個要素噴發(fā)，就是強刺激期；三者同時沒有更新，就會進入停滯期，等待下次爆發(fā)。

多模態(tài)大模型是未來發(fā)展趨勢。通過將不同數據類型相互關聯(lián)結合，可以大幅提高模型準確性和魯棒性，應用場景進一步拓展。

同時，3月谷歌發(fā)布多模態(tài)具身視覺語言模型（VLM）PaLM-E，其可用于機器人領域；7月谷歌發(fā)布新一代視覺-語言-動作（VLA）模型Robotics Transformer 2（RT-2），專用于機器人領域，看好大模型賦能機器人趨勢，分析師看好大模型賦能機器人。