1. SteerLM：解鎖在推理期間自定義模型響應(yīng)

原文：https://mp.weixin.qq.com/s/QLfDjvMbBwL_dVEYQBXViA

國慶節(jié)剛過，NVIDIA悄悄發(fā)布一個(gè)開源軟件SteerLM。

在令人興奮的人工智能領(lǐng)域，像GPT-3、Megatron-Turing、Chinchilla、PaLM-2、Falcon和Llama 2等大型語言模型（LLM）以其出色的文本生成能力而備受關(guān)注。它們?yōu)樽匀徽Z言生成帶來了顯著的進(jìn)展，但它們?nèi)匀浑y以提供我們想要的精準(zhǔn)結(jié)果。它們有時(shí)會(huì)像才華橫溢的音樂家一樣，不時(shí)彈奏錯(cuò)誤的音符。那么，我們?nèi)绾螌?duì)這些模型進(jìn)行微調(diào)，以使它們按照我們的意愿運(yùn)行呢？這就是NVIDIA研究團(tuán)隊(duì)最新創(chuàng)新SteerLM的出現(xiàn)，它承諾讓AI文本生成更加有趣和個(gè)性化。

語言模型革命

在深入了解SteerLM的奇妙之前，讓我們先了解一下背景。大型語言模型（LLMs）通過吸收大量來自互聯(lián)網(wǎng)的文本而學(xué)習(xí)。它們獲得了語言的超能力和對(duì)世界的廣泛知識(shí)。這使它們能夠執(zhí)行諸如語言翻譯、回答問題甚至生成創(chuàng)意文本等任務(wù)。但問題是，當(dāng)涉及按照您的具體指示操作時(shí)，它們有時(shí)會(huì)偏離目標(biāo)。想象一下，當(dāng)您要求廚師制作一份無麩質(zhì)的比薩時(shí)，他們卻送上了一份普通的比薩。令人沮喪，對(duì)吧？這就是我們需要介入并向LLMs傳授一些經(jīng)驗(yàn)的地方。

當(dāng)前方法

有一些方法可以教這些語言模型，例如受監(jiān)督的微調(diào)（SFT）和來自人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）。SFT有助于擴(kuò)展它們的功能，但可能使它們的回應(yīng)聽起來簡潔而機(jī)械化。另一方面，RLHF就像給它們配了個(gè)私人導(dǎo)師，但它非常復(fù)雜，不太用戶友好。

介紹SteerLM：我們需要的英雄

現(xiàn)在，我們來介紹我們故事的主角-SteerLM！這是由NVIDIA研究團(tuán)隊(duì)開發(fā)的，它承諾在簡化過程的同時(shí)讓您更多地控制其回應(yīng)?？梢詫⑵湟暈橐环N神奇的工具，使您可以輕松引導(dǎo)語言模型。

SteerLM的工作原理：四個(gè)步驟

SteerLM分為四個(gè)神奇的步驟：

1. 屬性預(yù)測：想象它是一個(gè)質(zhì)量控制檢查員。它學(xué)會(huì)了根據(jù)屬性（如幫助性、幽默和創(chuàng)意）來評(píng)估文本質(zhì)量。

2. 多樣性注釋：現(xiàn)在，我們有一支AI檢查員的隊(duì)伍，他們使用他們?cè)诘谝徊街袑W(xué)到的知識(shí)來評(píng)估不同的文本。這使得我們的模型更加多才多藝。

3. 有條件的回應(yīng)：這一步就是魔法發(fā)生的地方。我們訓(xùn)練LLM生成與您想要的屬性相匹配的文本，比如幫助性或幽默。

4. 反饋的微調(diào)：就像音樂家練習(xí)以提高一樣，我們的LLM會(huì)生成各種回應(yīng)，同時(shí)追求最高的質(zhì)量。然后這些回應(yīng)會(huì)被評(píng)估，從而進(jìn)行更多的微調(diào)。

5. 

為什么SteerLM是一個(gè)改變游戲規(guī)則的工具

SteerLM的美妙之處在于它的簡單性。與RLHF不同，它依賴于標(biāo)準(zhǔn)語言模型目標(biāo)。它允許您在推斷時(shí)自定義模型，這意味著您可以告訴它您想要什么，它會(huì)按照您的意愿進(jìn)行操作。與其他技術(shù)不同，其他技術(shù)要求您使用預(yù)先確定的偏好，這是一股清新的風(fēng)。

SteerLM的超能力

SteerLM打開了不同應(yīng)用領(lǐng)域的可能性：

1. 游戲：是否曾經(jīng)希望游戲中的角色能更機(jī)智一些？有了SteerLM，您可以定制它們的對(duì)話，使您的游戲體驗(yàn)更加身臨其境和娛樂。

2. 教育：針對(duì)所有的學(xué)生，告別了單調(diào)和不實(shí)用的AI回應(yīng)。SteerLM確保AI保持友好和富有信息性的形象，以協(xié)助您的查詢。

3. 企業(yè)：想象一下為組織中的多個(gè)團(tuán)隊(duì)提供個(gè)性化的AI能力。SteerLM使這成為可能，簡化任務(wù)并增強(qiáng)全面的生產(chǎn)力。

4. 可訪問性：控制敏感屬性對(duì)于遏制不希望的模型偏見至關(guān)重要。SteerLM讓您有能力確保AI的行為符合您的價(jià)值觀，促進(jìn)公平和包容性。

這種靈活性意味著下一代AI系統(tǒng)將變成個(gè)人助手，理解和響應(yīng)您的特定偏好。您與AI的互動(dòng)將變得更加自然和根據(jù)您的需求進(jìn)行定制。

民主化AI定制

讓SteerLM更令人興奮的是其用戶友好的方法。與其他需要專門基礎(chǔ)設(shè)施的高級(jí)定制技術(shù)不同，SteerLM保持簡單。它證明了您不需要復(fù)雜的強(qiáng)化學(xué)習(xí)來微調(diào)AI指令。

SteerLM利用標(biāo)準(zhǔn)技術(shù)，如受監(jiān)督微調(diào)（SFT），簡化整個(gè)流程。它對(duì)現(xiàn)有基礎(chǔ)設(shè)施和代碼進(jìn)行最少的更改，使定制更加容易讓開發(fā)人員實(shí)現(xiàn)。您只需要進(jìn)行少量的超參數(shù)優(yōu)化，就可以取得卓越的結(jié)果。

實(shí)際上，在實(shí)驗(yàn)中，SteerLM 43B被證明是一個(gè)改變游戲規(guī)則的工具，超越了復(fù)雜的RLHF模型，如LLaMA 30B RLHF。它在Vicuna自動(dòng)評(píng)估中獲得了平均分?jǐn)?shù)655.75，使Guanaco 65B和LLaMA 30B RLHF相形見絀。這些結(jié)果凸顯了SteerLM的簡單培訓(xùn)流程可以提供與更復(fù)雜技術(shù)相匹敵的定制AI模型的準(zhǔn)確性。

總之，SteerLM是一個(gè)改變游戲規(guī)則的工具，簡化了AI定制，并使其更容易讓開發(fā)人員實(shí)現(xiàn)。借助這種創(chuàng)新方法，個(gè)性化AI系統(tǒng)的夢(mèng)想比以往更近了。

為了提供全面的企業(yè)安全性和支持，SteerLM將集成到NVIDIA NeMo中，這是一個(gè)用于構(gòu)建、定制和部署大型生成式AI模型的豐富框架。SteerLM方法適用于NeMo支持的所有模型，包括社區(qū)構(gòu)建的熱門預(yù)訓(xùn)練LLMs，如Llama 2、Falcon LLM和MPT。NVIDIA希望通過這種方式將催生更多研究，開發(fā)能賦予用戶權(quán)力而不是限制他們的模型。AI的未來可以通過SteerLM進(jìn)行引導(dǎo)。

關(guān)于SteerLM論文：https://arxiv.org/pdf/2310.05344.pdf如何使用SteerLM定制的Llama-2-13b模型：

https://huggingface.co/nvidia/SteerLM-llama2-13B?mkt_tok=MTU2LU9GTi03NDIAAAGOwfy33eGcEv4-ZbMvTiwXkUlN9s8515pHjoPIhyqXch5Dtf9aFr8vYuJqViETh1qJ7LKnk9KSmOyRKdxM7cXrvyo0pevFqt0Y6jtocrL61m0XizeK-Q

2. 只要訓(xùn)練足夠長時(shí)間，小模型也能超過大模型

原文：https://mp.weixin.qq.com/s/B1hJVssFT0XedqaPYPNoHA

2022 年 3 月，DeepMind 一篇論文《Training Compute-Optimal Large Language Models》通過構(gòu)建的 Chinchilla 模型得出了一個(gè)結(jié)論：大模型存在訓(xùn)練不足的缺陷，模型大小和訓(xùn)練 token 的數(shù)量應(yīng)該以相等的比例擴(kuò)展。也就是說模型越大，所使用的訓(xùn)練 token 也應(yīng)該越多。

但事實(shí)可能并非如此，近日，博主 Thaddée Yann TYL 寫了一篇題為《Chinchilla 之死》的文章，其中分析解讀了 OpenAI 與 DeepMind 幾篇論文中的細(xì)節(jié)，得到了一個(gè)出人意料的結(jié)論：如果有充足的計(jì)算資源和數(shù)據(jù)，訓(xùn)練足夠長時(shí)間，小模型的表現(xiàn)也可以超越大模型。

為了避免將算力浪費(fèi)于緩慢的收斂過程中，進(jìn)行外推是非常重要的。畢竟，如果你不得不步行去珠穆朗瑪峰，你不會(huì)只靠眼睛辨別方向，而是會(huì)使用 GPS。

但有時(shí)候，你又不得不把視線從 GPS 上移開，看看道路。有些東西是無法通過簡單的公式推斷出來的。對(duì)十九世紀(jì)的物理學(xué)家來說，紫外災(zāi)變（ Ultraviolet catastrophe）便是如此；而現(xiàn)在，LLM 亦是如此。我們估計(jì)在中心位置附近有效的東西可能在遠(yuǎn)處會(huì)出現(xiàn)巨大的偏差……

《我的世界》的邊境之地（far lands），這是突然扭曲并與自身重疊的懸崖之地。

Chinchilla 到底是什么？

更小的模型執(zhí)行的乘法更少，因而訓(xùn)練得也更快。但是，按照理論，更小的模型最終會(huì)觸及自身知識(shí)容量的極限，并且學(xué)習(xí)速度會(huì)變慢；而有更大知識(shí)容量的大型模型在經(jīng)過給定的訓(xùn)練時(shí)間后會(huì)超過小模型，取得更好的性能表現(xiàn)。

在評(píng)估如何在訓(xùn)練期間獲得最佳性價(jià)比時(shí)，OpenAI 和 DeepMind 都會(huì)試圖繪制帕累托邊界（Pareto frontier）。雖然他們沒有明確說明他們使用了該理論來繪制，但 OpenAI 曾說過的一句話暗示存在這個(gè)隱藏假設(shè)：

我們預(yù)計(jì)更大模型的表現(xiàn)應(yīng)當(dāng)總是優(yōu)于更小的模型…… 大小固定的模型的能力是有限的。

這一假設(shè)是他們計(jì)算帕累托邊界的基石。在 Chinchilla 研究中，圖 2 展示了不同大小的模型經(jīng)過大量訓(xùn)練時(shí)的訓(xùn)練損失變化情況。初看之下，這些曲線與理論相符：更小的模型一開始的損失更低（表現(xiàn)更好），但損失降低的速度最終變慢并被更大模型的曲線超越。

比較許多不同模型大小的損失曲線的 Chinchilla 圖。

在這幅圖中，每當(dāng)更小的模型輸給一個(gè)更大的模型時(shí)，他們就會(huì)標(biāo)記一個(gè)灰點(diǎn)。這些點(diǎn)連成的灰線便是帕累托邊界，這是他們計(jì)算縮放定律（scaling laws）的方式。

這一假設(shè)有個(gè)問題：我們不知道如果讓更小的模型訓(xùn)練更長時(shí)間會(huì)發(fā)生什么，因?yàn)樗麄冊(cè)谛∧Ｐ捅怀綍r(shí)就不再繼續(xù)訓(xùn)練它們了。

接下來在看看 Llama 論文。

Chinchilla 會(huì)有 Llama 的視野嗎？

今年初，Meta 訓(xùn)練了四個(gè)不同大小的模型。不同于其它研究，其中每個(gè)模型都被訓(xùn)練了非常長時(shí)間，較小的模型也一樣。

他們公布了所得到的訓(xùn)練曲線：

四個(gè)不同大小的 Llama 模型的訓(xùn)練損失曲線

1. 每條曲線首先按照冪律大幅下降。

2. 然后損失開始近乎線性地下降（對(duì)應(yīng)于一個(gè)相當(dāng)恒定的知識(shí)獲取率）。

3. 在這條曲線的最右端，直線趨勢(shì)被稍微打破，因?yàn)樗鼈兩晕⒆兏骄徚艘恍?/span>

首先，對(duì)于曲線末端的變平情況，這里解釋一下人們可能有的一個(gè)微妙的誤解。這些模型都是通過梯度下降訓(xùn)練的并且使用了可變的學(xué)習(xí)率（大致來說，這個(gè)超參數(shù)定義了每次朝梯度方向前進(jìn)的程度）。為了獲得優(yōu)良的訓(xùn)練效果，學(xué)習(xí)率必須不斷降低，這樣模型才能檢測到源材料中更細(xì)微的模式。他們用于降低學(xué)習(xí)率的公式是最常用的余弦調(diào)度（cosine schedule）。

在余弦調(diào)度下，學(xué)習(xí)率與訓(xùn)練步數(shù)的函數(shù)關(guān)系：學(xué)習(xí)率首先線性增長，然后下降且下降速度變快，之后到達(dá)中途一個(gè)轉(zhuǎn)折點(diǎn)，下降速度再減慢。

從這張圖中可以看到，在訓(xùn)練結(jié)束時(shí)，余弦調(diào)度會(huì)停止降低學(xué)習(xí)率，此時(shí)已經(jīng)得到一個(gè)很好的近乎線性的訓(xùn)練損失曲線。學(xué)習(xí)速度減慢就是這種做法造成的。模型并不一定不再具有以同樣近乎線性的速率學(xué)習(xí)的能力！事實(shí)上，如果我們能為其提供更多文本，我們就能延長其余弦調(diào)度，這樣其學(xué)習(xí)率就會(huì)繼續(xù)以同樣速率下降。

模型的適應(yīng)度圖景并不取決于我們供給它訓(xùn)練的數(shù)據(jù)量；所以學(xué)習(xí)率下降趨勢(shì)的改變是沒有道理的。

不過這并非本文的重點(diǎn)。

訓(xùn)練損失曲線可能在另一方向上也存在誤導(dǎo)性。當(dāng)然，它們訓(xùn)練使用的數(shù)據(jù)是一樣的，但它們處理這些數(shù)據(jù)的速度不同。我們想知道的并不是模型的樣本效率如何（在這方面，更大的模型顯然可以從其所見數(shù)據(jù)中學(xué)到更多）。讓我們想象一場比賽：所有這些模型同時(shí)開始起步，我們想知道哪個(gè)模型首先沖過終點(diǎn)線。換句話說，當(dāng)在訓(xùn)練時(shí)間投入固定量的算力時(shí)，哪個(gè)模型能在那段時(shí)間內(nèi)學(xué)到更多？

幸好我們可以把這些損失曲線與 Meta 提供的另一些數(shù)據(jù)組合起來看：每個(gè)模型訓(xùn)練所用的時(shí)間。

先來談?wù)勆厦嫖覀兛催^的那張 Chinchilla 圖，其僅占這張圖左側(cè)的一小部分。在這一小部分，可以看到 Chinchilla 記錄的相同行為。以 7B 版本為例：其損失的下降速度一開始比更大的模型快得多，然后減慢；之后 13B 版本模型超過了它，率先到達(dá) 1.9。

然后，抵達(dá)邊境之地，意外的轉(zhuǎn)折出現(xiàn)了：7B 版本進(jìn)入了近乎線性的疆域，損失穩(wěn)步下降，看起來似乎走上了反超 13B 版本之路？如果能訓(xùn)練 7B 版本更長時(shí)間，說不好會(huì)發(fā)生什么。

但是，13B 和 33B 版本之間似乎也有類似的現(xiàn)象，其中 13B 版本起初的 Chinchilla 減慢也使其呈現(xiàn)出近乎線性的趨勢(shì)，這時(shí)候 13B 版本的損失下降速度似乎很快！33B 其實(shí)勝之不武，因?yàn)樗?13B 版本時(shí)已經(jīng)用去了超過兩倍的計(jì)算時(shí)間。

33B 和 65B 版本之間也有同樣的先減速再加速的現(xiàn)象，以至于 33B 實(shí)際上從未被 65B 超越。這幅圖的內(nèi)容擊破了 OpenAI 和 Chinchilla 的假設(shè)：更大的模型并未取得勝利（至少說還沒有）。他們檢測到的這種減速實(shí)際上并不是由于達(dá)到了某個(gè)能力極限！

盡管如此，7B 模型的線還是有點(diǎn)不盡如人意。如果 Meta 能訓(xùn)練更長時(shí)間就好了……

不賣關(guān)子了：他們訓(xùn)練了！他們發(fā)布了 Llama 2！

是時(shí)候證實(shí)我們的懷疑了

四個(gè)不同大小的 Llama 2 模型的訓(xùn)練損失曲線

同樣，可以得到訓(xùn)練時(shí)間：

Llama 2 訓(xùn)練損失與所耗費(fèi)的 GPU 時(shí)間

一眼便能看出，這里的訓(xùn)練損失曲線與 Llama 1 的不一樣，即便這些基礎(chǔ)模型是一樣的。事實(shí)證明， Llama 2 的訓(xùn)練使用了雙倍上下文大小和更長的余弦調(diào)度 —— 不幸的是，這會(huì)對(duì)所有模型大小產(chǎn)生負(fù)面影響。但是，更小的模型受到的影響比更大的模型更嚴(yán)重。由此造成的結(jié)果是：在 Llama 1 的訓(xùn)練時(shí)間，33B 模型總是優(yōu)于 65B 模型；而在 Llama 2 的訓(xùn)練時(shí)間，34B 模型則在重新超過 70B 模型之前要略遜一籌。

更重要的是，對(duì)訓(xùn)練速度的比較強(qiáng)烈地佐證了之前對(duì) Llama 1 的猜想：

1. 一開始時(shí)，更小的模型快于更大的模型。

2. 然后，更小的模型速度變慢，并被更大的模型超越（按照 Chinchilla）。

3. 但再然后，模型進(jìn)入近乎線性的區(qū)域，這時(shí)候更小的模型能更快地下降，獲取更優(yōu)的知識(shí)，它們?cè)俅纬礁蟮哪Ｐ汀?/span>

這就帶來了一個(gè)有關(guān)訓(xùn)練方法的結(jié)論：與普遍的看法相反，更大的模型會(huì)產(chǎn)生更差的結(jié)果。如果你必須選擇一個(gè)參數(shù)大小和數(shù)據(jù)集，你可能最好選擇 7B 模型，然后在數(shù)萬億 token 上訓(xùn)練 7 epoch。

請(qǐng)看看 7B 模型近乎線性的區(qū)域，然后將其模式外推給 70B 模型，看看 70B 模型訓(xùn)練停止時(shí)的情況：如果將 70B 模型的訓(xùn)練資源花在 7B 模型上，可能會(huì)達(dá)到更低的困惑度！

從 Llama 2 的曲線還能看到另一點(diǎn)：Llama 1 曲線末端的學(xué)習(xí)減速實(shí)際上是余弦調(diào)度造成的。在 Llama 2 的訓(xùn)練中，在對(duì)應(yīng)于 1 萬億 token 讀取數(shù)的位置，就完全沒有這種減速。

事實(shí)上，原因可能是這樣的：在同一位置， Llama 2 7B 模型的質(zhì)量低于 Llama 1 7B 模型，可能是因?yàn)槠溆嘞艺{(diào)度被拉長了！

現(xiàn)在我們回到那篇 Chinchilla 論文來論證這一點(diǎn)。在該論文的附錄 A 的圖 A1 中，他們給出了一個(gè)不同余弦調(diào)度參數(shù)的消融實(shí)驗(yàn)，換句話說就是對(duì)學(xué)習(xí)率曲線使用不同的延展方式。

Chinchilla 余弦調(diào)度消融研究

他們指出，當(dāng)學(xué)習(xí)率曲線沒有延展時(shí)，能實(shí)現(xiàn)最低的損失。這得到了圖表的支持，但其中也有不對(duì)勁的地方。在讀取了 600 萬 token 后，上圖模型的訓(xùn)練損失低于 2.8；與此同時(shí)，在相同的位置，下圖模型的訓(xùn)練損失還更好。然而這兩個(gè)模型的差異僅僅是余弦調(diào)度！由于下圖模型注定會(huì)處理更多訓(xùn)練數(shù)據(jù)，所以就計(jì)算了「未拉伸的」余弦調(diào)度更多步驟，這實(shí)際上產(chǎn)生了拉伸效果。如果學(xué)習(xí)率遵循分配給更少訓(xùn)練步驟的余弦調(diào)度，其在同等訓(xùn)練時(shí)間下的損失會(huì)更低。

更廣泛地說，這會(huì)引出一個(gè)有待解答的問題：如果余弦調(diào)度不是最優(yōu)的，那么曲線的尾部形狀應(yīng)該是什么樣子？

3. 突發(fā)！Hinton入局機(jī)器人創(chuàng)業(yè)，公司新獲9000萬投資

原文：https://mp.weixin.qq.com/s/GzWkNWJnQJDT1vjZeKZBLw

圖靈獎(jiǎng)得主、深度學(xué)習(xí)之父Geoffrey Hinton的下一程，定了！

剛剛，Hinton親自宣布，將加入機(jī)器人初創(chuàng)公司Vayu Robotics，擔(dān)任顧問一職。

消息一出，網(wǎng)友們一水兒的Congratulations！

還有人說，這回機(jī)器人管家更有希望了。

今年5月，Hinton突然從任職十載的谷歌離職，轟動(dòng)整個(gè)科技圈。

他本人當(dāng)時(shí)表示，這么做是為了可以自由地討論人工智能風(fēng)險(xiǎn)。

自從離職后，這位AI教父收到邀約不斷，但都沒能吸引到他——直到Vayu Robotics出現(xiàn)。

所以這家名不見經(jīng)傳的初創(chuàng)公司，憑什么？

Hinton給出的理由是，它們的技術(shù)路線和其他很多AI應(yīng)用相比，AI道德風(fēng)險(xiǎn)更低。

當(dāng)然Vayu Robotics自身實(shí)力也很強(qiáng)。

最近它們剛剛浮出水面，便拿下1270萬美元種子輪融資（折合人民幣約9271萬元）；創(chuàng)始團(tuán)隊(duì)成員也都來頭不小，被英偉達(dá)AI科學(xué)家Jim Fan稱為業(yè)內(nèi)的“big names”。

不過還有一點(diǎn)非常關(guān)鍵——Vayu Robotics的CTO尼蒂什·斯里瓦斯塔瓦（Nitish Srivastava）為Hinton門下弟子。

他博士畢業(yè)于多倫多大學(xué)，在此期間他和Hinton等人共同提出了神經(jīng)網(wǎng)絡(luò)中最常被用來防止過擬合的方法之一Dropout，目前論文被引次數(shù)已超過46000次。

這也是為啥Hinton說，這一回是和Nitish的再次合作。

而這也不是老爺子第一次和學(xué)生聯(lián)手創(chuàng)業(yè)了。

當(dāng)年Hinton會(huì)加入谷歌，正是因?yàn)楣雀枋召徚怂蛯W(xué)生共同創(chuàng)辦的DNNResearch。

Vayu Robotics是誰？

所以，情況類似的Vayu Robotics，同樣不可小覷。

這家初創(chuàng)公司成立于2021年，直到最近才偷偷殺入眾人視野，首條官宣消息就是拿下1270萬美元種子輪融資，在圈內(nèi)立刻引發(fā)不小轟動(dòng)。

雖然公司名字中帶有機(jī)器人（Robotics），但是Vayu Robotics強(qiáng)調(diào)自己是“一家AI公司”。

Vayu是梵文中“智慧”的意思。

它使宇宙中所有的運(yùn)動(dòng)和所有能量活動(dòng)成為可能。

公司在傳感器、機(jī)器學(xué)習(xí)和產(chǎn)品開發(fā)三方面布局，旨在提供高質(zhì)量、低成本的機(jī)器人。

目前已經(jīng)開發(fā)出了一個(gè)小型送貨機(jī)器人。

Hinton透露，這種機(jī)器人消耗的能量僅為汽車（時(shí)速50英里）的1%，而且剎車距離很短，能具備更高的安全性。

Vayu表示這個(gè)機(jī)器人基于純AI視覺方案，沒有使用激光雷達(dá)、高精地圖。

通過仿真模擬訓(xùn)練，它能基于少量真實(shí)圖片訓(xùn)練后上路

Vayu Robotics強(qiáng)調(diào)他們以自動(dòng)化為第一原則，會(huì)優(yōu)先考慮機(jī)器人的成本和部署問題。

目前也在開發(fā)自動(dòng)駕駛基礎(chǔ)模型和傳感技術(shù)。

最新拿下的種子輪融資，將用于多個(gè)領(lǐng)域的AI機(jī)器人開發(fā)，包括無人配送、工廠、汽車場景。

公司創(chuàng)始陣容非常豪華。

CTO為Hinton弟子尼蒂什·斯里瓦斯塔瓦（Nitish Srivastava）。

除了和Hinton共同提出了大名鼎鼎的Dropout外，他還參與開發(fā)了最早用于無監(jiān)督視頻學(xué)習(xí)LSTM模型。

其參與創(chuàng)辦的Clarevision Research被蘋果收購，隨后他一同加入蘋果，擔(dān)任研究科學(xué)家，負(fù)責(zé)感知與規(guī)劃相關(guān)的自主系統(tǒng)開發(fā)。

2022年他正式加入Vayu，成為聯(lián)合創(chuàng)始人之一。

公司CEO為阿南德·戈帕蘭（Anand Gopalan）。

這位工業(yè)界大佬在創(chuàng)辦Vayu前，曾是激光雷達(dá)巨頭Velodyne Lidar的CEO。

阿南德早期為集成電路工程師，曾先后在川崎微電子、Rambus任職。

2016年正式加入Velodyne Lidar。最初擔(dān)任CTO，負(fù)責(zé)監(jiān)督技術(shù)和產(chǎn)品開發(fā)，2020年后擔(dān)任CEO。

2021年阿南德離職，開始創(chuàng)辦Vayu。

另一位聯(lián)合創(chuàng)始人馬赫什?克里希那穆提（Mahesh Krishnamurthi）也曾在蘋果和美國第二大打車應(yīng)用公司Lyft任職。

結(jié)合Vayu Robotics的背景來看，Hinton決定加入其中擔(dān)任顧問，也就不那么意外了。

相較于大模型等，Vayu想做的無人配送機(jī)器人、工廠機(jī)器人等，涉及的AI倫理問題更少，落地路線更加安全；而且還有實(shí)力超強(qiáng)的創(chuàng)始團(tuán)隊(duì)領(lǐng)銜。

要知道，Hinton被譽(yù)為“人工智能教父”，長期關(guān)注AI技術(shù)的應(yīng)用和管控。

他人生中每次重大選擇，都是希望能讓如此強(qiáng)大的AI技術(shù)，確?？梢员豢煽乩?。

今年離開谷歌是出于這樣的考慮。

最早加入谷歌亦是如此——當(dāng)時(shí)DNN Research的收購中，谷歌并非出價(jià)最高的那一個(gè)。Hinton選擇谷歌，也有這方面原因。

包括更早之前離開卡內(nèi)基梅隆大學(xué)，選擇去多倫多大學(xué)任教，也是因?yàn)椴幌肽密姺浇?jīng)費(fèi)做研發(fā)，讓AI為軍事所用。

回到最近來看，在過去5個(gè)月的GAP中，Hinton的動(dòng)向也都圍繞探討人工智能風(fēng)險(xiǎn)展開。

5個(gè)月空窗期，Hinton都在干啥？

此次加入Vayu機(jī)器人公司，距離Hinton離開谷歌已經(jīng)過去了5個(gè)月。

今年5月，Hinton官宣離職，辭去谷歌的副總裁和工程研究員職務(wù)，結(jié)束了自己在谷歌的十年工作生涯。彼時(shí)《紐約時(shí)報(bào)》爆出消息，Hinton在4月提出了離職。

辭職的理由一言以蔽之，是對(duì)人工智能風(fēng)險(xiǎn)的擔(dān)憂。

他在推特上明確表示，選擇離開，“是為了可以自由談?wù)揂I的風(fēng)險(xiǎn)”。

這就不得不說到Hinton對(duì)AI風(fēng)險(xiǎn)的濃烈隱憂。

啥原因呢？一方面是他深感AI將對(duì)就業(yè)市場造成巨大影響；更進(jìn)一步的，他非常擔(dān)心有朝一日那種具有自主能力的殺手機(jī)器人，會(huì)成為現(xiàn)實(shí)。Hinton談到，AI實(shí)際上可以比人類擁有更聰明的想法，但他沒料到AI的發(fā)展速度會(huì)像過去幾個(gè)月那樣一日千里。

本來在他眼中，達(dá)到這種速度和高度，怎么也得要個(gè)三五十年的。

這樣的發(fā)展速度加重了這位深度學(xué)習(xí)之父的憂慮，甚至直言不諱：

我對(duì)自己畢生的工作，感到非常后悔。 我只能安慰自己說，如果我沒有這么做（推動(dòng)AI的發(fā)展），還會(huì)有其他人。

作為圖靈獎(jiǎng)得主，又是深度學(xué)習(xí)三巨頭之一，Hinton的此番言論果然引起了軒然大波。

許多人表示對(duì)此不理解，跑到他的推特下激情發(fā)問，認(rèn)為控制AI的風(fēng)險(xiǎn)不應(yīng)該是延緩發(fā)展它，而是有別的什么辦法。

言論風(fēng)波也波及了前東家，畢竟谷歌現(xiàn)在正在大模型時(shí)代激流勇進(jìn)。谷歌研究首席科學(xué)家、高級(jí)副總裁Jeff Dean不得不出面發(fā)表了份聲明：

我們?nèi)詴?huì)堅(jiān)持對(duì)AI采取負(fù)責(zé)任的態(tài)度。我們?cè)诓粩鄬W(xué)習(xí)理解新出現(xiàn)的風(fēng)險(xiǎn)時(shí)，也在大膽創(chuàng)新。

離職后的Hinton對(duì)AI風(fēng)險(xiǎn)的擔(dān)憂并未停歇，并且持續(xù)在公開露面中持續(xù)對(duì)外輸出。

6月，Hinton主要在兩個(gè)地方發(fā)聲，一是國內(nèi)的智源大會(huì)，二是和吳恩達(dá)的對(duì)話。

在智源大會(huì)上他表達(dá)的觀點(diǎn)是，超級(jí)智能會(huì)失控，但目前他還想不到什么好的方法阻止它們：

一旦它（超級(jí)智能）變得善于欺騙人，就能掌握讓人們做任何事的方法……我覺得這很可怕，但我看不出如何防止這種情況發(fā)生，因?yàn)槲依狭恕?/span> 我希望，像你們這樣的年輕有才華的研究人員，會(huì)搞懂我們?nèi)绾螕碛羞@些超級(jí)智能，并讓我們生活得更好。

僅僅時(shí)隔幾天后與吳恩達(dá)的對(duì)話系列，聊的也是——

AI究竟存在哪些風(fēng)險(xiǎn)？

Hinton繼續(xù)拉響著AI風(fēng)險(xiǎn)的警報(bào)，主要輸出了兩個(gè)觀點(diǎn)：

第一，所有科學(xué)家必須針對(duì)“AI風(fēng)險(xiǎn)”議題好好聊聊，以便于制定良好的政策；

第二，AI確實(shí)在理解世界?？茖W(xué)家們需要列出其中的關(guān)鍵技術(shù)問題，這有助于在AI安全議題上達(dá)成共識(shí)。而達(dá)成共識(shí)的關(guān)鍵點(diǎn)，是“GPT-4和Bard這類對(duì)話大模型是否真的理解它們自己在說什么”

6月之后，Hinton整個(gè)人呈現(xiàn)出了一種“半退網(wǎng)”狀態(tài)，既沒有在社交平臺(tái)或媒體采訪中頻繁出現(xiàn)，也沒有公布自己下一站到底去哪。

但這樣一位巨佬仍然被外界聚光燈緊緊鎖定。

9月，《時(shí)代》周刊發(fā)布世界AI最具影響力人物榜，齊聚100位學(xué)界業(yè)界大咖。

Hinton和其他2位深度學(xué)習(xí)巨頭一起，位列“思想者”之列，并且是上榜人士中，年紀(jì)最長者（76歲）。

等老爺子再一次公開露面，是3天前接受媒體《60分鐘》的采訪。

他肯定了AI做出的貢獻(xiàn)，但還是再次表示了對(duì)AI可能會(huì)接管人類的擔(dān)憂。

Hinton這回是這么說的：

隨著AI對(duì)更復(fù)雜任務(wù)的處理，對(duì)于人類而言，其內(nèi)部運(yùn)作會(huì)變得越來越神秘且不可知。 AI有一天可能會(huì)取代人類。我不是說這事兒一定會(huì)發(fā)生，但如果能阻止AI永遠(yuǎn)不想這樣做，那就太好了。

此外，他的擔(dān)心又新增了一項(xiàng)，那就是怕AI系統(tǒng)會(huì)自己編寫代碼，對(duì)自己進(jìn)行修改——這么一來，人類更有可能失去對(duì)AI的控制了。

最后，Hinton語重心長地說，是時(shí)候了！

是時(shí)候該進(jìn)行實(shí)驗(yàn)來更好地理解AI，并通過法律來確保技術(shù)被合理使用。

如今，已經(jīng)75歲的Hinton顯然還沒打算退休，要在把控AI道德和風(fēng)險(xiǎn)的道路上繼續(xù)身體力行。

由此我們也可以期待，他和“年滿2歲”的Vayu Robotics，未來會(huì)擦出哪些火花？

4. 當(dāng)YoloV8與ChatGPT互通，這功能是真的強(qiáng)大！后期打通語音試試

原文：https://mp.weixin.qq.com/s/Zmg10_4ywkg1OdZ77uF7CA

01 簡介

ChatGPT（全名:Chat Generative Pre-trained Transformer），是OpenAI研發(fā)的聊天機(jī)器人程序，于2022年11月30日發(fā)布。ChatGPT是人工智能技術(shù)驅(qū)動(dòng)的自然語言處理工具，它能夠通過理解和學(xué)習(xí)人類的語言來進(jìn)行對(duì)話，還能根據(jù)聊天的上下文進(jìn)行互動(dòng)，真正像人類一樣來聊天交流，甚至能完成撰寫郵件、視頻腳本、文案、翻譯、代碼，寫論文等任務(wù)。

現(xiàn)在的ChatGPT都是輸入文字、圖片或者語音，那如果將檢測網(wǎng)絡(luò)或者更上層一點(diǎn)的東西，把視覺與ChatGPT對(duì)接，會(huì)不會(huì)有不一樣的火花？

02 嘗試與設(shè)計(jì)

注冊(cè)O(shè)penAI賬號(hào)并創(chuàng)建API密鑰：首先需要注冊(cè)O(shè)penAI賬號(hào)，并在Dashboard中創(chuàng)建API密鑰以便后續(xù)使用。

安裝OpenAIPythonSDK：

可以通過pip install openai命令來安裝OpenAIPythonSDK，這樣就可以在Python代碼中使用ChatGPT進(jìn)行對(duì)話了。

調(diào)用API進(jìn)行對(duì)話：可以使用SDK中提供的completions方法來調(diào)用API進(jìn)行對(duì)話，需要傳入API密鑰和輸入文本，API會(huì)返回生成的回復(fù)文本。

集成到應(yīng)用中：可以將ChatGPT集成到應(yīng)用中，例如網(wǎng)站或移動(dòng)應(yīng)用程序，使用戶可以與ChatGPT進(jìn)行對(duì)話。集成方式有很多種，可以根據(jù)具體應(yīng)用場景選擇合適的方式。

需要注意的是，ChatGPT是基于大規(guī)模的語言模型訓(xùn)練而成的，對(duì)話過程中可能會(huì)出現(xiàn)一些不準(zhǔn)確或不恰當(dāng)?shù)幕貜?fù)。因此，在實(shí)際應(yīng)用中需要謹(jǐn)慎評(píng)估ChatGPT的表現(xiàn)，并根據(jù)實(shí)際情況進(jìn)行調(diào)整和優(yōu)化。

YoloV8搭建

下載庫——ultralytics

pip install ultralytics

運(yùn)行測試

yolo predict model=yolov8n.pt source='https://ultralytics.com/images/bus.jpg'

接下來就是打通視覺模型和ChatGPT的交流，先看一個(gè)例子！首先從網(wǎng)上下載一段視頻，然后開始進(jìn)行Sao操作：

準(zhǔn)備好素材就開始表演！

先進(jìn)入搭建好的系統(tǒng)中，進(jìn)行啟動(dòng)：

然后就開始進(jìn)入新的世界了

然后接入視頻并啟動(dòng)Yolov8實(shí)時(shí)檢測：

然后這邊我對(duì)其說：

Lock the area on the right for real-time detection

此時(shí)一直在實(shí)時(shí)檢測中：

然后輸入有一個(gè)屏幕被打開，進(jìn)行了檢測可視化展示：

前面感覺檢測的效果不是很好，就重新輸入一段指令：

Direct detection of fire extinguishing stages

由于整體檢測網(wǎng)絡(luò)沒有怎么優(yōu)化訓(xùn)練，直接檢測，效果不理想，但是與ChatGPT的聯(lián)動(dòng)還是有效果，這種有沒有聯(lián)想到流浪地球的MOSE。

這種能力如果全面打開，是不是在現(xiàn)實(shí)生活中，實(shí)時(shí)視頻中，和ChatGPT對(duì)話，比如看中視頻中的一鍵衣服，是不是GPT就可以自己去網(wǎng)上搜索，給出最優(yōu)惠價(jià)格的鏈接（GPT幫用戶去比價(jià)），然后把鏈接推送給用戶。這些都是一種可能，也是GPT真正應(yīng)該落地的應(yīng)用。

5. 有意見 | 投入巨大的大模型 不掙錢？

原文：https://new.qq.com/omn/author/8QMd3XZe7YMcuT%2Fa

據(jù)爆料： 用戶量高達(dá)150萬的AI編程工具GitHub Copilot，平均每月每用戶倒貼20美元，最高能達(dá)80美元。OpenAI運(yùn)行ChatGPT，每日投入成本可能高達(dá)70萬美元。雖然隨著能源等成本的下降，未來大模型計(jì)算成本也會(huì)隨之下降，但目前這一運(yùn)行成本，依舊無法被會(huì)員價(jià)所填補(bǔ)。與此相對(duì)的是AI繪畫，Midjourney用戶數(shù)一路飆升到近1500萬，已成功實(shí)現(xiàn)2億美元的年收入。

“有意見”留言板

@出來混總是要還：如果AI不掙錢英偉達(dá)也不會(huì)是贏家，最終怎么掙的還會(huì)怎么吐出來。故意構(gòu)建虛假繁榮借機(jī)抬高顯卡價(jià)格，投資由“礦工”轉(zhuǎn)型的算力服務(wù)公司，依靠金融戲法賺錢也是黃教主的拿手好戲。技術(shù)這個(gè)工具用在創(chuàng)造生產(chǎn)力價(jià)值上才是掙錢的正道。

@Betty：大型語言模型和AI繪畫產(chǎn)品在商業(yè)化上面臨多重挑戰(zhàn)。語言模型如GitHub Copilot虧損嚴(yán)重，主要原因在于高昂的運(yùn)營成本和宣傳費(fèi)用。用戶尚未充分認(rèn)識(shí)到生成式AI的實(shí)際價(jià)值，這導(dǎo)致了宣傳的困難。相比之下，AI繪畫產(chǎn)品似乎更容易實(shí)現(xiàn)盈利，因?yàn)樗鼈兊纳虡I(yè)模式更明確，允許用戶將作品用于商業(yè)用途。但它們也面臨計(jì)算成本上升的挑戰(zhàn)?？傊@兩種技術(shù)都有潛力，但需要克服成本和市場推廣等問題，以實(shí)現(xiàn)商業(yè)成功。

@nv：全球科技巨頭在大模型上的投入雖然巨大，但目前看來并未帶來預(yù)期的盈利。主要問題在于高昂的運(yùn)行成本和版權(quán)成本，以及大模型自身的落地場景和應(yīng)用價(jià)值仍待挖掘。然而，AI繪畫產(chǎn)品卻已經(jīng)開始盈利，其成功的關(guān)鍵在于產(chǎn)品價(jià)值點(diǎn)明確，用戶可以立即將作品用于商業(yè)使用。

6. 甲骨文召開CloudWorld 2023大會(huì)，積極擁抱生成式AI

原文：https://new.qq.com/rain/a/20231006A06MKF00

在近日于拉斯維加斯召開的年度CloudWorld會(huì)議上，甲骨文表示正在全力發(fā)展生成式AI，絕不會(huì)看著自己最大的競爭對(duì)手亞馬遜云科技（AWS）占領(lǐng)市場。

在討論本屆CloudWorld大會(huì)之前，我們先回顧一下今年9月14日，甲骨文公司與微軟宣布建立的最新合作伙伴關(guān)系。雙方協(xié)定將Oracle數(shù)據(jù)庫服務(wù)置于微軟Azure的Oracle云基礎(chǔ)設(shè)施（OCI）之上。新的Oracle Database@Azure將令微軟和甲骨文成為全球僅有的兩家OCI超大規(guī)模基礎(chǔ)設(shè)施運(yùn)營商，可幫助客戶簡化云遷移、部署與管理流程。特別是考慮到兩位合作伙伴將保證提供完全均等的服務(wù)價(jià)格和授權(quán)許可，因此客戶能夠隨意選擇自己熟悉的云環(huán)境、并保證使用成本不受任何影響。

這究竟有什么影響？簡單來說，以往只能在OCI上使用的數(shù)據(jù)庫服務(wù)，現(xiàn)在也可以運(yùn)行在帶有Oracle Exadata服務(wù)器硬件的Azure實(shí)例當(dāng)中了，且這批硬件就安裝在微軟所擁有的Azure數(shù)據(jù)中心之內(nèi)。這使得分析、批量報(bào)告和其他任務(wù)都能在數(shù)據(jù)庫內(nèi)/各數(shù)據(jù)庫間同時(shí)運(yùn)行。于是乎，原本仍在猶豫要不要全面上云的用戶也可以全力投入，不必?fù)?dān)心跨云環(huán)境所會(huì)引發(fā)性能問題、供應(yīng)商鎖定或者強(qiáng)制要求重新設(shè)計(jì)工作流程?？偠灾?，這是一項(xiàng)重大舉措，將幫助甲骨文和微軟更好地與云市場的絕對(duì)領(lǐng)導(dǎo)者AWS展開競爭。

那么，這一切與甲骨文的CloudWorld大會(huì)有什么關(guān)系？當(dāng)然有，如今的科技領(lǐng)域內(nèi)一切之間都有著千絲萬縷的關(guān)聯(lián)。合作伙伴關(guān)系是推進(jìn)制勝戰(zhàn)略的前提，而甲骨文和微軟似乎都覺得自己有機(jī)會(huì)在生成式AI這條新賽道上有所表現(xiàn)。而且更重要的是，Oracle Database@Azure還只是合作的第一步。

CloudWorld 2023大會(huì)：聚焦于生成式AI

如今是2023年，任何不關(guān)注生成式AI問題的活動(dòng)都沒有資格被稱為科技盛會(huì)。在本屆CloudWorld會(huì)議期間，甲骨文發(fā)布了大量當(dāng)前或計(jì)劃在服務(wù)組合中發(fā)布的生成式AI功能。下面來看其中幾個(gè)代表性案例：

AI向量搜索：甲骨文宣布，計(jì)劃在其Oracle Database 23c中添加使用AI向量的“語義搜索功能”。AI向量搜索功能包括新的向量數(shù)據(jù)類型，以及向量索引/搜索SQL，使其能夠存儲(chǔ)按相似性組織起來的圖像、音頻、文本文檔及其他非結(jié)構(gòu)化數(shù)據(jù)等語義內(nèi)容。總而言之，這將幫助客戶更快、更輕松地整合并訪問更多數(shù)據(jù)，而AI向量搜索更讓專用數(shù)據(jù)在檢索增強(qiáng)生成（RAG）中的使用成為可能。所謂檢索增強(qiáng)生成，是一種將上下文添加至已訓(xùn)練AI模型中以實(shí)現(xiàn)關(guān)聯(lián)性改進(jìn)的機(jī)制，相關(guān)用例包括產(chǎn)品建議、圖像搜索和傳感器數(shù)據(jù)分析等。

AI主導(dǎo)的生成式AI服務(wù)：甲骨文推出一項(xiàng)新的托管服務(wù)，允許企業(yè)通過API將大語言模型接口集成至自己的應(yīng)用當(dāng)中。該服務(wù)采用Cohere大語言模型構(gòu)建而成，但用戶也可以使用自有數(shù)據(jù)對(duì)該模型進(jìn)行更新?？捎玫哪Ｐ凸δ馨睿ㄉ晌谋荆?、總結(jié)（總結(jié)抽象信息）和嵌入（將文本轉(zhuǎn)換為數(shù)字向量以供大語言模型使用）。

與Cohere的合作伙伴關(guān)系、包括甲骨文使用Cohere大語言模型推進(jìn)企業(yè)級(jí)生成式AI的計(jì)劃，宣布于2023年6月，也就是三個(gè)月之前。沒錯(cuò)，如今的生成式AI浪潮就是這么迅猛。

MySQL HeatWave：甲骨文添加了新的Vector Store，借此向企業(yè)客戶開放其MySQL HeatWave數(shù)據(jù)分析云服務(wù)。此服務(wù)可以攝取多種格式的文檔，并將其存儲(chǔ)為通過編碼器模型生成的“嵌入”，從而加快查詢運(yùn)行速度。其中的生成式AI功能包括由大語言模型驅(qū)動(dòng)的操作界面，允許使用者通過自然語言與之交互。甲骨文還將智能湖倉功能添加至亞馬遜云科技的MySQL HeatWave當(dāng)中，幫助客戶輕松映射并查詢存儲(chǔ)在Amazon S3中的TB級(jí)數(shù)據(jù)，且無需支付出口費(fèi)用。

Fusion Cloud Suites迎來生成式AI更新：除了上述公告之外，幾乎所有Fusion Cloud服務(wù)（包括客戶體驗(yàn)、人力資本管理、企業(yè)資源規(guī)劃和供應(yīng)鏈管理）也都迎來了生成式AI的加持。另外，面向醫(yī)療保健服務(wù)商的全新Oracle Clinical Digital Assistant也已上線?？傊?，各類Fusion Cloud套件都將為醫(yī)療保健領(lǐng)域的客戶提供更加有力支持。

CloudWorld 2023大會(huì)：關(guān)注愿景，也關(guān)注價(jià)值

與微軟上周專門展示具體產(chǎn)品和解決方案的活動(dòng)不同，甲骨文的CloudWorld 2023大會(huì)似乎并不特別關(guān)注已經(jīng)做到了什么，而是更多強(qiáng)調(diào)甲骨文眼中未來的潛在形態(tài)。據(jù)了解，甲骨文計(jì)劃將生成式AI嵌入自家全部產(chǎn)品，并將預(yù)先開發(fā)50個(gè)用例，未來將有更多用例由客戶自行設(shè)計(jì)和驅(qū)動(dòng)。此外，會(huì)議還特別關(guān)注在生成式AI的落地過程中，甲骨文是否始終將客戶數(shù)據(jù)的安全放在首位。

更重要的是，CloudWorld還表明如果說云是新的前沿，那么生成式AI就是拓展和鞏固該前沿的又一武器，甚至可以說是決定性力量。所以盡管甲骨文與目前生成式AI領(lǐng)域的主導(dǎo)者微軟僅在Oracle Database@Azure上保持合作，但相信二者后續(xù)的合作前景將不可限量。

雖然甲骨文沒有公布具體定價(jià)，但表示客戶一直熱切期望能把生成式AI功能引入企業(yè)級(jí)應(yīng)用程序。另外AI不會(huì)作為額外的功能選項(xiàng)，而是獨(dú)立產(chǎn)品。確實(shí)令人相當(dāng)期待，可也必須承認(rèn)，在搞清楚AI普及的后果之前就貿(mào)然行動(dòng)似乎有點(diǎn)魯莽。

總之，本屆CloudWorld大會(huì)帶來了激動(dòng)人心的時(shí)刻，也是生成式AI起步階段的又一標(biāo)志性事件。只是在萬眾爭先的大背景下，不知道有沒有哪位科技巨頭愿意先退后一步、想清楚“我們到底要前往何處”。

———————End———————

點(diǎn)擊閱讀原文進(jìn)入官網(wǎng)