哈佛大學的科學家們把猴子的大腦與神經(jīng)網(wǎng)絡連接起來，試圖刺激猴子大腦中負責識別面部的單個神經(jīng)元。他們利用AI生成圖像，然后向猴子展示這些圖像，最終成功地激活特定的神經(jīng)元，而不影響其他神經(jīng)元。相關論文發(fā)表在最新的Cell期刊上。

新智元不久前報道，MIT 的三位科學家首次利用 AI 生成圖像來激活特定視覺神經(jīng)元，實現(xiàn)了控制動物大腦的神經(jīng)元活動。

該研究引起熱議，被認為是使用人工神經(jīng)網(wǎng)絡來理解真實神經(jīng)網(wǎng)絡的最強有力的驗證。

無獨有偶，在一項新實驗中，哈佛大學的科學家們把猴子的大腦與神經(jīng)網(wǎng)絡連接起來，試圖刺激猴子大腦中負責識別面部的單個神經(jīng)元。他們利用 AI 生成圖像，然后向猴子展示這些圖像，試圖盡可能地激活這些特定的神經(jīng)元。

最終，AI 系統(tǒng)學會了生成能夠激活單個腦細胞、而不會同時激活它的相鄰細胞的圖像。這些圖像像是超現(xiàn)實的噩夢中的景象一般，模模糊糊的又與臉孔或其他熟悉的形狀相似 —— 這是傳感器和人工智能開始窺視生物大腦的又一個令人興奮的例子。

一張由神經(jīng)網(wǎng)絡進化而來、刺激獼猴神經(jīng)元的圖像

相關研究發(fā)表在最新的 Cell 期刊上。

研究者提出的算法名為XDREAM，可以根據(jù)特定神經(jīng)元對圖像的反應強度的實時反饋來生成新圖像。

論文的第一作者、哈佛大學和華盛頓大學神經(jīng)科學家 Carlos Ponce 說：“如果細胞會做夢，那么 (這些圖像) 就是細胞夢見的景象?！?/p>

該研究的幾個要點：

在神經(jīng)元放電的引導下，深度神經(jīng)網(wǎng)絡和遺傳算法進化生成圖像

演進的圖像使獼猴視覺皮層的神經(jīng)元放電最大化

演進的圖像比大量的自然圖像更能激活神經(jīng)元

與演進圖像的相似性可以預測神經(jīng)元對新圖像的反應

研究概覽

具體來說，研究人員利用 AI 生成圖像并展示給猴子，然后研究猴子的神經(jīng)元對圖像的反應。然后，AI 算法可以根據(jù)大腦反應的信息來調(diào)整圖像，生成可能與猴子的視覺處理系統(tǒng)產(chǎn)生更多共鳴的新圖像。

Ponce 說：“當我們第一次看到這種情況時，感覺就好像我們是在用一種神經(jīng)元自己的語言與它進行交流，就好像我們賦予了細胞一種交流的能力?！?/p>

實驗過程：GAN+遺傳算法，窺探猴子的夢境

為什么我們的眼睛更容易被某些形狀、顏色和輪廓所吸引呢？

半個多世紀以來，科學家們已經(jīng)了解到，大腦視覺系統(tǒng)中的神經(jīng)元對某些圖像的反應會比對其他圖像的反應更強烈 —— 這一特征對于我們識別、理解和解釋周圍大量視覺信息的能力至關重要。

例如，當人類或其他靈長類動物 —— 具有高度協(xié)調(diào)性和視覺系統(tǒng)的動物 —— 在看到面孔、地點、物體或文字時，大腦中被稱為下顳葉皮層的特定視覺神經(jīng)元群會更活躍。但這些神經(jīng)元究竟是對什么做出了反應，至今仍不清楚。

迄今為止，絕大多數(shù)試圖測試神經(jīng)元偏好的實驗都使用了真實的圖像。但真實的圖像帶有固有的偏見：僅限于現(xiàn)實世界中可用的刺激以及研究人員選擇測試的圖像?；?AI 的程序可以根據(jù)每個神經(jīng)元的偏好來創(chuàng)建合成圖像，從而克服了這個障礙。

在這個研究中，來自哈佛大學醫(yī)學院的幾位研究人員，使用預訓練的深度生成神經(jīng)網(wǎng)絡(Dosovitskiy and Brox, 2016) 和遺傳算法，實現(xiàn)了讓神經(jīng)元反應來知道合成圖像的進化。

深度生成對抗網(wǎng)絡通過遺傳算法表達和搜索

為了記錄視覺神經(jīng)元的活動，研究團隊將微電極陣列植入六只猴子的下顳葉皮質(zhì)(耳朵上方稍微靠后的區(qū)域)。然后，研究人員通過電腦屏幕向猴子展示圖像，并測量猴子在觀看圖像時大腦中單個視覺神經(jīng)元的放電率。

如下圖所示，網(wǎng)絡以 4096 維的向量 (圖像代碼) 作為輸入，然后將其轉換為 256×256 的 RGB 圖像。

圖 1：通過神經(jīng)元引導的進化合成首選的刺激特定神經(jīng)元的圖像

（A）生成對抗網(wǎng)絡。

（B）初始的合成圖像，這里顯示了 30 個示例。

（C）行為任務。

（D）實驗流程。圖像代碼通過深度生成對抗網(wǎng)絡傳遞，以合成呈現(xiàn)給猴子看的圖像。使用神經(jīng)元反應對圖像代碼進行排序，然后對其進行選擇，重組和變異，以生成新的圖像代碼。

具體來說，遺傳算法使用從獼猴大腦中記錄到的神經(jīng)元響應來優(yōu)化輸入到神經(jīng)網(wǎng)絡的圖像代碼。每個實驗從 GAN 隨機產(chǎn)生的 40 個圖像（圖 1B）開始。

然后記錄猴子在被動執(zhí)行固定任務時 IT 神經(jīng)元的反應。圖 1C 顯示了一個單元的感受野。

然后根據(jù)神經(jīng)元對每個合成圖像的反應對圖像編碼進行評分，確定 10 張在給定神經(jīng)元或神經(jīng)元群中最活躍的圖像。研究人員將這些圖像通過一種遺傳算法 —— 本質(zhì)上是重新組合這些像素 —— 生成 30 張類似的圖像，然后將這些圖像連同最初的前 10 張圖像一起展示給猴子（圖 1D） 。

研究人員將整個方法稱為XDREAM (EXtending DeepDream with Real-time Evolution for Activity Maximization in real neurons)。

這個過程在 1-3 小時內(nèi)重復多達 250 代。

作為對照，研究人員還向猴子展示了包含人物、地點等的自然圖像和簡單的線條圖。

進化的圖像(左)和自然圖像(右)

在幾個小時的過程中，研究人員將每張 AI 生成的圖像向猴子展示 100 毫秒。

這些圖像從灰度隨機紋理圖案開始，根據(jù)實驗中猴子神經(jīng)元的激活程度，程序逐漸引入形狀和顏色，直到形成最終的充分體現(xiàn)神經(jīng)元偏好的圖像。

“每次實驗結束時，” 參與該研究的哈佛醫(yī)學院研究生 Will Xiao 說：“程序會生成對這些細胞產(chǎn)生超級刺激的圖像?！?/p>

神經(jīng)元選擇的怪異圖像，有助于理解認知問題

CaffeNet 中單元首選刺激的演變

研究人員首先在人工神經(jīng)網(wǎng)絡中的單元上驗證 XDREAM，作為生物神經(jīng)元的模型。他們的方法為 CaffeNet 的各層單元產(chǎn)生了超級刺激（圖 2）。

圖 2：XDREAM 算法為 CaffeNet 中的單元生成超級刺激

一種生物神經(jīng)元的偏好刺激的演變

隨著遺傳算法根據(jù)神經(jīng)元的響應優(yōu)化圖像，合成圖像會隨著每一代的進化而改變。下圖是進化實驗的一個例子。

圖 3：一個猴子選擇的合成圖像演化

每個圖像都是每代的前 5 個合成圖像的平均值（從左到右，從上到下排序），幾代之后，合成圖像進化成更有效的刺激 (圖 4)。

圖 4：通過最大化單個神經(jīng)元的響應來合成圖像的演變

視頻：猴子神經(jīng)元的選擇導致合成圖像演化的兩個示例，每個演化實時都需要幾個小時

其他神經(jīng)元中優(yōu)選刺激的演變

圖 5：其他 IT細胞的演化

圖 6：其他 IT 神經(jīng)元中合成圖像的演化

其中一些圖片符合研究人員的預期。例如，他們懷疑神經(jīng)元可能會對面孔做出反應，一個神經(jīng)元進化生成圓形的粉紅色圖像，上面有兩個類似眼睛的大黑點。

其他的則更令人驚訝。例如，其中一只猴子的神經(jīng)元不斷地生成看起來像猴子身體的圖像，但在它的脖子附近有一個紅色斑點。研究人員最終發(fā)現(xiàn)，這只猴子被關在另一只總是戴著紅項圈的猴子旁邊。

Ponce 說：“從霧中看到一個像臉一樣的東西在盯著你看，而你知道這張照片是來自猴子的大腦時，這可能是我的科學生涯里的最神奇的經(jīng)歷之一?！?/p>

研究人員說：“我們認為這個神經(jīng)元不僅對猴子的身體有優(yōu)先反應，而且對特定的猴子也有優(yōu)先反應?！?/p>

但并不是每一張最終的突破看起來都可以辨認。一只猴子的神經(jīng)元進化產(chǎn)生一個黑色的小方塊。另一只則產(chǎn)生無確定形狀的黑色和橙色的混合體。

這些研究表明，這些神經(jīng)元的反應并不是天生的，而是通過長期持續(xù)地接觸視覺刺激來學習的。但目前還不知道這種識別特定圖像的能力是如何出現(xiàn)的。研究團隊計劃在未來的研究中調(diào)查這個問題。

了解視覺系統(tǒng)如何對圖像產(chǎn)生反應可能是更好地理解驅動認知問題的基本機制的關鍵，這些認知問題涉及學習障礙、自閉癥譜系障礙等，通常以兒童處理面部線索和識別面孔的能力受損為特征。

研究人員表示，大腦視覺處理系統(tǒng)的故障會干擾人們連接、溝通和理解基本線索的能力，通過研究那些對面孔做出優(yōu)先反應的細胞，我們可以發(fā)現(xiàn)社會發(fā)展如何發(fā)生的線索，以及有可能出現(xiàn)的問題。