在一篇新論文中，F(xiàn)rankle及其同事發(fā)現(xiàn)了潛伏在BERT中的此類子網(wǎng)，BERT是一種用于自然語言處理（NLP）的先進神經(jīng)網(wǎng)絡(luò)方法。作為人工智能的一個分支，NLP旨在通過預(yù)測文本生成或在線聊天機器人等應(yīng)用程序來解密和分析人類語言。在計算方面，BERT體積龐大，通常需要大多數(shù)用戶無法獲得的超級計算能力。從而可能使更多用戶在智能手機上開發(fā)有效的NLP工具。

弗蘭克勒說：“我們正在達到必須使這些模型更精簡，更高效的地步?！彼a充說，這一進步有一天可能會“減少NLP的準入門檻”。

麻省理工學院計算機科學與人工智能實驗室的邁克爾·卡賓小組的博士生Frankle是該研究的共同作者，該研究將于下個月在神經(jīng)信息處理系統(tǒng)會議上發(fā)表。德克薩斯大學奧斯汀分校的陳天龍是該論文的主要作者，其中包括得克薩斯州A&M的合作者Wang Zhangyang Wang，以及所有MIT-IBM Watson AI Lab的常石宇，劉思佳和張揚。

您今天可能已經(jīng)與BERT網(wǎng)絡(luò)進行了互動。這是Google搜索引擎的基礎(chǔ)技術(shù)之一，自Google于2018年發(fā)布BERT以來，它一直引起研究人員的興奮。BERT是一種創(chuàng)建神經(jīng)網(wǎng)絡(luò)的方法-使用分層節(jié)點或“神經(jīng)元”的算法來學習執(zhí)行通過培訓大量實例來完成一項任務(wù)。

BERT是通過反復嘗試填寫寫作段落中遺漏的單詞來進行訓練的，它的功能在于此初始訓練數(shù)據(jù)集的龐大大小。然后，用戶可以將BERT的神經(jīng)網(wǎng)絡(luò)微調(diào)至特定任務(wù)，例如構(gòu)建客戶服務(wù)聊天機器人。但是爭吵的BERT需要大量的處理能力。

弗蘭克爾說：“如今，標準的BERT模型-園林品種-具有3.4億個參數(shù)，”他補充說，這個數(shù)字可以達到10億。對如此龐大的網(wǎng)絡(luò)進行微調(diào)可能需要一臺超級計算機。“這簡直太貴了。這遠遠超出了您或我的計算能力?！?/p>

為了削減計算成本，Chen和他的同事試圖找出隱藏在BERT中的較小模型。他們通過迭代修剪整個BERT網(wǎng)絡(luò)的參數(shù)進行了實驗，然后將新子網(wǎng)的性能與原始BERT模型的性能進行了比較。他們對一系列NLP任務(wù)進行了此比較，從回答問題到填充句子中的空白詞。

責任編輯：lq