當(dāng)前,人工智能的飛速發(fā)展催生了大模型對海量算力的無盡渴望,使得原本基于馮諾依曼結(jié)構(gòu)的計算機(jī)遇到了巨大的挑戰(zhàn)。為此,尋找一種新的高效計算機(jī)結(jié)構(gòu)來替代經(jīng)典架構(gòu),成為了業(yè)內(nèi)專家們長久以來的探索方向。近期,來自上海科技大學(xué)的研究團(tuán)隊便取得了突破性進(jìn)展,他們首次研發(fā)出了全光深度儲備池計算機(jī),并在著名學(xué)術(shù)刊物《Optica》上公開發(fā)表了這一開創(chuàng)性的成果——名為“Deep photonic reservoir computing recurrent network”的論文。
儲備池計算(Reservoir Computing)作為在2000年被提出的先進(jìn)理念,是一類以較少培訓(xùn)成本和低硬件投入實現(xiàn)的可逆循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN),在時序數(shù)據(jù)處理中擁有廣泛的適用領(lǐng)域,諸如波形辨別、語音識別及時間序列預(yù)測等。盡管其使得訓(xùn)練成本更低且具有高效率、低延遲的優(yōu)點,但卻不適應(yīng)那些需要深度神經(jīng)網(wǎng)絡(luò)多層次處理信息的大型模型,因為多數(shù)硬件儲備池計算機(jī)只有一層厚度,無法勝任處理現(xiàn)實生活中紛繁復(fù)雜任務(wù)的需求。
然而,該研究團(tuán)隊這次創(chuàng)新性的成就便是通過運(yùn)用級聯(lián)光注入鎖定的全新技術(shù),成功組建了共4個隱藏層。這種儲備池光計算機(jī)的獨(dú)特之處在于,每個隱藏層都是由半導(dǎo)體激光芯片與光學(xué)反饋環(huán)組成,且兩個層面之間的聯(lián)系采用全光形式進(jìn)行,無需經(jīng)過光電變換或數(shù)模轉(zhuǎn)換,這不僅大大降低了能源消耗,也有效縮短了延遲時間。
據(jù)悉,此款計算機(jī)工作頻率高達(dá)20GHz,延遲時間僅為263ns,具備生成超過5000個神經(jīng)元節(jié)點以及101TOPS強(qiáng)大算力的能力。此外,由于每一層都由相應(yīng)的激光芯片提供能量,故而無論儲備池深度如何擴(kuò)展,系統(tǒng)中的光功率均不受影響。
為了論證這一計算機(jī)解決實際問題的能力,科研團(tuán)隊選取了四個隱藏層共計320個互連神經(jīng)元(每層80個)來解決光纖通信領(lǐng)域的重要挑戰(zhàn)——非線性信道均衡問題,這也是華為早先提出的后香農(nóng)時代十大數(shù)學(xué)難題之一。試驗結(jié)果顯示,這款深度儲備池光計算機(jī)展現(xiàn)出極強(qiáng)的光纖非線性補(bǔ)償功能,有力提升了光纖信道的通信容量。
據(jù)了解,相較于市場主流的邊緣計算產(chǎn)品,同功耗下的儲備池光計算機(jī)算力至少高出1個數(shù)量級,且能將時延降低3至4個數(shù)量級。因此,未來這一新形態(tài)的儲備池光計算機(jī)將被廣泛應(yīng)用于如智能制造、機(jī)器人、智慧醫(yī)療、智慧交通、智能家居等各類邊緣計算應(yīng)用場景。
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4814瀏覽量
103725 -
大模型
+關(guān)注
關(guān)注
2文章
3148瀏覽量
4090
發(fā)布評論請先 登錄
清華光芯片取得新突破,邁向AI光訓(xùn)練
海光DCU率先展開文心系列模型的深度技術(shù)合作 FLOPs利用率(MFU)達(dá)47%
RAKsmart智能算力架構(gòu):異構(gòu)計算+低時延網(wǎng)絡(luò)驅(qū)動企業(yè)AI訓(xùn)練范式升級
軟通計算機(jī)重磅發(fā)布DeepSeek大模型一體機(jī)產(chǎn)品

憶聯(lián)PCIe 5.0 SSD支撐大模型全流程訓(xùn)練

騰訊公布大語言模型訓(xùn)練新專利
加州理工學(xué)院開發(fā)出超100GHz時鐘速度的全光計算機(jī)
AI模型部署邊緣設(shè)備的奇妙之旅:目標(biāo)檢測模型
量子計算機(jī)與普通計算機(jī)工作原理的區(qū)別

計算機(jī)接口位于什么之間
簡述計算機(jī)總線的分類
晶體管計算機(jī)和電子管計算機(jī)有什么區(qū)別
高壓放大器在鐵磁鐵電異質(zhì)結(jié)系統(tǒng)物理儲備池計算中的應(yīng)用

如何利用ARMxy ARM嵌入式計算機(jī)的NPU進(jìn)行深度學(xué)習(xí)模型的訓(xùn)練和優(yōu)化?

評論