99精品伊人亚洲|最近国产中文炮友|九草在线视频支援|AV网站大全最新|美女黄片免费观看|国产精品资源视频|精彩无码视频一区|91大神在线后入|伊人终合在线播放|久草综合久久中文

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內(nèi)不再提示

2018年 什么樣的芯片才能夠真正適應終端智能的需求

mK5P_AItists ? 2018-01-25 09:32 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

概要:2017年,人工智能最火的風口一定是AI芯片。

2017年,人工智能最火的風口一定是AI芯片。

AI芯片的出現(xiàn),與深度學習技術(shù)的成熟及應用密不可分。深度學習的過程可以簡化理解為利用大量標注的數(shù)據(jù)進行訓練,訓練出一個行之有效的模型,再將這一模型運用于新數(shù)據(jù)的推斷。

這個耳熟能詳?shù)谋?a href="http://www.socialnewsupdate.com/v/tag/2562/" target="_blank">算法是建立在多層大規(guī)模神經(jīng)網(wǎng)絡之上的,后者本質(zhì)上是包含了矩陣乘積和卷積操作的大運算量函數(shù)。往往需要先定義一個包含回歸問題的方差、分類時的交叉熵的代價函數(shù),再數(shù)據(jù)分批傳遞進網(wǎng)絡,根據(jù)參數(shù)求導出代價函數(shù)值,從而更新整個網(wǎng)絡模型。這通常意味著至少幾百萬次的相乘處理,計算量巨大。通俗來說,包含了數(shù)百萬次A*B+C的計算,算力消耗巨大。

為解決這一問題,AI芯片應運而生。2017年開始,圍繞AI芯片,半導體行業(yè),戰(zhàn)事升級,賽場上新老玩家暗潮涌動,連橫合眾,大有“AI芯片太多,設備都不夠用了”之勢。

時間進入2018年,備受關注的大小公司都將正式推出自研AI芯片。這些芯片也都被業(yè)界寄予厚望,是否能解決或者部分解決終端計算難題?什么樣的芯片才能夠真正適應終端智能的需求?

這些都是我們十分好奇且關注的問題。于是也與一些創(chuàng)業(yè)者進行了交流。本文即是其中的一篇,來自于與探境科技CEO魯勇的訪談。目前探境科技正研發(fā)適用于終端的AI芯片,在創(chuàng)業(yè)前魯勇曾在芯片廠商Marvell任高管,從事過存儲芯片的相關工作,而存儲正是計算之外所有芯片另一核心?;谶^往的經(jīng)歷、經(jīng)驗與觀察,魯勇認為,做適用于終端的AI芯片,除了要在計算方面提升,存儲優(yōu)化同樣至關重要。

以下為正文,來自36氪對魯勇的訪談內(nèi)容,36氪基于訪談內(nèi)容對其觀點進行了整理。

AI算法在芯片實現(xiàn)時遇到的核心問題不是計算資源而是存儲問題,強如GPU提供眾多的計算資源,而實際計算能力與計算資源大為降低。

概括來說,存儲問題分為兩個部分,一個是帶寬問題,一個是功耗問題,這兩個問題的解決其實也是耦合在一起的。

具體來說,深度學習算法使用大量存儲資源,即包括靜態(tài)模型參數(shù),也包括網(wǎng)絡層之間的動態(tài)數(shù)據(jù)。對于靜態(tài)模型參數(shù)權(quán)重,動輒幾十兆上百兆樣本數(shù)量,無法在片上SRAM保存,因此需要存入外部DRAM。DRAM與AI計算芯片間帶寬有限,如果芯片上計算資源很大,但受存儲帶寬的瓶頸限制,實際計算力大為下降。

打比方來說,負責存儲的DRAM和與負責計算的芯片就像是位于河兩岸的倉庫,整個運算的過程可以類比從存儲的倉庫搬取數(shù)據(jù)、搬運過橋,將數(shù)據(jù)搬入計算的單元進行處理,并高速循環(huán)往復。而當前的AI芯片技術(shù)重點提升將數(shù)據(jù)搬入計算單元后的處理速度,但因為搬出數(shù)據(jù)、過橋的過程基本未發(fā)送變化,因此整體的效率提升還相對有限。

與之對應的方法即是克服存儲帶寬的手段:一是減少數(shù)據(jù)量,降低所需數(shù)據(jù)帶寬,就是說想辦法只要從倉庫搬出少量數(shù)據(jù),就可以達到同樣的效果;二是更科學的調(diào)度數(shù)據(jù)使用,提升調(diào)度的效率。

(1)減少數(shù)據(jù)容量

如果數(shù)據(jù)量降低了,這將總體上減少對DRAM的訪問,在DRAM物理帶寬保持不變的前提下,降低了DRAM的依賴性,提高了整體性能,同時減少DRAM訪問也將大幅減少系統(tǒng)功耗開銷。因此首先需要解決的問題是減少靜態(tài)參數(shù)權(quán)重的大小。通常的解決辦法包括參數(shù)定點化,將每個32bit浮點數(shù)減少為16bit以下的定點數(shù),至少能降低50%甚至75%的存儲容量,也同樣幅度的降低了存儲帶寬的需求。實踐證明16bit定點化可以采用線性量化的方式,而16bit以下定點化根據(jù)模型的不同,有些需要采用非線性量化才可以達到維持模型性能的目的。

目前主要有模型剪枝、設計適于終端設備的簡化網(wǎng)絡兩種實現(xiàn)方式。模型剪枝作為進一步降低模型容量和存儲帶寬的方式,是基于神經(jīng)網(wǎng)絡模型存在大量冗余信息的基礎,而另一種從源頭開始重新設計適于終端設備的簡化網(wǎng)絡的方式也在逐漸興起,從同樣規(guī)模的網(wǎng)絡性能來看,新設計的網(wǎng)絡可能比舊網(wǎng)絡通過剪枝再訓練的方式更為簡單快捷,性能也更好。

(2)更科學的調(diào)度數(shù)據(jù)使用

深度學習的計算大量使用乘累加,即完成AXB+C的工作,這種乘累加單元(MAC)每次運算需要三個輸入,完成一個輸出。參與運算的數(shù)據(jù)包括事先準備好的權(quán)重參數(shù)和網(wǎng)絡層產(chǎn)生的中間數(shù)據(jù)。每個乘累加完成后的輸出通常也會作為下一次運算的輸入,因此如何調(diào)度這些數(shù)據(jù)成為關鍵。

功耗角度來說,從DRAM獲取數(shù)據(jù)所消耗的功耗最大,從SRAM中獲取數(shù)據(jù)其次,從本地寄存器中獲取數(shù)據(jù)消耗功耗最低,但從成本角度考慮剛好相反,因此這三個不同層次的存儲器的使用非常關鍵,我們希望盡可能減少DRAM的訪問,最理想的結(jié)果是僅從DRAM中讀取一次事先存好的模型參數(shù),而不依賴DRAM做任何其他工作。

從宏觀上看,整個深度學習運算計算一次,進入MAC的總數(shù)據(jù)量遠大于靜態(tài)數(shù)據(jù)的容量,因為無論是模型參數(shù)還是中間數(shù)據(jù)都多次被重復使用,因此實際所需的數(shù)據(jù)帶寬非常大,并且當所有這些數(shù)據(jù)都僅通過DRAM被緩存使用時,其功耗開銷也是驚人的,因此充分利用各級緩存的特性非常重要,設計一個合理的數(shù)據(jù)流,將多次被重復使用的數(shù)據(jù)放在離計算資源較近的地方,少量讀取的數(shù)據(jù)放在DRAM中,將提高計算性能,降低系統(tǒng)功耗。

那么問題來了,如何才能設計一款真正適用于終端的AI芯片。

簡單的設計一個卷積加速器并不能帶來深度學習計算性能上的提高,合格的計算架構(gòu)需要結(jié)合對存儲問題的分析來設計,不僅要考慮計算架構(gòu),也要考慮存儲的數(shù)據(jù)流控制,因此深度學習的計算特點并非是一個簡單粗暴的并行計算問題。

首先還是要考慮浮點和定點計算的問題,8 位的整數(shù)乘法比IEEE 754標準下16位浮點乘法降低 6 倍的能耗,占用的芯片面積也少 6 倍;而整數(shù)加法的差異是13倍的能耗與38倍的面積,因此終端AI芯片采用定點計算將獲得巨大收益。當定點成為設計目標的時候,要充分考慮軟硬件的結(jié)合,不同網(wǎng)絡對定點位數(shù)的影響程度是不一樣的,數(shù)據(jù)量化的具體方式也有差異,有線性量化也有非線性量化的方法,因此針對應用場景結(jié)合軟件協(xié)同設計非常有必要。

其次深度學習不是簡單粗暴的并行計算但仍然有明顯的并行計算特征,因此考慮存儲問題后放入更多的計算資源會大幅提高計算性能。首先將最多被重復使用的數(shù)據(jù)放在接近計算資源的地方,這符合較為流行的In Memory Computing(存儲計算一體化)的思想,并且考慮到當前工業(yè)水平,這更為實際,而通過重新設計包括計算單元的存儲單元或采用ReRAM等方式是未來的 發(fā)展方向。

第三要考慮到深度學習數(shù)據(jù)的另一重要特性,即數(shù)據(jù)稀疏化特性,也就是說在參與運算的數(shù)據(jù)中有大量的零值數(shù)據(jù)存在,這些零值數(shù)據(jù)即可以在存儲中被壓縮存放,降低存儲容量和帶寬需求,也可以在計算中被進一步調(diào)度,減少運算壓力,提高運算的有效性能。這些零值數(shù)據(jù)不僅存在于模型參數(shù)中,也大量存在于神經(jīng)網(wǎng)絡各層運算的中間數(shù)據(jù)中,這兩方面都需要進行考慮。稀疏數(shù)據(jù)在多核心并行計算中的調(diào)度是個復雜的問題,而不同網(wǎng)絡結(jié)構(gòu)也會帶來不同的影響,因此將軟硬件協(xié)同設計,動態(tài)調(diào)度的調(diào)度器是非常復雜的設計難點。

最后要考慮針對不同網(wǎng)絡的資源有效利用率問題,由于神經(jīng)網(wǎng)絡差異化較大,如果希望針對不同網(wǎng)絡都有較高的資源有效利用率,則需要在較細的顆粒度上進行優(yōu)化,進一步加深了數(shù)據(jù)流調(diào)度器的復雜度。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 芯片
    +關注

    關注

    459

    文章

    52494

    瀏覽量

    440669
  • 神經(jīng)網(wǎng)絡

    關注

    42

    文章

    4814

    瀏覽量

    103575
  • AI
    AI
    +關注

    關注

    88

    文章

    35109

    瀏覽量

    279594
  • 人工智能
    +關注

    關注

    1806

    文章

    49011

    瀏覽量

    249356
  • 深度學習
    +關注

    關注

    73

    文章

    5561

    瀏覽量

    122792

原文標題:AI芯片之爭白熱化的當下,如何設計一款真正適用于終端的AI芯片?

文章出處:【微信號:AItists,微信公眾號:人工智能學家】歡迎添加關注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    在使用EZ-USB? FX3? 設備時,上電后相機開始正常工作,但延時10s左右播放器才能夠顯示圖像數(shù)據(jù)?為什么?

    在使用EZ-USB? FX3? 設備時,上電后相機開始正常工作,但延時10s左右播放器才能夠顯示圖像數(shù)據(jù)?這是由于固件中的某些設置問題嗎?
    發(fā)表于 07-16 07:08

    什么是物聯(lián)網(wǎng)智能路燈? 智慧路燈是什么?什么樣的智慧路燈更滿足現(xiàn)代需求

    什么是物聯(lián)網(wǎng)智能路燈? 智慧路燈是什么?什么樣的智慧路燈更滿足現(xiàn)代需求
    的頭像 發(fā)表于 02-18 10:19 ?532次閱讀
    什么是物聯(lián)網(wǎng)<b class='flag-5'>智能</b>路燈? 智慧路燈是什么?<b class='flag-5'>什么樣</b>的智慧路燈更滿足現(xiàn)代<b class='flag-5'>需求</b>

    使用TLV5616進行DAC數(shù)模轉(zhuǎn)化,怎么才能夠給其提供穩(wěn)定精確地參考電壓從而保證轉(zhuǎn)換精度?

    我正在使用TI公司的TLV5616進行DAC數(shù)模轉(zhuǎn)化,想請教大家怎么才能夠給其提供穩(wěn)定精確地參考電壓從而保證轉(zhuǎn)換精度?期待大家的經(jīng)驗分享。
    發(fā)表于 02-07 07:55

    ADS1259初始化程序必須執(zhí)行兩次才能夠初始化成功,為什么?

    最近在調(diào)試ADS1259這個片子,發(fā)現(xiàn)初始化程序必須執(zhí)行兩次才能夠初始化成功,然后讀出來的CONFIG0寄存器的最高位是“0”(官方文檔上是“1”),不知道是什么原因,求TI工程師解答呀!
    發(fā)表于 01-10 12:41

    ADS1298采用怎樣的平均方法才能夠將高采樣率的數(shù)據(jù)平均成低采樣率后,相應的把噪聲降下來?

    是非常小的。這也符合datasheet上8.1 Noise Measurements的描述; 我們現(xiàn)在的問題是:采用怎樣的平均方法才能夠將高采樣率的數(shù)據(jù)平均成低采樣率后,相應的把噪聲降下來?
    發(fā)表于 01-07 06:53

    計劃的采樣頻率是2.56mhz,計劃采用dsp+外部ad的方案,請問應該選擇什么樣的采樣芯片比較合理?

    你好,我現(xiàn)在計劃的采樣頻率是2.56mhz,計劃采用dsp+外部ad的方案,請問應該選擇什么樣的采樣芯片比較合理,還有主芯片采用150mhz的28335能不能滿足? 精度要求在5%。
    發(fā)表于 12-24 07:08

    什么樣的電阻柜用于風電光伏項目

    什么樣的電阻柜用于風電光伏項目?在風電光伏項目中,電阻柜作為重要組成部分,直接影響著整個系統(tǒng)的效率和穩(wěn)定性。那么,我們應該選擇什么樣的電阻柜呢? 高效的電阻柜應具備較高的功率因數(shù)。在風電光伏項目
    的頭像 發(fā)表于 11-18 09:40 ?432次閱讀

    AIC3254要怎么做才能夠做到反饋抑制呢?

    設計,連編譯都無法通過。各位大俠,到底怎么辦呢,期待各位大俠的幫助,謝謝了,萬分感謝。AIC3254要怎么做,才能夠做到反饋抑制呢?
    發(fā)表于 11-08 07:49

    數(shù)據(jù)線芯片-數(shù)據(jù)線智能控制芯片EN16F

    控制:智能控制芯片能夠識別連接的設備類型,并根據(jù)設備需求調(diào)整通信協(xié)議和電源管理策略。同時,它們還提供用戶接口控制功能,如LED指示燈或觸摸屏反饋,以顯示連接狀態(tài)和數(shù)據(jù)傳輸活動。 隨著
    發(fā)表于 09-27 11:04

    IP地址與智能家居能夠碰撞出什么樣的火花呢?

    感應燈、遠程遙控空調(diào),自動感應窗簾——智能家居已經(jīng)在正逐步走入我們的生活,為我們帶來前所未有的便捷與舒適體驗。而在這一進程中,IP地址又能夠智能家居碰撞出什么樣的火花呢? 一、IP地
    的頭像 發(fā)表于 09-24 11:21 ?545次閱讀

    怎么才能夠將正弦波的直流分量取出?

    請教怎么才能夠將正弦波的直流分量取出,(我用低通濾波之后噪聲很大)
    發(fā)表于 09-19 06:13

    代碼整潔之道-大師眼中的整潔代碼是什么樣

    幾個月前寫了一篇文章“如何寫出難以維護的代碼”,從中能大概了解到不好維護的代碼是什么樣,有哪些壞味道,那肯定有人會反問,難以維護的代碼見的太多了,也知道長什么樣,但是對于好維護的代碼是什么樣的比較
    的頭像 發(fā)表于 09-09 16:30 ?649次閱讀
    代碼整潔之道-大師眼中的整潔代碼是<b class='flag-5'>什么樣</b>

    億鑄科技談大算力芯片面臨的技術(shù)挑戰(zhàn)和解決策略

    隨著人工智能技術(shù)的飛速發(fā)展,算力已成為推動產(chǎn)業(yè)變革的關鍵力量,但大模型的快速發(fā)展,參數(shù)的爆發(fā),對于算力需求也提出了更高的要求,帶來了全新的挑戰(zhàn)。那大算力芯片應對這些挑戰(zhàn),如何才能夠助力
    的頭像 發(fā)表于 08-07 10:03 ?1212次閱讀

    OPA354應該以什么樣的電容負載標準去使用?

    OPA354這個電路spec上,開環(huán)增益和相位并沒有說明搭載的負載電容是多大。請問在使用芯片時,應該以什么樣的電容負載標準去使用呢。
    發(fā)表于 08-02 08:05

    RISC-V適合什么樣的應用場景

    解決方案,適用于邊緣計算、智能攝像頭、智能音箱等場景。 靈活性:RISC-V的開放性使得其能夠更容易地與各種AI框架和算法集成,滿足不同的AI應用需求。 4. 自動駕駛和汽車電子 定制
    發(fā)表于 07-29 17:16