神經(jīng)網(wǎng)絡(luò)的基本思想是模擬計(jì)算機(jī)“大腦”中的多個(gè)互連細(xì)胞，使它能夠從環(huán)境中學(xué)習(xí)，識(shí)別不同的模式，通俗一點(diǎn)來(lái)說(shuō)就是模仿人類(lèi)的思維模式進(jìn)行決策。

一個(gè)基本神經(jīng)網(wǎng)絡(luò)包含數(shù)百萬(wàn)個(gè)被稱(chēng)為單元的人工神經(jīng)元。這些單元分層排列，每一層都互相連接。

單元?jiǎng)澐譃槿缦聨撞糠郑?/p>

輸入單元——用于接受外部環(huán)境的信息。

隱藏單元——最終輸入到輸出單元。每個(gè)隱藏單元都是其輸入的壓縮線性函數(shù)。

輸出單元——這些信號(hào)表示網(wǎng)絡(luò)應(yīng)如何響應(yīng)最近獲取的信息。

大多數(shù)神經(jīng)網(wǎng)絡(luò)都是互相連接的，這意味著每個(gè)隱藏單元和每個(gè)輸出單元都連接到層另一邊的每個(gè)單元上。每個(gè)單元之間的連接稱(chēng)為“重量”。重量可以是正的，也可以是負(fù)的，這取決于它對(duì)另一單元的影響程度。較高的權(quán)重對(duì)互連單元具有更高的權(quán)限。

當(dāng)神經(jīng)網(wǎng)絡(luò)被訓(xùn)練時(shí)，或者在訓(xùn)練之后剛開(kāi)始運(yùn)行時(shí)，使用不同的輸入單元將不同的信息模式饋送到網(wǎng)絡(luò)中。這些信息將觸發(fā)隱藏組的層，然后到達(dá)輸出單元。這被稱(chēng)為前饋網(wǎng)絡(luò)，是常用的設(shè)計(jì)之一。

當(dāng)您使用訓(xùn)練模型對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行了充分訓(xùn)練后，它會(huì)達(dá)到一個(gè)階段，在該階段會(huì)呈現(xiàn)一組全新的輸入，這些輸入在訓(xùn)練階段沒(méi)有遇到，且它可以預(yù)測(cè)出令人滿(mǎn)意的輸出。

以下是當(dāng)今神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的一些重要趨勢(shì)。

膠囊網(wǎng)絡(luò)（Capsule Networks）

膠囊網(wǎng)絡(luò)是深度神經(jīng)網(wǎng)絡(luò)的一種新興形式。它模仿人類(lèi)大腦的方式處理信息。這意味著膠囊網(wǎng)絡(luò)可以維持層次關(guān)系。

這與卷積神經(jīng)網(wǎng)絡(luò)形成對(duì)比。盡管卷積神經(jīng)網(wǎng)絡(luò)是迄今為止使用最廣泛的神經(jīng)網(wǎng)絡(luò)之一，但它們沒(méi)有考慮簡(jiǎn)單及復(fù)雜對(duì)象之間存在的關(guān)鍵空間層次結(jié)構(gòu)，這導(dǎo)致了高錯(cuò)誤率。

在進(jìn)行簡(jiǎn)單的識(shí)別任務(wù)時(shí)，膠囊網(wǎng)絡(luò)能夠降低錯(cuò)誤率，實(shí)現(xiàn)了更高的準(zhǔn)確度，同時(shí)它們也不需要大量的培訓(xùn)模型數(shù)據(jù)。

卷積神經(jīng)網(wǎng)絡(luò)（CNN）

卷積神經(jīng)網(wǎng)絡(luò)已存在很多年，是一種前饋神經(jīng)網(wǎng)絡(luò)。它啟發(fā)于生物的發(fā)展過(guò)程，特別是人類(lèi)大腦對(duì)眼睛里接收到的信號(hào)的理解過(guò)程。目前，現(xiàn)有技術(shù)的視覺(jué)識(shí)別系統(tǒng)使用CNN算法來(lái)執(zhí)行圖像分類(lèi)，定位和對(duì)象檢測(cè)。

隨著社會(huì)發(fā)展，人們對(duì)卷積神經(jīng)網(wǎng)絡(luò)的興趣也發(fā)生了轉(zhuǎn)移，目前它被廣泛應(yīng)用于智能監(jiān)控系統(tǒng)、社交網(wǎng)絡(luò)圖片標(biāo)記和圖像分類(lèi)、機(jī)器人、無(wú)人機(jī)和自動(dòng)駕駛汽車(chē)。谷歌，亞馬遜，F(xiàn)acebook等數(shù)據(jù)科學(xué)家使用它來(lái)進(jìn)行各種圖像過(guò)濾和分類(lèi)。

與卷積神經(jīng)網(wǎng)絡(luò)密切相關(guān)的領(lǐng)域是計(jì)算機(jī)視覺(jué)的深度學(xué)習(xí)，兩個(gè)常見(jiàn)的應(yīng)用：條形碼掃描儀、面目識(shí)別。為了深入學(xué)習(xí)計(jì)算機(jī)視覺(jué)，市場(chǎng)上也相繼出現(xiàn)了大量的平臺(tái)，例如Google的Vision API，Allegro.ai，Missinglink.ai等。

深度強(qiáng)化學(xué)習(xí)（DRL）

深度強(qiáng)化學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)的一種形式，深度強(qiáng)化學(xué)習(xí)將深度學(xué)習(xí)的感知能力和強(qiáng)化學(xué)習(xí)的決策能力相結(jié)合，可以直接根據(jù)輸入的圖像進(jìn)行控制，是一種更接近人類(lèi)思維方式的人工智能方法。一個(gè)著名的成功應(yīng)用案例就是AlphaGo圍棋機(jī)器人，AlphaGo是第一個(gè)擊敗人類(lèi)職業(yè)圍棋選手、第一個(gè)戰(zhàn)勝?lài)迨澜绻谲姷娜斯ぶ悄軝C(jī)器人。

DRL是開(kāi)發(fā)業(yè)務(wù)應(yīng)用程序中的通用技術(shù)之一。對(duì)于訓(xùn)練模型，它需要更少的數(shù)據(jù)。且它的另一個(gè)優(yōu)點(diǎn)是可以通過(guò)模擬來(lái)訓(xùn)練它，這完全消除了對(duì)標(biāo)記數(shù)據(jù)的需求。

精益學(xué)習(xí)

到目前為止，機(jī)器學(xué)習(xí)，特別是深度學(xué)習(xí)最大的障礙就是用于訓(xùn)練神經(jīng)模型的大量標(biāo)記數(shù)據(jù)的可用性問(wèn)題。這兩種技術(shù)可以幫助解決這個(gè)問(wèn)題——合成新數(shù)據(jù)并將任務(wù)A和訓(xùn)練模型轉(zhuǎn)移到任務(wù)B。

像轉(zhuǎn)移學(xué)習(xí)（將學(xué)習(xí)從一個(gè)任務(wù)轉(zhuǎn)移到另一個(gè)任務(wù)）或單次學(xué)習(xí)（在只有一個(gè)或沒(méi)有相關(guān)示例的情況下進(jìn)行學(xué)習(xí)）這樣的技術(shù)使它們成為精益數(shù)據(jù)學(xué)習(xí)技術(shù)。同樣，當(dāng)使用插值或模擬來(lái)合成新數(shù)據(jù)時(shí)，它有助于獲得更多訓(xùn)練數(shù)據(jù)。ML專(zhuān)家通常將此稱(chēng)為增加現(xiàn)有數(shù)據(jù)來(lái)改進(jìn)學(xué)習(xí)的方法。

此類(lèi)技術(shù)可用于解決更廣泛的問(wèn)題，尤其是較少歷史數(shù)據(jù)的情況下。

監(jiān)督模型

監(jiān)督模型是一種學(xué)習(xí)形式，其從先前標(biāo)記的訓(xùn)練數(shù)據(jù)推斷出特定功能。它使用監(jiān)督學(xué)習(xí)算法，該算法包含一組帶有相應(yīng)標(biāo)記正確輸出的輸入。

標(biāo)記的輸入和標(biāo)記的輸出進(jìn)行比較。鑒于兩者之間的差異，您可以計(jì)算錯(cuò)誤值，然后使用算法來(lái)學(xué)習(xí)輸入和輸出之間的映射。

這里的最終目標(biāo)是近似映射函數(shù)，如果接收到新的輸入數(shù)據(jù)，則可以預(yù)測(cè)準(zhǔn)確的輸出數(shù)據(jù)。類(lèi)似于教師監(jiān)督學(xué)習(xí)過(guò)程，當(dāng)算法達(dá)到令人滿(mǎn)意的性能或準(zhǔn)確度時(shí)，學(xué)習(xí)過(guò)程停止。

具有內(nèi)存模型的網(wǎng)絡(luò)

人類(lèi)和機(jī)器的一個(gè)重要的區(qū)別就是謹(jǐn)慎工作和思考的能力。毫無(wú)疑問(wèn)，計(jì)算機(jī)可以預(yù)先編程，以極高的精度完成特定的任務(wù)。但是，如果您將計(jì)算機(jī)放于不同的環(huán)境中工作，相應(yīng)的問(wèn)題就會(huì)出現(xiàn)。

想要提升機(jī)器對(duì)環(huán)境的適應(yīng)能力，神經(jīng)網(wǎng)絡(luò)必須能夠在不遺忘的情況下連續(xù)學(xué)習(xí)任務(wù)。神經(jīng)網(wǎng)絡(luò)必須能夠利用許多不同的強(qiáng)大架構(gòu)來(lái)克服災(zāi)難性遺忘。包括：

長(zhǎng)期內(nèi)存網(wǎng)絡(luò)：可以處理和預(yù)測(cè)時(shí)間序列

彈性權(quán)重合并算法，可以根據(jù)先前完成的任務(wù)定義的優(yōu)先級(jí)減慢學(xué)習(xí)速度

不受災(zāi)難性遺忘影響的漸進(jìn)式神經(jīng)網(wǎng)絡(luò)能夠從已經(jīng)學(xué)過(guò)的網(wǎng)絡(luò)中提取有用的特征，以用于新的任務(wù)。

混合學(xué)習(xí)模型

各種類(lèi)型的深度神經(jīng)網(wǎng)絡(luò)，包括GAN和DRL，在涉及其性能和不同類(lèi)型數(shù)據(jù)的廣泛應(yīng)用方面已表現(xiàn)出很不錯(cuò)的發(fā)展前景。也就是說(shuō)，深度學(xué)習(xí)模型無(wú)法以貝葉斯或概率方法的方式對(duì)不確定性進(jìn)行建模。

混合學(xué)習(xí)模型可以將這兩種方法結(jié)合并利用每種方法的強(qiáng)度。這種混合模型的一些示例包括貝葉斯GAN和貝葉斯條件GAN。

混合學(xué)習(xí)模型可對(duì)解決業(yè)務(wù)問(wèn)題的領(lǐng)域進(jìn)行擴(kuò)展，包括不確定性的深度學(xué)習(xí)。這將提高性能和模型的可解釋性，獲得更廣泛的應(yīng)用。