近來移動(dòng)通信和 5G 網(wǎng)絡(luò)等快速發(fā)展，它們的調(diào)控與配置因?yàn)槌錆M了多樣性和動(dòng)態(tài)變化而面臨非常多的挑戰(zhàn)。因此近來很多研究科學(xué)家開始利用機(jī)器學(xué)習(xí)及深度學(xué)習(xí)加強(qiáng)移動(dòng)和無線網(wǎng)絡(luò)的配置，并幫助應(yīng)對(duì)數(shù)據(jù)量和算法驅(qū)動(dòng)的應(yīng)用程序的增長(zhǎng)。本論文基本是首篇綜述深度學(xué)習(xí)及無線網(wǎng)絡(luò)交叉學(xué)科研究面貌的調(diào)研，讀者可以閱讀原論文全面了解該新興交叉學(xué)科。

互聯(lián)網(wǎng)連接的移動(dòng)設(shè)備正在滲透生活、工作和娛樂的各個(gè)方面。智能手機(jī)數(shù)量不斷增加以及不斷增多的應(yīng)用程序引發(fā)了移動(dòng)數(shù)據(jù)流量的激增。事實(shí)上，最新行業(yè)預(yù)測(cè)顯示，到 2021 年，全球 IP 年流量將達(dá)到 3.3 澤字節(jié) ( 1015 兆字節(jié))，同年，智能手機(jī)流量將超過 PC 流量 [1]。由于用戶偏好轉(zhuǎn)向無線連接，當(dāng)前移動(dòng)基礎(chǔ)設(shè)施面臨著巨大的容量需求。針對(duì)這一日益增長(zhǎng)的需求，有人建議采用靈活的資源供給方式 [ 2 ]，分布式解決移動(dòng)管理問題 [ 3 ]。然而，長(zhǎng)遠(yuǎn)來看，互聯(lián)網(wǎng)服務(wù)提供商 ( ISP ) 必須開發(fā)智能異構(gòu)架構(gòu)和工具，以催生第五代移動(dòng)系統(tǒng) ( 5G )，并逐步滿足終端用戶的迫切需求 [4], [5]。

移動(dòng)網(wǎng)絡(luò)架構(gòu)日益多樣化且復(fù)雜性不斷提高，監(jiān)控和管理眾多網(wǎng)絡(luò)元素的問題因而變得棘手。因此，廣大研究人員對(duì)多功能機(jī)器智能嵌入未來移動(dòng)網(wǎng)絡(luò)這一課題的興趣空前高漲 [6]，[7]。這種趨勢(shì)反映在機(jī)器學(xué)習(xí)（ML）解決方案中，從無線接入技術(shù)（RAT）選擇 [8] 到惡意軟件檢測(cè) [9]，以及支持機(jī)器學(xué)習(xí)實(shí)踐的網(wǎng)絡(luò)系統(tǒng)的開發(fā)。機(jī)器學(xué)習(xí)能夠從流量數(shù)據(jù)中系統(tǒng)地挖掘有價(jià)值的信息，并自動(dòng)發(fā)現(xiàn)其相關(guān)性，這類問題對(duì)于人類專家來說太過復(fù)雜 [12]。作為機(jī)器學(xué)習(xí)的重要部分，深度學(xué)習(xí)在計(jì)算機(jī)視覺 [13] 和自然語言處理（NLP）[14] 等領(lǐng)域取得了卓越的進(jìn)展。網(wǎng)絡(luò)研究人員也開始認(rèn)識(shí)到深度學(xué)習(xí)的重要性，并探索如何將深度學(xué)習(xí)應(yīng)用到移動(dòng)網(wǎng)絡(luò)領(lǐng)域 [15], [16]。

我們有充分理由在在 5G 移動(dòng)和無線網(wǎng)絡(luò)中嵌入深度學(xué)習(xí)，尤其在處理移動(dòng)環(huán)境產(chǎn)生的異構(gòu)數(shù)據(jù)。因?yàn)檫@些數(shù)據(jù)通常來源廣泛，格式各異，并且表現(xiàn)出復(fù)雜的相關(guān)性 [17]。傳統(tǒng)的機(jī)器學(xué)習(xí)工具需要繁瑣的特征工程才能根據(jù)這些數(shù)據(jù)做出準(zhǔn)確的推論和決策。深度學(xué)習(xí)消除了領(lǐng)域?qū)I(yè)知識(shí)的門檻，因?yàn)樗捎梅謱犹卣魈崛?，該技術(shù)可以有效地提取信息并從數(shù)據(jù)中獲取越來越抽象的相關(guān)性，同時(shí)最大限度地減少數(shù)據(jù)預(yù)處理工作量。基于圖形處理單元（GPU）的并行計(jì)算進(jìn)一步使深度學(xué)習(xí)能夠在毫秒內(nèi)進(jìn)行推理。這有利于分析網(wǎng)絡(luò)，提高管理準(zhǔn)確度并克服傳統(tǒng)數(shù)學(xué)技術(shù)（例如凸優(yōu)化、博弈論、元啟發(fā)式）的運(yùn)行時(shí)間限制。

盡管移動(dòng)網(wǎng)絡(luò)領(lǐng)域的深度學(xué)習(xí)炙手可熱，但現(xiàn)有的成果分散在不同的研究領(lǐng)域，缺乏全面而簡(jiǎn)明的研究。本文通過介紹這兩個(gè)領(lǐng)域交叉研究的最新調(diào)查，填補(bǔ)了深度學(xué)習(xí)與移動(dòng)、無線網(wǎng)絡(luò)之間的鴻溝。除了回顧相關(guān)度最高的文獻(xiàn)之外，本文還討論了各種深度學(xué)習(xí)架構(gòu)的優(yōu)缺點(diǎn)，并提出深度學(xué)習(xí)模型的選擇策略，以解決移動(dòng)網(wǎng)絡(luò)問題。此外，本文還進(jìn)一步研究了針對(duì)個(gè)人移動(dòng)網(wǎng)絡(luò)任務(wù)量身定制深度學(xué)習(xí)的方法，以在復(fù)雜環(huán)境下實(shí)現(xiàn)最佳性能的方法。最后，本文指出未來值得深入研究的方向和尚未解決的重要問題，而最終目標(biāo)是為用深度學(xué)習(xí)來解決各領(lǐng)域問題的網(wǎng)絡(luò)研究人員和從業(yè)人員提供明確的指導(dǎo)。

本文結(jié)構(gòu)：如圖 1 所示，本文采用自上而下的方式組織文章。首先，本文將討論圍繞深度學(xué)習(xí)、未來移動(dòng)網(wǎng)絡(luò)和使用深度學(xué)習(xí)構(gòu)建的網(wǎng)絡(luò)應(yīng)用程序進(jìn)行的高層次概述工作，這些工作有助于定義本文的范圍和貢獻(xiàn) (第 2 節(jié))。鑒于深度學(xué)習(xí)技術(shù)是移動(dòng)網(wǎng)絡(luò)社區(qū)中的新課題，第 3 節(jié)給出了深度學(xué)習(xí)的基本背景，突出了解決移動(dòng)網(wǎng)絡(luò)問題的直接優(yōu)勢(shì)。許多因素能夠促進(jìn)移動(dòng)網(wǎng)絡(luò)應(yīng)用領(lǐng)域的深度學(xué)習(xí)實(shí)現(xiàn) (包括專用的深度學(xué)習(xí)庫(kù)、優(yōu)化算法等)。第 4 節(jié)討論了這些促進(jìn)因素，幫助移動(dòng)網(wǎng)絡(luò)研究人員和工程師選擇合適的深入學(xué)習(xí)軟硬件平臺(tái)。

圖 1：本文圖解示意圖

第 5 節(jié)介紹和比較了最先進(jìn)的深度學(xué)習(xí)模型，并提供了網(wǎng)絡(luò)問題解決方案。第 6 節(jié)回顧了近期深度學(xué)習(xí)領(lǐng)域中移動(dòng)和無線網(wǎng)絡(luò)應(yīng)用，本文將這些應(yīng)用分為不同的場(chǎng)景，從移動(dòng)流量分析到安全以及新興應(yīng)用。第 7 節(jié)討論了如何針對(duì)移動(dòng)網(wǎng)絡(luò)問題定制深度學(xué)習(xí)模型，并強(qiáng)調(diào)網(wǎng)絡(luò)研究中，深度學(xué)習(xí)應(yīng)用相關(guān)的開放性問題（第 8 節(jié)）。本文結(jié)尾部分簡(jiǎn)要討論移動(dòng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)之間的相互作用（第 9 節(jié)）。

論文：Deep Learning in Mobile and Wireless Networking: A Survey

摘要：移動(dòng)設(shè)備以及移動(dòng)應(yīng)用和服務(wù)的日益普及對(duì)移動(dòng)和無線網(wǎng)絡(luò)基礎(chǔ)設(shè)施的需求達(dá)到前所未有的高度。即將推出的 5G 系統(tǒng)正在發(fā)展，以應(yīng)對(duì)移動(dòng)通信量的爆炸式增長(zhǎng)，并靈活管理網(wǎng)絡(luò)資源，從而最大限度地提高用戶體驗(yàn)及細(xì)粒度抽取實(shí)時(shí)分析的能力。該任務(wù)頗具挑戰(zhàn)性，因?yàn)橐苿?dòng)環(huán)境日趨復(fù)雜、多樣化并不斷發(fā)展變化。一個(gè)潛在的解決方案是采用先進(jìn)的機(jī)器學(xué)習(xí)技術(shù)來幫助應(yīng)對(duì)數(shù)據(jù)量和算法驅(qū)動(dòng)的應(yīng)用程序的增長(zhǎng)。深度學(xué)習(xí)的最新成果是有效解決這一問題的基礎(chǔ)。

本文通過對(duì)深度學(xué)習(xí)與移動(dòng)、無線網(wǎng)絡(luò)研究的交叉領(lǐng)域開展綜合性研究，填補(bǔ)了二者之間的鴻溝。首先，本文簡(jiǎn)要介紹了深度學(xué)習(xí)技術(shù)的基本背景和最新進(jìn)展，以及在網(wǎng)絡(luò)方面的潛在應(yīng)用。然后討論了幾種有助于在移動(dòng)系統(tǒng)上高效部署深度學(xué)習(xí)的技術(shù)和平臺(tái)。隨后，本文對(duì)基于深度學(xué)習(xí)的移動(dòng)和無線網(wǎng)絡(luò)研究進(jìn)行了百科全書式的回顧，并按不同領(lǐng)域進(jìn)行了分類。此外，本文還基于自己的經(jīng)驗(yàn)討論了如何根據(jù)移動(dòng)環(huán)境定制深度學(xué)習(xí)。最后明確了當(dāng)前的挑戰(zhàn)和未來的研究方向。

近來深度學(xué)習(xí)有很多先進(jìn)的綜述性調(diào)查或研究，它們都令深度學(xué)習(xí)尤其是移動(dòng)端網(wǎng)絡(luò)架構(gòu)在終端設(shè)備上有很大的提升。一般來說，深度學(xué)習(xí)的這些進(jìn)步主要體現(xiàn)在先進(jìn)的并行計(jì)算、分布式機(jī)器學(xué)習(xí)系統(tǒng)、便捷的深度學(xué)習(xí)框架和高效的最優(yōu)化方法等。我們?cè)谙卤?3 展示了這些進(jìn)步，并在論文中詳細(xì)討論它們。

表 2：與深度學(xué)習(xí)和移動(dòng)網(wǎng)絡(luò)相關(guān)的現(xiàn)有調(diào)研、學(xué)術(shù)論文和專著匯總。符號(hào) D 表示該出版物所處的研究領(lǐng)域，?標(biāo)記不直接覆蓋該領(lǐng)域的文章，但讀者可以從中檢索一些相關(guān)的見解，與深度學(xué)習(xí)和移動(dòng)網(wǎng)絡(luò)相關(guān)的出版物都使用陰影表示。

3. 深度學(xué)習(xí)基礎(chǔ)

我們首先將簡(jiǎn)述深度學(xué)習(xí)，并重點(diǎn)介紹該領(lǐng)域的核心原則以及成功的關(guān)鍵優(yōu)勢(shì)。深度學(xué)習(xí)實(shí)際上是機(jī)器學(xué)習(xí)的一個(gè)分支，它通過多層非線性處理單元從原始數(shù)據(jù)中分層抽取特征與知識(shí)，因而能針對(duì)一些目標(biāo)執(zhí)行高效的預(yù)測(cè)或決策。相比傳統(tǒng)機(jī)器學(xué)習(xí)，深度學(xué)習(xí)的主要優(yōu)勢(shì)是在于自動(dòng)抽取特征，因而避免了昂貴的人工特征預(yù)處理過程。此外，我們?cè)谙聢D 2 中展示了深度學(xué)習(xí)、機(jī)器學(xué)習(xí)以及人工智能之間的關(guān)系。

圖 2：深度學(xué)習(xí)、機(jī)器學(xué)習(xí)和 AI 之間關(guān)系的維恩圖。本調(diào)研重點(diǎn)關(guān)注移動(dòng)和無線網(wǎng)絡(luò)中的深度學(xué)習(xí)應(yīng)用。

對(duì)于一般的深度學(xué)習(xí)來說，它們可以抽象為一系列相互嵌套的復(fù)合函數(shù)，且這種復(fù)合函數(shù)在直觀上可以表示為一系列疊加的層級(jí)。如下展示了一般深度神經(jīng)網(wǎng)絡(luò)架構(gòu)的訓(xùn)練和推斷過程，其中正向傳播即神經(jīng)網(wǎng)絡(luò)的推斷過程。因?yàn)樗鼈兛梢猿橄鬄橐粋€(gè)復(fù)合函數(shù)，那么根據(jù)復(fù)合函數(shù)的鏈?zhǔn)角髮?dǎo)法則，我們可以輕松地使用反向傳播和最優(yōu)化方法訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

圖 3：4 層卷積網(wǎng)絡(luò)的學(xué)習(xí)和推斷過程，其中 w(·) 代表每一個(gè)隱藏層的權(quán)重、σ(·) 代表激活函數(shù)、λ 為學(xué)習(xí)率、?(·) 表示了卷積運(yùn)算，而 L(w) 為需要優(yōu)化的損失函數(shù)。

4. 深度學(xué)習(xí)在移動(dòng)網(wǎng)絡(luò)中的應(yīng)用

5G 系統(tǒng)是試圖提升信息吞吐量并獲得低延遲通信服務(wù)的協(xié)議，它們能很大程度上提升用戶的 QoE [4]。但在 5G 系統(tǒng)上構(gòu)建深度學(xué)習(xí)智能系統(tǒng)是非常復(fù)雜和昂貴的。幸運(yùn)的是，目前一些進(jìn)步令深度學(xué)習(xí)在移動(dòng)端的應(yīng)用變成了可能：（i）高級(jí)并行計(jì)算，（ii）分布式機(jī)器學(xué)習(xí)系統(tǒng)，（iii）優(yōu)秀的深度學(xué)習(xí)框架，（iv）快速優(yōu)化算法和（v）霧計(jì)算（fog computing）。我們?cè)谙卤?3 中總結(jié)了這些優(yōu)勢(shì)。

表 3：在移動(dòng)系統(tǒng)中嵌入深度學(xué)習(xí)的工具和技術(shù)匯總

因?yàn)椴⑿杏?jì)算和分布式系統(tǒng)的進(jìn)步，目前深度學(xué)習(xí)出現(xiàn)了很多適用于移動(dòng)端的框架和平臺(tái)，它們都尋求在移動(dòng)端上精簡(jiǎn)和優(yōu)化深度模型。我們?cè)诒?4 中對(duì)比了這些平臺(tái)。

表 4：深度學(xué)習(xí)移動(dòng)平臺(tái)對(duì)比

5. 深度學(xué)習(xí)：頂尖性能

若我們重新回顧圖 2，機(jī)器學(xué)習(xí)方法可以很自然地分為監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)，而深度學(xué)習(xí)在這些領(lǐng)域中都實(shí)現(xiàn)了當(dāng)前最頂尖的性能。在這一章節(jié)中，我們將介紹深度學(xué)習(xí)的關(guān)鍵原則，并討論它們?cè)诮鉀Q移動(dòng)網(wǎng)絡(luò)問題上的潛力。下圖 4 和表 5 都展示了當(dāng)前基本的深度神經(jīng)網(wǎng)絡(luò)架構(gòu)。

圖 4：MLP、RBM、AE、CNN、RNN、GAN 和 DRL 的基本結(jié)構(gòu)和操作原理。

如上所示為基本的深度網(wǎng)絡(luò)架構(gòu)，當(dāng)然最基礎(chǔ)的是有感知機(jī)發(fā)展而來的多層感知機(jī)或全連接網(wǎng)絡(luò)，該網(wǎng)絡(luò)前后兩層的所有神經(jīng)元都相互有連接。而后卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)都基于一些先驗(yàn)特征而只有局部連接，這樣不僅減少了權(quán)重?cái)?shù)量，同時(shí)還加強(qiáng)了模型的性能。

以下展示了各神經(jīng)網(wǎng)絡(luò)架構(gòu)的屬性、優(yōu)勢(shì)和應(yīng)用于移動(dòng)網(wǎng)絡(luò)的潛力等：

表 5：不同深度學(xué)習(xí)架構(gòu)匯總。陰影部分是 GAN 和 DRL，因?yàn)樗鼈兪墙⒃谄渌Ｐ椭系摹?/p>

6. 深度學(xué)習(xí)驅(qū)動(dòng)的移動(dòng)和無線網(wǎng)絡(luò)

深度學(xué)習(xí)在移動(dòng)網(wǎng)絡(luò)領(lǐng)域應(yīng)用廣泛。本文在不同的網(wǎng)絡(luò)管區(qū)中組織和分類深度學(xué)習(xí)應(yīng)用，并描述其貢獻(xiàn)。接下來，本文將介紹所有領(lǐng)域的重要出版物，并對(duì)比其設(shè)計(jì)和原則。

無線傳感器網(wǎng)絡(luò)（WSN）由一組分布在不同地理區(qū)域的獨(dú)特或異構(gòu)傳感器組成。它們通過無線通道協(xié)同監(jiān)測(cè)物理或環(huán)境狀態(tài)（如溫度、壓力、運(yùn)動(dòng)和污染），并將已收集數(shù)據(jù)傳輸?shù)?a target="_blank">中心服務(wù)器。

圖 5：蜂窩、WiFi 和無線傳感器網(wǎng)絡(luò)中的移動(dòng)數(shù)據(jù)收集過程示意圖。BSC：基站控制器；RNC：無線電網(wǎng)絡(luò)控制器。

不同無線網(wǎng)絡(luò)中收集的數(shù)據(jù)是不一樣的，如下展示了由不同基礎(chǔ)設(shè)施收集的不同數(shù)據(jù)及及其類型。

表 6：移動(dòng)大數(shù)據(jù)的分類。

后面表 7、圖 6 和表 8 展示了上述不同數(shù)據(jù)類型的應(yīng)用、部署與研究工作等。

表 7：網(wǎng)絡(luò)級(jí)移動(dòng)數(shù)據(jù)分析工作總結(jié)。

圖 6：應(yīng)用級(jí)移動(dòng)數(shù)據(jù)分析的兩種部署方法示意圖，即基于云（左）的方法和基于邊緣（右）的方法?；谠频姆椒ㄔ谠贫送茢嗖⒔Y(jié)果發(fā)送給邊緣設(shè)備。相反，基于邊緣的方法則是在邊緣設(shè)備上部署可進(jìn)行本地推理的模型。

表 8：應(yīng)用級(jí)移動(dòng)數(shù)據(jù)分析工作的總結(jié)。

表 9：深度學(xué)習(xí)驅(qū)動(dòng)的移動(dòng)分析和室內(nèi)定位的研究工作總結(jié)。

表 10：深度學(xué)習(xí)驅(qū)動(dòng)的 WSNs 研究工作總結(jié)。

無線網(wǎng)絡(luò)其實(shí)還能使用強(qiáng)化學(xué)習(xí)和模仿學(xué)習(xí)等先進(jìn)的技術(shù)控制移動(dòng)網(wǎng)絡(luò)：

圖 7：應(yīng)用于移動(dòng)和無線網(wǎng)絡(luò)管控的三種管控方法的原理，即強(qiáng)化學(xué)習(xí)（上）、模仿學(xué)習(xí)（中）和分析管控（下）。

表 11：深度學(xué)習(xí)驅(qū)動(dòng)的網(wǎng)絡(luò)管控研究工作總結(jié)。

表 12：深度學(xué)習(xí)驅(qū)動(dòng)的網(wǎng)絡(luò)安全研究工作總結(jié)。

7. 把深度學(xué)習(xí)適用于移動(dòng)網(wǎng)絡(luò)

盡管深度學(xué)習(xí)在諸多移動(dòng)網(wǎng)絡(luò)領(lǐng)域表現(xiàn)不凡，但免費(fèi)午餐定理（NFL）表明，一個(gè)模型不可能一勞永逸地解決所有問題 [356]。這意味著對(duì)于任何特定的移動(dòng)和無線網(wǎng)絡(luò)問題，我們可能需要采用不同的深度學(xué)習(xí)架構(gòu)以取得更好表現(xiàn)。本節(jié)將重點(diǎn)討論如何從三個(gè)角度為移動(dòng)網(wǎng)絡(luò)應(yīng)用定制深度學(xué)習(xí)，即移動(dòng)設(shè)備和系統(tǒng)、分布式數(shù)據(jù)中心以及不斷變化的移動(dòng)網(wǎng)絡(luò)環(huán)境。

表 13：深度學(xué)習(xí)驅(qū)動(dòng)的新興移動(dòng)網(wǎng)絡(luò)應(yīng)用總結(jié)。

表 14：移動(dòng)設(shè)備和系統(tǒng)的深度學(xué)習(xí)研究工作總結(jié)。

圖 8：模型并行（左）和訓(xùn)練并行（右）的基本原理。

圖 9：深度終身學(xué)習(xí)（左）和深度遷移學(xué)習(xí)（右）的基本原理。終身學(xué)習(xí)保留已學(xué)的知識(shí)，而遷移學(xué)習(xí)利用源領(lǐng)域標(biāo)記數(shù)據(jù)改善沒有知識(shí)保留的目標(biāo)領(lǐng)域?qū)W習(xí)。

8. 未來研究展望

盡管深度學(xué)習(xí)在移動(dòng)網(wǎng)絡(luò)領(lǐng)域取得的成果日益顯著，但仍有若干個(gè)關(guān)鍵的開放性研究問題存在，值得去關(guān)注。接下來，本文將討論這些挑戰(zhàn)并界定這些可通過深度學(xué)習(xí)解決的重要移動(dòng)網(wǎng)絡(luò)問題，進(jìn)而為未來的移動(dòng)網(wǎng)絡(luò)研究提供見解。

圖 10：意大利米蘭 3D 移動(dòng)流量表面（左）和 2D 投影（右）的實(shí)例。圖像 [163] 通過 [402] 中的數(shù)據(jù)繪制而成。

圖 11：移動(dòng)流量數(shù)據(jù)（左）和其他數(shù)據(jù)（右）之間的類比。

9. 結(jié)論

深度學(xué)習(xí)在移動(dòng)和無線網(wǎng)絡(luò)領(lǐng)域扮演著日益重要的角色。本文給出了一份有關(guān)這兩個(gè)不同領(lǐng)域之間交叉點(diǎn)的最新的全面工作調(diào)查，并總結(jié)了各種深度學(xué)習(xí)模型的基本概念和高級(jí)原理，然后通過回顧不同應(yīng)用場(chǎng)景下的工作來關(guān)聯(lián)深度學(xué)習(xí)和移動(dòng)網(wǎng)絡(luò)學(xué)科。本文還討論了如何針對(duì)一般移動(dòng)網(wǎng)絡(luò)應(yīng)用定制深度學(xué)習(xí)模型，這是以前調(diào)查完全忽視的一個(gè)方面。最后，本文得出了可能會(huì)帶來有價(jià)值的未來研究結(jié)果的若干個(gè)開放的研究問題和有希望的方向，并希望這篇文章能成為研究人員和從業(yè)人員將機(jī)器智能應(yīng)用于移動(dòng)網(wǎng)絡(luò)環(huán)境中復(fù)雜問題的有趣而明確的指南。