本文檔的主要內(nèi)容詳細介紹的是邱錫鵬版神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)電子書免費下載。

　　近年來，以機器學(xué)習(xí)、知識圖譜為代表的人工智能技術(shù)逐漸變得普及。從車牌識別、人臉識別、語音識別、智能問答、推薦系統(tǒng)到自動駕駛，人們在日常生活中都可能有意無意地使用到了人工智能技術(shù)。這些技術(shù)的背后都離不開人工智能領(lǐng)域研究者們的長期努力。特別是最近這幾年，得益于數(shù)據(jù)的增多、計算能力的增強、學(xué)習(xí)算法的成熟以及應(yīng)用場景的豐富，越來越多的人開始關(guān)注這一個 “嶄新”的研究領(lǐng)域：深度學(xué)習(xí)。深度學(xué)習(xí)以神經(jīng)網(wǎng)絡(luò)為主要模型，一開始用來解決機器學(xué)習(xí)中的表示學(xué)習(xí)問題。但是由于其強大的能力，深度學(xué)習(xí)越來越多地用來解決一些通用人工智能問題，比如推理、決策等。目前，深度學(xué)習(xí)技術(shù)在學(xué)術(shù)界和工業(yè)界取得了廣泛的成功，受到高度重視，并掀起新一輪的人工智能熱潮。然而，我們也應(yīng)充分意識到目前的以深度學(xué)習(xí)為核心的各種人工智能技術(shù)和“人類智能”還不能相提并論。深度學(xué)習(xí)需要大量的標(biāo)注數(shù)據(jù)，和人類的學(xué)習(xí)方式差異性很大。雖然深度學(xué)習(xí)取得了很大的成功，但是深度學(xué)習(xí)還不是一種可以解決一系列復(fù)雜問題的通用智能技術(shù)，而是解決單個問題的一系列技術(shù)。比如可以打敗人類的AlphaGo只能下圍棋，而不會一個簡單的算術(shù)運算。想要達到通用人工智能依然困難重重。本書的寫作目的是使得讀者能夠掌握神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)技術(shù)的基本原理，知其然還要知其所以然。全書共 15 章。第 1 章是緒論，介紹人工智能、機器學(xué)習(xí)、深度學(xué)習(xí)的概要，使讀者對相關(guān)知識進行全面的了解。第2、3章介紹了機器學(xué)習(xí)的基礎(chǔ)知識。第4、5、6章分別講述三種主要的神經(jīng)網(wǎng)絡(luò)模型：前饋神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)。第7章介紹神經(jīng)網(wǎng)絡(luò)的優(yōu)化與正則化方法。第8章介紹神經(jīng)網(wǎng)絡(luò)中的注意力機制和外部記憶。第9章簡要介紹了一些無監(jiān)督學(xué)習(xí)方法。第10章中介紹一些和模型獨立的機器學(xué)習(xí)方法：集成學(xué)習(xí)、協(xié)同學(xué)習(xí)、自學(xué)習(xí)、多任務(wù)學(xué)習(xí)、遷移學(xué)習(xí)、終身學(xué)習(xí)、小樣本學(xué)習(xí)、元學(xué)習(xí)等。這些都是目前深度學(xué)習(xí)的難點和熱點問題。第11章介紹了概率圖模型的基本概念，為后面的章節(jié)進行鋪墊。第12章介紹兩種早期的深度學(xué)習(xí)模型：玻爾茲曼機和深度信念網(wǎng)絡(luò)。第13章介紹最近兩年發(fā)展十分迅速的深度生成模型：變分自編碼器和對抗生成網(wǎng)絡(luò)。第14章介紹了深度強化學(xué)習(xí)的知識。第15章介紹了應(yīng)用十分廣泛的序列生成模型。 2015年復(fù)旦大學(xué)計算機學(xué)院開設(shè)了《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》課程。講好深度學(xué)習(xí)并不是一件容易的事，當(dāng)時還沒有關(guān)于深度學(xué)習(xí)的系統(tǒng)介紹，并且課程涉及知識點非常多并且比較雜亂，和實踐結(jié)合也十分緊密。作為任課教師，我嘗試梳理了深度學(xué)習(xí)的知識體系，并寫了一本講義放在網(wǎng)絡(luò)上。雖然現(xiàn)在看起來當(dāng)時對深度學(xué)習(xí)的理解仍然十分粗淺，且講義存在很多錯誤，但依然受到了很多熱心網(wǎng)友的反饋和鼓勵。2016年初，華章公司的姚蕾編輯多次拜訪并希望能將這個講義整理成書。一方面被姚蕾編輯的誠意打動，另一方面也確實感到應(yīng)該有一本面向在校學(xué)生和相關(guān)從業(yè)人員的關(guān)于深度學(xué)習(xí)的專門書籍，最終有了正式出版的意愿。但我依然低估了寫書的難度，一方面是深度學(xué)習(xí)的發(fā)展十分迅速，而自己關(guān)于深度學(xué)習(xí)的認知也不斷變化，導(dǎo)致已寫好的內(nèi)容經(jīng)常需要修改，另一方面是平時的科研工作十分繁忙，很難抽出大段的時間來靜心寫作，因此斷斷續(xù)續(xù)的寫作一直拖延至今。我自己理想中著書立說的境界是自己在某一個領(lǐng)域有自己的理論體系，將各式各樣的方法都統(tǒng)一到自己的體系下，并可以容納大多數(shù)技術(shù)，從新的角度來重新解釋這些技術(shù)。本書顯然還達不到這樣的水平，但希望能結(jié)合自身的經(jīng)驗，對神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的相關(guān)知識進行梳理、總結(jié)，通過寫書這一途徑，也使得自己更加能夠深入理解深度學(xué)習(xí)這一領(lǐng)域，并提高自己的理論水平。本書能夠完成，首先感謝我的導(dǎo)師吳立德教授，他對深度學(xué)習(xí)的獨到見解和深入淺出的講授，使得我對深度學(xué)習(xí)有了更深層次的認識，也感謝復(fù)旦大學(xué)計算機學(xué)院的黃萱菁教授和薛向陽教授的支持和幫助。本書在寫作時將書稿放在網(wǎng)絡(luò)上，也得到很多網(wǎng)友的幫助，特別感謝王利鋒、林同茂、張鈞瑞、李浩、胡可鑫、韋鵬輝、徐國海、侯宇蓬、任強、王少敬、肖耀等人指出了本書初稿的錯誤或提出了富有建設(shè)性的意見。此外，本書在寫作過程中，參考了互聯(lián)網(wǎng)上大量的優(yōu)秀資料，如維基百科、知乎、Quora等網(wǎng)站等。另外也特別感謝我的家人。本書的寫作占用了大量的業(yè)余時間，沒有家人的理解和支持，這本書不可能完成。最后，個人能力有限，書中難免有不當(dāng)和錯誤之處，還望讀者海涵和指正，不勝感激。