對(duì)于很多入坑機(jī)器學(xué)習(xí)的同學(xué)來(lái)說(shuō)，數(shù)學(xué)可能是比較艱辛的部分。本文作者介紹了構(gòu)建機(jī)器學(xué)習(xí)產(chǎn)品、或進(jìn)行機(jī)器學(xué)習(xí)研究所需的數(shù)學(xué)背景，以及來(lái)自機(jī)器學(xué)習(xí)工程師、研究人員和教師的寶貴經(jīng)驗(yàn)和建議，并提供了許多課程和書(shū)籍資源。

目前我們還不完全清楚開(kāi)始學(xué)習(xí)機(jī)器學(xué)習(xí)需要怎樣的數(shù)學(xué)水平，對(duì)于那些沒(méi)有在學(xué)校學(xué)習(xí)過(guò)數(shù)學(xué)或統(tǒng)計(jì)學(xué)的人尤其如此。

這篇文章的目標(biāo)是提出打造一款機(jī)器學(xué)習(xí)產(chǎn)品、或進(jìn)行有關(guān)機(jī)器學(xué)習(xí)的學(xué)術(shù)研究所需要的數(shù)學(xué)背景。這些建議來(lái)自與機(jī)器學(xué)習(xí)工程師、研究人員和教育工作者的對(duì)話(huà)，以及筆者在機(jī)器學(xué)習(xí)研究和行業(yè)中的經(jīng)驗(yàn)。

為了構(gòu)建所需數(shù)學(xué)水平的先決條件，本文首先提出了不同的思維模式和策略，以便讀者在傳統(tǒng)課堂之外接觸數(shù)學(xué)教育。然后，文章概述了不同類(lèi)型的機(jī)器學(xué)習(xí)項(xiàng)目所需的具體背景，因這些學(xué)科的范圍從高中水平的統(tǒng)計(jì)和微積分知識(shí)到概率圖模型（PGM）的最新發(fā)展。在這最后，我希望讀者能夠?qū)?shù)學(xué)學(xué)習(xí)產(chǎn)生感覺(jué)，你需要在你的機(jī)器學(xué)習(xí)項(xiàng)目中有效利用這些知識(shí)，無(wú)論是什么項(xiàng)目！

首先，我承認(rèn)對(duì)學(xué)習(xí)風(fēng)格/框架/資源的學(xué)習(xí)，學(xué)習(xí)者的個(gè)人需求和目標(biāo)可能是獨(dú)一無(wú)二的。 歡迎各位在HN上提出自己的意見(jiàn)！

關(guān)于數(shù)學(xué)焦慮癥的一些體會(huì)

事實(shí)證明，很多人，包括工程師在內(nèi)，都對(duì)數(shù)學(xué)有著畏懼情緒。首先，我想談?wù)勱P(guān)于“擅長(zhǎng)數(shù)學(xué)”的話(huà)題。

實(shí)際上，擅長(zhǎng)數(shù)學(xué)的人都會(huì)有很多實(shí)際運(yùn)用數(shù)學(xué)的實(shí)踐經(jīng)驗(yàn)。結(jié)果，他們會(huì)覺(jué)得在數(shù)學(xué)上陷入困境是習(xí)以為常的事情。最近的研究顯示，學(xué)習(xí)者的心態(tài)（而非先天能力），是一個(gè)人學(xué)習(xí)數(shù)學(xué)能力的主要預(yù)測(cè)指標(biāo)。

要清楚，要達(dá)到這種習(xí)以為常的良好狀態(tài)需要時(shí)間和精力，但這肯定不是人天生就有的能力。本文其余部分將幫助讀者確定所需的數(shù)學(xué)基礎(chǔ)水平，并概述應(yīng)如何建立這種水平的策略。

入門(mén)：數(shù)學(xué)和代碼

作為軟先決條件，我們需要讀者掌握一些線(xiàn)性代數(shù)/矩陣運(yùn)算的基本知識(shí)（以免在符號(hào)表示上感到困惑），并對(duì)概率論有初步了解。此外，我們還鼓勵(lì)您掌握基本的編程能力，以作為在給定語(yǔ)境下學(xué)習(xí)數(shù)學(xué)的工具。之后，您可以根據(jù)感興趣的項(xiàng)目類(lèi)型調(diào)整自己的關(guān)注焦點(diǎn)。

如何在校外學(xué)習(xí)數(shù)學(xué)

我相信學(xué)習(xí)數(shù)學(xué)的最佳方式是全身心學(xué)習(xí)（即作為學(xué)生）。如果脫離了這種全天學(xué)習(xí)環(huán)境，您可能就不會(huì)掌握學(xué)術(shù)課堂中的教學(xué)結(jié)構(gòu)，獲得來(lái)自同伴的（積極）壓力和可用的資源。

如果要在校外學(xué)習(xí)數(shù)學(xué)，我建議組織學(xué)習(xí)小組或午餐會(huì)、學(xué)習(xí)研討會(huì)，作為獲得學(xué)習(xí)動(dòng)力的重要資源。在研究實(shí)驗(yàn)室中，也可以組織讀書(shū)小組。在學(xué)習(xí)結(jié)構(gòu)方面，您的讀書(shū)小組可以瀏覽教科書(shū)的章節(jié)并定期舉行討論講座，開(kāi)辟渠道舉行Q&A問(wèn)答活動(dòng)等。

這里，文化在發(fā)揮著重要作用。這種“額外”的學(xué)習(xí)應(yīng)該是值得鼓勵(lì)的，以免在日復(fù)一日的繁雜事務(wù)中忘記所學(xué)的知識(shí)。事實(shí)上，盡管這種方式存在短期成本，但在構(gòu)建同伴驅(qū)動(dòng)的學(xué)習(xí)環(huán)境可以讓您的長(zhǎng)期工作效率更高。

數(shù)學(xué)和代碼

數(shù)學(xué)和代碼在機(jī)器學(xué)習(xí)工作流程中高度融合。代碼通常是用數(shù)學(xué)直覺(jué)直接構(gòu)建出來(lái)，代碼甚至和數(shù)學(xué)共享部分符號(hào)和語(yǔ)法。實(shí)際上，現(xiàn)代數(shù)據(jù)科學(xué)的框架（例如NumPy）使數(shù)學(xué)運(yùn)算（如矩陣/矢量積）轉(zhuǎn)換成的可讀代碼變得更加直觀和高效。

筆者鼓勵(lì)讀者將代碼作為鞏固學(xué)習(xí)的一種方式。數(shù)學(xué)和代碼都依賴(lài)于理解和表示方法的精確性。例如，實(shí)踐損失函數(shù)或優(yōu)化算法的手動(dòng)實(shí)現(xiàn)可以成為真正理解基礎(chǔ)概念的好方法。

這里讓我們舉一個(gè)通過(guò)代碼學(xué)習(xí)數(shù)學(xué)的具體例子：在神經(jīng)網(wǎng)絡(luò)中實(shí)現(xiàn)ReLU激活的反向傳播（沒(méi)錯(cuò)，通過(guò)Tensorflow / PyTorch就可以做到！具體見(jiàn)鏈接https://medium.com/@karpathy/yes-you-should-understand-backprop-e2f06eab496b）。反向傳播是一種依靠微積分鏈規(guī)則，高效計(jì)算梯度的技術(shù)。為了在這個(gè)設(shè)定下使用鏈規(guī)則，我們將upstream導(dǎo)數(shù)與ReLU的梯度相乘。

首先，我們對(duì)ReLU的激活進(jìn)行可視化處理，如圖：

為了計(jì)算梯度（直觀地說(shuō)，就是斜率），可以對(duì)一個(gè)分段函數(shù)進(jìn)行可視化，以指標(biāo)函數(shù)表示如下：

NumPy為我們提供了有用且直觀的語(yǔ)法，我們的激活函數(shù)（藍(lán)色曲線(xiàn)）可以在代碼中解釋?zhuān)渲衳是輸入，relu是輸出：

relu = np.maximum(x, 0)

然后是梯度（圖中紅色曲線(xiàn)），其中g(shù)rad表示upstream梯度：

grad[x < 0] = 0

在沒(méi)有首先自己推導(dǎo)出梯度的情況下，這行代碼的意義可能沒(méi)有那么顯而易見(jiàn)。在我們的代碼中，對(duì)于滿(mǎn)足條件的所有元素，會(huì)將upstream梯度（grad）中的所有值設(shè)為0，[h <0]。在數(shù)學(xué)上，這實(shí)際上相當(dāng)于對(duì)ReLU梯度的分段表示，當(dāng)將其與upstream梯度相乘時(shí)，它會(huì)將任何小于0的值歸零！

如上所見(jiàn)，通過(guò)我們對(duì)微積分的基本理解，可以清楚地對(duì)代碼進(jìn)行思考。神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的完成示例在這里：https://pytorch.org/tutorials/beginner/pytorch_with_examples.html

構(gòu)建機(jī)器學(xué)習(xí)產(chǎn)品所需的數(shù)學(xué)知識(shí)

在撰寫(xiě)本節(jié)內(nèi)容時(shí)，我咨詢(xún)了機(jī)器學(xué)習(xí)的工程師，確定如何最有效地利用數(shù)學(xué)對(duì)系統(tǒng)進(jìn)行除錯(cuò)。下面的問(wèn)題示例是工程師以數(shù)學(xué)視角給出的回復(fù)。如果你以前從沒(méi)見(jiàn)過(guò)也不要緊，筆者希望這一章節(jié)能夠?yàn)槟愀信d趣的專(zhuān)門(mén)問(wèn)題提供一些適當(dāng)?shù)谋尘啊?/p>

我應(yīng)該使用哪些聚類(lèi)方法來(lái)顯示高維客戶(hù)數(shù)據(jù)？

方法：PCA與tSNE

我應(yīng)該如何校準(zhǔn)“阻止”欺詐性用戶(hù)交易的閾值？

方法：概率校準(zhǔn)

如何正確描述衛(wèi)星數(shù)據(jù)在世界不同區(qū)域內(nèi)的偏差？（比如硅谷與阿拉斯加州）

方法：將研究問(wèn)題公開(kāi)。比如面向人口信息學(xué)的平等化？

通常，統(tǒng)計(jì)學(xué)工具和線(xiàn)性代數(shù)可以以某種方式應(yīng)用于其中的每一個(gè)問(wèn)題。但是，要獲得滿(mǎn)意的答案，通常需要針對(duì)特定領(lǐng)域內(nèi)的特定方法。在這種情況下，應(yīng)如何確定你需要學(xué)習(xí)哪些數(shù)學(xué)知識(shí)？

定義系統(tǒng)

現(xiàn)在我們能夠利用的資源是很豐富的（例如，用于數(shù)據(jù)分析的scikit-learn，用于深度學(xué)習(xí)的keras），這有助于讀者開(kāi)始編寫(xiě)代碼來(lái)為系統(tǒng)進(jìn)行建模。在利用這些資源時(shí)，可以嘗試回答以下有關(guān)問(wèn)題：

1. 系統(tǒng)的輸入/輸出是什么？

2. 應(yīng)該如何準(zhǔn)備數(shù)據(jù)，來(lái)適應(yīng)系統(tǒng)？

3. 如何構(gòu)建功能或策劃數(shù)據(jù)，幫助模型進(jìn)行概括？

4. 如何為提出的問(wèn)題定義合理的目標(biāo)？

你或許會(huì)吃一驚，對(duì)系統(tǒng)進(jìn)行定義可能很難！之后，管道建設(shè)所需的工程也是非常重要的。換句話(huà)說(shuō)，構(gòu)建機(jī)器學(xué)習(xí)產(chǎn)品需要大量繁重的工作，這些工作并不需要深入的數(shù)學(xué)背景。

更多資料：?Best Practices for ML Engineeringby Martin Zinkevich, Research Scientist at Google

按需學(xué)習(xí)數(shù)學(xué)

首先要考察機(jī)器學(xué)習(xí)的工作流程，您可能會(huì)發(fā)現(xiàn)在一些步驟上會(huì)被卡住，尤其是在調(diào)試時(shí)。當(dāng)你被困住時(shí)，你知道要查找什么問(wèn)題嗎？你的權(quán)重合理性如何？為什么你的模型不能與特定的損失定義相融合？衡量模型成功的正確方法是什么？這時(shí)，對(duì)數(shù)據(jù)進(jìn)行假設(shè)，以不同方式約束優(yōu)化或嘗試不同的算法可能會(huì)有所幫助。

通常，你會(huì)發(fā)現(xiàn)在建模/調(diào)試過(guò)程中存在數(shù)學(xué)上的直覺(jué)（比如如何選擇損失函數(shù)和評(píng)估指標(biāo)），這些直覺(jué)可能會(huì)有助于做出明智的工程決策。這些都是你學(xué)習(xí)的機(jī)會(huì)！

來(lái)自Fast.ai的Rachel Thomas是這種“按需學(xué)習(xí)”方法的支持者。在教育學(xué)生時(shí)，她發(fā)現(xiàn)對(duì)于深度學(xué)習(xí)的學(xué)生來(lái)說(shuō)，讓他們對(duì)這些材料感到興奮更為重要。在建立興趣之后，數(shù)學(xué)教育就變成按需查缺補(bǔ)漏了。

更多資料：

課程:Computational Linear Algebraby fast.ai

YouTube:3blue1brown: Essence ofLinear AlgebraandCalculus

教材:Linear Algebra Done Rightby Axler

教材:Elements of Statistical Learningby Tibshirani et al.

課程:Stanford’s CS229 (Machine Learning) Course Notes

機(jī)器學(xué)習(xí)研究所需的數(shù)學(xué)知識(shí)

筆者現(xiàn)在想要描述對(duì)于機(jī)器學(xué)習(xí)中以研究為導(dǎo)向的工作，哪些數(shù)學(xué)思維方式是有用的。關(guān)于機(jī)器學(xué)習(xí)研究的悲觀觀點(diǎn)體現(xiàn)在即插即用系統(tǒng)上，在這些系統(tǒng)中，模型會(huì)投入更多計(jì)算力，以擠壓出更高的性能。一些人群中，研究人員仍然對(duì)缺乏數(shù)學(xué)嚴(yán)謹(jǐn)性的經(jīng)驗(yàn)化方法（例如某些深度學(xué)習(xí)方法）表示懷疑。

未來(lái)研究體系可能建立在現(xiàn)有系統(tǒng)和假設(shè)的基礎(chǔ)上，而這些系統(tǒng)和假設(shè)并不會(huì)擴(kuò)大我們對(duì)該領(lǐng)域的基本理解，這是令人擔(dān)憂(yōu)的。研究人員需要提供原始的資源，構(gòu)建新的基礎(chǔ)架構(gòu)模塊，可用于獲取全新觀點(diǎn)和達(dá)到實(shí)際目標(biāo)的方法。比如可能需要重新思考用于圖像分類(lèi)的卷積神經(jīng)網(wǎng)絡(luò)等構(gòu)建模塊，正如“機(jī)器學(xué)習(xí)之父”Geoff Hinton在他最近的關(guān)于Capsule Networks的論文中所說(shuō)的那樣。（論文鏈接：https://arxiv.org/pdf/1710.09829v1.pdf）

下一步，我們需要提出基本問(wèn)題。這需要在數(shù)學(xué)上的“深度理解”，《深度學(xué)習(xí)》一書(shū)的作者邁克爾·尼爾森將其稱(chēng)為“有趣的探索”。這個(gè)過(guò)程涉及數(shù)千小時(shí)期間經(jīng)?！氨浑y題卡住”，不斷提出問(wèn)題，并在探究新問(wèn)題時(shí)改變觀點(diǎn)?！坝腥さ奶剿鳌笔箍茖W(xué)家們能夠提出深刻，富有洞察力的問(wèn)題，而不僅僅是簡(jiǎn)單的想法/架構(gòu)的結(jié)合。

當(dāng)然，很明顯的是，在研究機(jī)器學(xué)習(xí)時(shí)是仍然無(wú)法學(xué)到所有東西的！要正確地進(jìn)行“有趣的探索”需要適當(dāng)?shù)剡M(jìn)行，需要遵循自己的興趣，而不是優(yōu)先考慮那些最熱門(mén)的新結(jié)果。

機(jī)器學(xué)習(xí)研究是一個(gè)非常豐富的研究領(lǐng)域，在公平性，可解釋性和可訪(fǎng)問(wèn)性方面存在緊迫問(wèn)題。實(shí)際上所有科學(xué)學(xué)科中，基本的思維都不是一個(gè)按需的過(guò)程，而是需要耐心，才能用高級(jí)數(shù)學(xué)框架的廣度進(jìn)行思考，解決關(guān)鍵性的問(wèn)題。

更多資料：? 博客:Do SWEs need mathematics?by Keith Devlin? Reddit帖子:Confessions of an AI Researcher? 博客:How to Read Mathematicsby Shai Simonson and Fernando Gouvea? 論文:NIPSandICML等會(huì)議論文

? 文章:A Mathematician’s Lamentby Paul Lockhart1

讓機(jī)器學(xué)習(xí)研究走向民主化

我希望我沒(méi)有把“研究數(shù)學(xué)”描繪得太深?yuàn)W，因?yàn)槭褂脭?shù)學(xué)構(gòu)建的觀點(diǎn)應(yīng)該以直觀的形式呈現(xiàn)！遺憾的是，許多機(jī)器學(xué)習(xí)論文中仍然充斥著復(fù)雜且不一致的術(shù)語(yǔ)，使關(guān)鍵的信息難以辨別。作為一名學(xué)生，你可以通過(guò)博客、推文等方式將濃縮的論文翻譯成易于消化理解的觀點(diǎn)，這也是在為自己和這個(gè)領(lǐng)域做好事。你甚至可以從distill.pub為范例，這是一個(gè)專(zhuān)門(mén)為機(jī)器學(xué)習(xí)研究成果提供清晰解釋的出版物。換句話(huà)說(shuō)，如果能將技術(shù)思想的神秘化為“有趣探索”的手段，一定會(huì)很有幫助！

最后的一些總結(jié)和建議

總之，我希望這篇文章可以讀者提供一個(gè)起點(diǎn)，讓讀者考慮于機(jī)器學(xué)習(xí)有關(guān)的數(shù)學(xué)教育問(wèn)題。

不同的問(wèn)題需要不同程度的直觀觀點(diǎn)，我鼓勵(lì)讀者首先弄清楚目標(biāo)是什么。

如果您希望打造機(jī)器學(xué)習(xí)產(chǎn)品，請(qǐng)通過(guò)問(wèn)題尋找同行和學(xué)習(xí)小組，并通過(guò)深入研究最終目標(biāo)來(lái)激發(fā)您的學(xué)習(xí)。

在研究領(lǐng)域，具備深厚的數(shù)學(xué)基礎(chǔ)可以為您提供豐富的工具，通過(guò)提出新的基礎(chǔ)架構(gòu)模塊來(lái)推動(dòng)機(jī)器學(xué)習(xí)領(lǐng)域的發(fā)展。

一般而言，數(shù)學(xué)（尤其是研究論文中的數(shù)學(xué)）可能是令人生畏的，但在學(xué)習(xí)中被難題卡住，正是學(xué)習(xí)過(guò)程的重要組成部分。