在神經(jīng)網(wǎng)絡(luò)的成功的帶動(dòng)下，越來越多的研究人員和開發(fā)人員都開始重新審視機(jī)器學(xué)習(xí)，開始嘗試用某些機(jī)器學(xué)習(xí)方法自動(dòng)解決可以輕松采集數(shù)據(jù)的問題。然而，在眾多的機(jī)器學(xué)習(xí)算法中，哪些是又上手快捷又功能強(qiáng)大、適合新手學(xué)習(xí)的呢？

機(jī)器學(xué)習(xí)領(lǐng)域有一條“沒有免費(fèi)的午餐”定理。簡(jiǎn)單解釋下的話，它是說沒有任何一種算法能夠適用于所有問題，特別是在監(jiān)督學(xué)習(xí)中。

例如，你不能說神經(jīng)網(wǎng)絡(luò)就一定比決策樹好，反之亦然。要判斷算法優(yōu)劣，數(shù)據(jù)集的大小和結(jié)構(gòu)等眾多因素都至關(guān)重要。所以，你應(yīng)該針對(duì)你的問題嘗試不同的算法。然后使用保留的測(cè)試集對(duì)性能進(jìn)行評(píng)估，選出較好的算法。

當(dāng)然，算法必須適合于你的問題。就比如說，如果你想清掃你的房子，你需要吸塵器，掃帚，拖把。而不是拿起鏟子去開始挖地。

不過，對(duì)于預(yù)測(cè)建模來說，有一條通用的原則適用于所有監(jiān)督學(xué)習(xí)算法。

機(jī)器學(xué)習(xí)算法可以描述為學(xué)習(xí)一個(gè)目標(biāo)函數(shù) f，它能夠最好地映射出輸入變量 X 到輸出變量 Y。有一類普遍的學(xué)習(xí)任務(wù)。我們要根據(jù)輸入變量 X 來預(yù)測(cè)出 Y。我們不知道目標(biāo)函數(shù) f 是什么樣的。如果早就知道，我們就可以直接使用它，而不需要再通過機(jī)器學(xué)習(xí)算法從數(shù)據(jù)中進(jìn)行學(xué)習(xí)了。

最常見的機(jī)器學(xué)習(xí)就是學(xué)習(xí) Y=f(X) 的映射，針對(duì)新的 X 預(yù)測(cè) Y。這叫做預(yù)測(cè)建?；蝾A(yù)測(cè)分析。我們的目標(biāo)就是讓預(yù)測(cè)更加精確。

針對(duì)希望對(duì)機(jī)器學(xué)習(xí)有個(gè)基本了解的新人來說，下面將介紹數(shù)據(jù)科學(xué)家們最常使用的 10 種機(jī)器學(xué)習(xí)算法。

1. 線性回歸

線性回歸可能是統(tǒng)計(jì)和機(jī)器學(xué)習(xí)領(lǐng)域最廣為人知的算法之一。

以犧牲可解釋性為代價(jià)，預(yù)測(cè)建模的首要目標(biāo)是減小模型誤差或?qū)㈩A(yù)測(cè)精度做到最佳。我們從統(tǒng)計(jì)等不同領(lǐng)域借鑒了多種算法，來達(dá)到這個(gè)目標(biāo)。

線性回歸通過找到一組特定的權(quán)值，稱為系數(shù) B。通過最能符合輸入變量 x 到輸出變量 y 關(guān)系的等式所代表的線表達(dá)出來。

例如：y = B0 + B1 * x 。我們針對(duì)給出的輸入 x 來預(yù)測(cè) y。線性回歸學(xué)習(xí)算法的目標(biāo)是找到 B0 和 B1 的值。

不同的技巧可以用于線性回歸模型。比如線性代數(shù)的普通最小二乘法，以及梯度下降優(yōu)化算法。線性回歸已經(jīng)有超過 200 年的歷史，已經(jīng)被廣泛地研究。根據(jù)經(jīng)驗(yàn)，這種算法可以很好地消除相似的數(shù)據(jù)，以及去除數(shù)據(jù)中的噪聲。它是快速且簡(jiǎn)便的首選算法。

2. 邏輯回歸

邏輯回歸是另一種從統(tǒng)計(jì)領(lǐng)域借鑒而來的機(jī)器學(xué)習(xí)算法。

與線性回歸相同。它的目的是找出每個(gè)輸入變量的對(duì)應(yīng)參數(shù)值。不同的是，預(yù)測(cè)輸出所用的變換是一個(gè)被稱作 logistic 函數(shù)的非線性函數(shù)。

logistic 函數(shù)像一個(gè)大 S。它將所有值轉(zhuǎn)換為 0 到 1 之間的數(shù)。這很有用，我們可以根據(jù)一些規(guī)則將 logistic 函數(shù)的輸出轉(zhuǎn)換為 0 或 1（比如，當(dāng)小于 0.5 時(shí)則為 1）。然后以此進(jìn)行分類。

正是因?yàn)槟Ｐ蛯W(xué)習(xí)的這種方式，邏輯回歸做出的預(yù)測(cè)可以被當(dāng)做輸入為 0 和 1 兩個(gè)分類數(shù)據(jù)的概率值。這在一些需要給出預(yù)測(cè)合理性的問題中非常有用。

就像線性回歸，在需要移除與輸出變量無(wú)關(guān)的特征以及相似特征方面，邏輯回歸可以表現(xiàn)得很好。在處理二分類問題上，它是一個(gè)快速高效的模型。

3. 線性判別分析

邏輯回歸是一個(gè)二分類問題的傳統(tǒng)分類算法。如果需要進(jìn)行更多的分類，線性判別分析算法（LDA）是一個(gè)更好的線性分類方法。

對(duì) LDA 的解釋非常直接。它包括針對(duì)每一個(gè)類的輸入數(shù)據(jù)的統(tǒng)計(jì)特性。對(duì)于單一輸入變量來說包括：

類內(nèi)樣本均值

總體樣本變量

線性判別分析

通過計(jì)算每個(gè)類的判別值，并根據(jù)最大值來進(jìn)行預(yù)測(cè)。這種方法假設(shè)數(shù)據(jù)服從高斯分布（鐘形曲線）。所以它可以較好地提前去除離群值。它是針對(duì)分類模型預(yù)測(cè)問題的一種簡(jiǎn)單有效的方法。