前言

機器學(xué)習(xí)是什么，是用來干什么的？

機器學(xué)習(xí)就是樣本中有大量的x（特征量）和y（目標(biāo)變量）然后求這個function。

機器學(xué)習(xí)是讓機器尋找函數(shù)Y=f（X）的過程，使得當(dāng)我們給定一個X時，會返回我們想要得到的Y值。

例：

房價預(yù)測：X：位置、層數(shù) -》 Y：xxxx元/平

相親預(yù)測：X：高富帥、矮矬窮 -》 Y：見、不見

車牌識別：X：（車牌圖片）-》 Y：車牌號碼

機器翻譯：X：（中文） -》 Y：（英文）

語音識別：X：（一段語音）-》 Y：（一段文字）

聊天機器人：X：How are you -》 Y：IM fine

一、機器學(xué)習(xí)

大致可以把機器學(xué)習(xí)分為Supervised learning（監(jiān)督學(xué)習(xí)）和Unsupervised learning（非監(jiān)督學(xué)習(xí)）兩類。兩者區(qū)別在于訓(xùn)練樣本。

監(jiān)督學(xué)習(xí)（ supervised learning）： 這種方法使用已標(biāo)記數(shù)據(jù)來學(xué)習(xí)，它使用的標(biāo)記數(shù)據(jù)可以是用戶對電影的評級（對推薦來說）、電影標(biāo)簽（對分類來說）或是收入數(shù)字（對回歸預(yù)測來說）。

無監(jiān)督學(xué)習(xí)（ unsupervised learning）： 一些模型的學(xué)習(xí)過程不需要標(biāo)記數(shù)據(jù)，我們稱其為無監(jiān)督學(xué)習(xí)。這類模型試圖學(xué)習(xí)或是提取數(shù)據(jù)背后的結(jié)構(gòu)或從中抽取最為重要的特征。

監(jiān)督學(xué)習(xí)多用于回歸分析（求解是連續(xù)值，比如某一區(qū)間）和分類問題（求解是離散值，比如對錯）。非監(jiān)督學(xué)習(xí)初步多用于聚類算法（群分析）。

1. 監(jiān)督學(xué)習(xí)

1.1 回歸分析

初識：

“回歸于事物本來的面目”

出自高爾頓種豆子的實驗，通過大量數(shù)據(jù)統(tǒng)計，他發(fā)現(xiàn)個體小的豆子往往傾向于產(chǎn)生比其更大的子代，而個體大的豆子則傾向于產(chǎn)生比其小的子代，然后高爾頓認為這是由于新個體在向這種豆子的平均尺寸“回歸”，大概的意思就是事物總是傾向于朝著某種“平均”發(fā)展，也可以說是回歸于事物本來的面目。

進階：

線性回歸：

即y=ax+b，因變量和自變量為線性關(guān)系，輸出y為一具體數(shù)值，例如房價預(yù)測中的房價，產(chǎn)量預(yù)測中的產(chǎn)量等等，主要用于預(yù)測某一具體數(shù)值。

邏輯回歸：

一個被logistic方程（sigmoid函數(shù)，如下圖）歸一化后的線性回歸，將線性回歸輸出的很大范圍的數(shù)，壓縮到0和1之間，這樣的輸出值表達為某一類別的概率，主要用于二分類問題。

1.2 決策樹

初識：

相親預(yù)測：

決策樹分類的思想類似于找對象?，F(xiàn)想象一個女孩的母親要給這個女孩介紹男朋友，于是有了下面的對話：

女兒：多大年紀(jì)了？

母親：26。

女兒：長的帥不帥？

母親：挺帥的。

女兒：收入高不？

母親：不算很高，中等情況。

女兒：是公務(wù)員不？

母親：是，在稅務(wù)局上班呢。

女兒：那好，我去見見。

這個女孩的決策過程就是典型的分類樹決策。相當(dāng)于通過年齡、長相、收入和是否公務(wù)員對將男人分為兩個類別：見和不見。

其中綠色節(jié)點表示判斷條件，橙色節(jié)點表示決策結(jié)果，箭頭表示在一個判斷條件在不同情況下的決策路徑。

進階：

決策樹（decision tree）是一個樹結(jié)構(gòu)。其每個非葉節(jié)點表示一個特征屬性上的測試，每個分支代表這個特征屬性在某個值域上的輸出，而每個葉節(jié)點存放一個類別。使用決策樹進行決策的過程就是從根節(jié)點開始，測試待分類項中相應(yīng)的特征屬性，并按照其值選擇輸出分支，直到到達葉子節(jié)點，將葉子節(jié)點存放的類別作為決策結(jié)果。

1.3 隨機森林

初識：

“三個臭皮匠頂過諸葛亮”

隨機森林中的每一棵決策樹可以理解為一個精通于某一個窄領(lǐng)域的專家，這樣在隨機森林中就有了很多個精通不同領(lǐng)域的專家，對一個新的問題（新的輸入數(shù)據(jù)），可以用不同的角度去看待它，最終由各個專家投票得到結(jié)果。

進階：

隨機森林通過自助法（bootstrap）重采樣技術(shù)，從原始訓(xùn)練樣本集N中有放回地重復(fù)隨機抽取k個樣本生成新的訓(xùn)練樣本集合，然后根據(jù)自助樣本集生成k個分類樹組成隨機森林，新數(shù)據(jù)的分類結(jié)果按分類樹投票多少形成的分數(shù)而定。

隨機森林可以用于分類和回歸。當(dāng)因變量Y是分類變量時，是分類；當(dāng)因變量Y是連續(xù)變量時，是回歸。

1.4 樸素貝葉斯

初識：

貝葉斯公式：

已知某種疾病的發(fā)病率是0.001，即1000人中會有1個人得病?，F(xiàn)有一種試劑可以檢驗患者是否得病，它的準(zhǔn)確率是0.99，即在患者確實得病的情況下，它有99%的可能呈現(xiàn)陽性。它的誤報率是5%，即在患者沒有得病的情況下，它有5%的可能呈現(xiàn)陽性。現(xiàn)有一個病人的檢驗結(jié)果為陽性，請問他確實得病的可能性有多大？

P（A|B）約等于0.019。也就是說，即使檢驗呈現(xiàn)陽性，病人得病的概率：也只從0.1%增加到了2%左右。這就是所謂的“假陽性”，即陽性結(jié)果完全不足以說明病人得病。

進階：

對于給出的待分類項，求解在此項特征出現(xiàn)的條件下各個類別出現(xiàn)的概率，哪個最大，就認為此待分類項屬于哪個類別。

比如輸入法里的錯拼也能搜出正確的詞，根據(jù)輸入的字母及其周邊可能出現(xiàn)的字母出現(xiàn)的概率，推薦出最符合想輸入的詞組。

1.5 支持向量機

初識：

一個普通的支持向量機（SVM）就是一條直線，用來完美劃分線性分割的兩類。但這又不是一條普通的直線，這是無數(shù)條可以分類的直線當(dāng)中最完美的，因為它恰好在兩個類的中間，距離兩個類的點都一樣遠。而所謂的支持向量就是這些離分界線最近的『點』。如果去掉這些點，直線多半是要改變位置的。可以說是這些vectors（主，點）support（謂，定義）了machine（賓，分類器）。

進階：

在線性不可分的情況下，支持向量機通過某種事先選擇的非線性映射（核函數(shù)）將輸入變量映射到一個高維特征空間，在這個空間中構(gòu)造最優(yōu)分類超平面。

2. 非監(jiān)督學(xué)習(xí)

2.1 Kmeans

初識：

“人以類聚，物以群分”

例：你左手在地上撒一把鹽，右手在地上撒一把糖。假設(shè)你分不清鹽和糖，但是你分別是用左右手撒的，所以兩個東西位置不同，你就可以通過倆玩意的位置，判斷出兩個東西是兩類（左手撒的，右手撒的）。然而能不能區(qū)別出是糖還是鹽？不行。你只能分出這是兩類而已。但是分成兩類以后再去分析，就比撒地上一堆分析容易多了。

聚類分析主要就是把大類分為小類，然后再人工的對每一小類進行分析。

進階：

K-均值是把數(shù)據(jù)集按照k個簇分類，其中k是用戶給定的，其中每個簇是通過質(zhì)心來計算簇的中心點。

首先創(chuàng)建一個初始劃分，隨機地選擇 k 個對象（中心點），每個對象初始地代表了一個簇中心。對于其他的對象，根據(jù)其與各個簇中心的距離，將它們賦給最近的簇，然后重新計算簇的平均值，將每個簇的平均值重新作為中心點，然后對對象進行重新分配。這個過程不斷重復(fù)，直到?jīng)]有簇中對象的變化。

上圖中，A，B，C，D，E是五個聚類點，灰色的點是質(zhì)心點，聚為兩類。

（1）隨機在圖中取K（這里K=2）個種子點。

（2）然后對圖中的所有點求到這K個種子點的距離，假如點Pi離種子點Si最近，那么Pi屬于Si點群。（上圖中，我們可以看到A，B屬于上面的種子點，C，D，E屬于下面中部的種子點）

（3）接下來，我們要移動種子點到屬于他的“點群”的中心。（見圖上的第三步）

（4）然后重復(fù)第2）和第3）步，直到，種子點沒有移動（我們可以看到圖中的第四步上面的種子點聚合了A，B，C，下面的種子點聚合了D，E）。