編者按：訓(xùn)練集/測(cè)試集劃分和交叉驗(yàn)證一直是數(shù)據(jù)科學(xué)和數(shù)據(jù)分析中的兩個(gè)相當(dāng)重要的概念，它們也是防止模型過(guò)擬合的常用工具。為了更好地掌握它們，在這篇文章中，我們會(huì)以統(tǒng)計(jì)模型為例，先從理論角度簡(jiǎn)要介紹相關(guān)術(shù)語(yǔ)，然后給出一個(gè)Python實(shí)現(xiàn)的案例。

什么是模型過(guò)擬合/欠擬合

在統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)中，通常我們會(huì)把數(shù)據(jù)分成兩個(gè)子集：訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)（有時(shí)也分為訓(xùn)練、驗(yàn)證、測(cè)試三個(gè)），然后用訓(xùn)練集訓(xùn)練模型，用測(cè)試集檢驗(yàn)?zāi)Ｐ偷膶W(xué)習(xí)效果。但當(dāng)我們這么做時(shí)，模型可能會(huì)出現(xiàn)以下兩種情況：一是模型過(guò)度擬合數(shù)據(jù)，二是模型不能很好地?cái)M合數(shù)據(jù)。常言道過(guò)猶不及，這兩種情況都是我們要極力規(guī)避的，因?yàn)樗鼈儠?huì)影響模型的預(yù)測(cè)性能——預(yù)測(cè)準(zhǔn)確率較低，或是泛化性太差，沒(méi)法把學(xué)到的經(jīng)驗(yàn)推廣到其他數(shù)據(jù)上（也就是沒(méi)法預(yù)測(cè)其他數(shù)據(jù)）。

過(guò)擬合

模型過(guò)擬合意味著我們把模型“訓(xùn)練得太好了”，通過(guò)一遍又一遍的訓(xùn)練，它已經(jīng)把訓(xùn)練數(shù)據(jù)的特征都“死記硬背”了下來(lái)。這在模型過(guò)于復(fù)雜（和觀察樣本數(shù)相比，模型設(shè)置的特征/變量太多）時(shí)往往更容易發(fā)生。過(guò)擬合的缺點(diǎn)是模型只對(duì)訓(xùn)練數(shù)據(jù)非常準(zhǔn)確，但在未經(jīng)訓(xùn)練的數(shù)據(jù)或全新數(shù)據(jù)上非常不準(zhǔn)確，因?yàn)樗皇欠夯?，沒(méi)法推廣結(jié)果，對(duì)其他數(shù)據(jù)作出任何推斷。

更確切地說(shuō)，過(guò)擬合的模型學(xué)習(xí)到的只是訓(xùn)練數(shù)據(jù)中的“噪聲”，而不是數(shù)據(jù)中變量之間的實(shí)際關(guān)系。顯然，這些“噪聲”是訓(xùn)練數(shù)據(jù)獨(dú)有的，這也決定了它不能準(zhǔn)確預(yù)測(cè)任何新數(shù)據(jù)集。

欠擬合

和過(guò)擬合相比，欠擬合是另一個(gè)極端，它意味著模型連擬合訓(xùn)練數(shù)據(jù)都做不到，沒(méi)能真正把握數(shù)據(jù)的趨勢(shì)。毫無(wú)疑問(wèn)，一個(gè)欠擬合的模型也是不能被推廣到新數(shù)據(jù)的，它和過(guò)擬合恰恰相反，是模型過(guò)于簡(jiǎn)單（沒(méi)有足夠的預(yù)測(cè)變量/自變量）的結(jié)果。例如，當(dāng)我們用線性模型（比如線性回歸）擬合非線性數(shù)據(jù)時(shí)，模型就很可能會(huì)欠擬合。

欠擬合、恰到好處和過(guò)擬合

值得注意的是，在實(shí)踐中，欠擬合遠(yuǎn)不像過(guò)擬合那么普遍。但我們還是要做到在數(shù)據(jù)分析中同時(shí)警惕這兩個(gè)問(wèn)題，找到它們的中間地帶。而解決問(wèn)題的首選方案就是劃分訓(xùn)練/測(cè)試數(shù)據(jù)和交叉驗(yàn)證。

劃分訓(xùn)練/測(cè)試數(shù)據(jù)

正如之前提到的，我們使用的數(shù)據(jù)通常會(huì)被劃分為訓(xùn)練集和測(cè)試集。其中訓(xùn)練集包含輸入的對(duì)應(yīng)已知輸出，通過(guò)在上面進(jìn)行訓(xùn)練，模型可以把學(xué)到的特征關(guān)系推廣到其他數(shù)據(jù)上，而測(cè)試集就是模型性能的試金石。

那么在Python中，我們能怎么執(zhí)行這個(gè)操作呢？這里我們介紹一種用Scikit-Learn庫(kù)，特別是traintestsplit的方法。讓我們先從導(dǎo)入庫(kù)開(kāi)始：

import pandas as pd

from sklearn import datasets, linear_model

from sklearn.model_selection import train_test_split

from matplotlib import pyplot as plt

在上述代碼中：

第一行作用是把數(shù)據(jù)導(dǎo)入到pandas數(shù)據(jù)框架中，然后再進(jìn)行分析；

第二行表示既然已經(jīng)導(dǎo)入了數(shù)據(jù)集模塊，所以我們可以加載一個(gè)樣本數(shù)據(jù)集和linear_model來(lái)做線性回歸；

第三行表示已經(jīng)導(dǎo)入了traintestsplit，所以可以把數(shù)據(jù)集分成訓(xùn)練集和測(cè)試集；

第四行意味著導(dǎo)入pyplot以繪制數(shù)據(jù)圖。

下面我們以糖尿病數(shù)據(jù)集為例，從實(shí)踐中看看怎么把它導(dǎo)入數(shù)據(jù)框架，并定義各列的名稱。

數(shù)據(jù)集地址：scikit-learn.org/stable/modules/generated/sklearn.datasets.load_diabetes.html

# Load the Diabetes Housing dataset

columns =“age sex bmi map tc ldl hdl tch ltg glu”.split()# Declare the columns names

diabetes = datasets.load_diabetes()# Call the diabetes dataset from sklearn

df = pd.DataFrame(diabetes.data, columns=columns)# load the dataset as a pandas data frame

y = diabetes.target # define the target variable (dependent variable) as y

現(xiàn)在我們可以用traintestsplit函數(shù)劃分?jǐn)?shù)據(jù)集。test_size = 0.2表示測(cè)試數(shù)據(jù)在數(shù)據(jù)集中的占比，一般情況下，訓(xùn)練集和測(cè)試集的比例應(yīng)該是80/20或70/30。

# create training and testing vars

X_train, X_test, y_train, y_test = train_test_split(df, y, test_size=0.2)

print X_train.shape, y_train.shape

print X_test.shape, y_test.shape

(353,10)(353,)

(89,10)(89,)

將模型擬合到訓(xùn)練數(shù)據(jù)上：

# fit a model

lm = linear_model.LinearRegression()

model = lm.fit(X_train, y_train)

predictions = lm.predict(X_test)

把模型放到測(cè)試數(shù)據(jù)上：

predictions[0:5]

array([205.68012533, 64.58785513,175.12880278,169.95993301,

128.92035866])

注：預(yù)測(cè)后面那個(gè)[0:5]表示只顯示前五個(gè)預(yù)測(cè)值，如果把它刪掉，模型會(huì)輸出所有預(yù)測(cè)值。

然后是繪制模型結(jié)果：

## The line / model

plt.scatter(y_test, predictions)

plt.xlabel(“TrueValues”)

plt.ylabel(“Predictions”)

最后輸出模型準(zhǔn)確度分?jǐn)?shù)：

print“Score:”, model.score(X_test, y_test)

Score:0.485829586737

到這里，劃分訓(xùn)練集/測(cè)試集就完成了，如果總結(jié)整個(gè)過(guò)程，它可以被概括為先加載數(shù)據(jù)，將其分成訓(xùn)練集和測(cè)試集，用回歸模型擬合訓(xùn)練數(shù)據(jù)，基于訓(xùn)練數(shù)據(jù)進(jìn)行預(yù)測(cè)并在測(cè)試集上預(yù)測(cè)測(cè)試數(shù)據(jù)的結(jié)果。一切都好像很完美吧？其實(shí)不然，劃分?jǐn)?shù)據(jù)集也有很多講究——如果我們劃分時(shí)沒(méi)有做到嚴(yán)格意義上的隨機(jī)呢？如果數(shù)據(jù)集本身存在明顯偏差，其中大部分?jǐn)?shù)據(jù)都來(lái)自某省、某個(gè)收入水平的員工、某個(gè)特定性別的員工或只有特定年齡的人，該怎么辦？

即便我們一再避免，模型最后還是會(huì)過(guò)擬合，而這就是交叉驗(yàn)證可以發(fā)揮作用的地方。

交叉驗(yàn)證

為了避免因數(shù)據(jù)集偏差、劃分?jǐn)?shù)據(jù)集不當(dāng)引起模型過(guò)擬合，我們可以使用交叉驗(yàn)證，它和劃分訓(xùn)練集/測(cè)試集非常相似，但適用于數(shù)量上更多的子集。它的工作原理是先把數(shù)據(jù)分成k個(gè)子集，并從中挑選k-1個(gè)子集，在每個(gè)自己上訓(xùn)練模型，最后再用剩下的最后一個(gè)子集進(jìn)行測(cè)試。

劃分訓(xùn)練集/測(cè)試集和交叉驗(yàn)證

交叉驗(yàn)證的方法有很多，這里我們只討論其中兩個(gè)：第一個(gè)是k-折交叉驗(yàn)證，第二個(gè)是Leave One Out交叉驗(yàn)證（LOOCV）。

k-折交叉驗(yàn)證

在k-折交叉驗(yàn)證中，我們將數(shù)據(jù)分成k個(gè)不同的子集（分成k折），并在k-1個(gè)子集上分別訓(xùn)練單獨(dú)模型，最后用第k個(gè)子集作為測(cè)試數(shù)據(jù)。

以下是k-折交叉驗(yàn)證的Sklearn文檔中的一個(gè)簡(jiǎn)單示例：

from sklearn.model_selection importKFold# import KFold

X = np.array([[1,2],[3,4],[1,2],[3,4]])# create an array

y = np.array([1,2,3,4])# Create another array

kf =KFold(n_splits=2)# Define the split - into 2 folds

kf.get_n_splits(X)# returns the number of splitting iterations in the cross-validator

print(kf)

KFold(n_splits=2, random_state=None, shuffle=False)

它的結(jié)果是：

for train_index, test_index in kf.split(X):

print(“TRAIN:”, train_index,“TEST:”, test_index)

X_train, X_test = X[train_index], X[test_index]

y_train, y_test = y[train_index], y[test_index]

('TRAIN:', array([2,3]),'TEST:', array([0,1]))

('TRAIN:', array([0,1]),'TEST:', array([2,3]))

如你所見(jiàn)，這個(gè)函數(shù)將原始數(shù)據(jù)拆分為不同的數(shù)據(jù)子集。

LOOCV

LOOCV（留一驗(yàn)證）是本文要介紹的第二種交叉驗(yàn)證方法，它的思路和k-折交叉驗(yàn)證其實(shí)有相似之處，但不同的是，它只從原數(shù)據(jù)集中抽取一個(gè)樣本作為測(cè)試數(shù)據(jù)，剩余的全是訓(xùn)練數(shù)據(jù)，整個(gè)過(guò)程一直持續(xù)到每個(gè)樣本都被當(dāng)做一次測(cè)試數(shù)據(jù)，最后再用平均值構(gòu)建最終的模型。可以想見(jiàn)，這種方法勢(shì)必會(huì)得到大量的訓(xùn)練集（等于樣本數(shù)），所以它的計(jì)算量會(huì)很大，更適合被用于小型數(shù)據(jù)集。

讓讓我們看一下它在Sklearn里的例子：

from sklearn.model_selection importLeaveOneOut

X = np.array([[1,2],[3,4]])

y = np.array([1,2])

loo =LeaveOneOut()

loo.get_n_splits(X)

for train_index, test_index in loo.split(X):

print("TRAIN:", train_index,"TEST:", test_index)

X_train, X_test = X[train_index], X[test_index]

y_train, y_test = y[train_index], y[test_index]

print(X_train, X_test, y_train, y_test)

它的輸出是：

('TRAIN:', array([1]),'TEST:', array([0]))

(array([[3,4]]), array([[1,2]]), array([2]), array([1]))

('TRAIN:', array([0]),'TEST:', array([1]))

(array([[1,2]]), array([[3,4]]), array([1]), array([2]))

那么對(duì)于這兩種交叉驗(yàn)證方法，我們?cè)趯?shí)踐中該怎么取舍呢？事實(shí)上，子集越小、子集數(shù)量越多，模型的準(zhǔn)確率就越高，但相應(yīng)的，它的計(jì)算量也越多，對(duì)內(nèi)存的要求也越大。因此，如果是非常小的數(shù)據(jù)集，建議大家還是用LOOCV；如果數(shù)據(jù)集略大，可以采用k-折，比如k=3是一個(gè)比較常用的超參數(shù)，當(dāng)然你也可以視情況選擇5、10等。

split函數(shù)劃分 VS 交叉驗(yàn)證

之前我們演示了用函數(shù)劃分糖尿病數(shù)據(jù)集的結(jié)果，這里我們嘗試對(duì)它做交叉驗(yàn)證，看看有什么不同。首先，我們可以用cross_val_predict函數(shù)返回測(cè)試子集中每個(gè)數(shù)據(jù)點(diǎn)的預(yù)測(cè)值。

# Necessary imports:

from sklearn.cross_validation import cross_val_score, cross_val_predict

from sklearn import metrics

既然我們已經(jīng)把數(shù)據(jù)集分成了測(cè)試集和訓(xùn)練集，這里我們?cè)僭谠谢A(chǔ)上進(jìn)行交叉驗(yàn)證，看看準(zhǔn)確率得分變化：

# Perform 6-fold cross validation

scores = cross_val_score(model, df, y, cv=6)

print“Cross-validated scores:”, scores

Cross-validated scores:[0.4554861 0.461385720.400940840.552207360.439427750.56923406]

得分從0.485提高到了0.569，雖然看起來(lái)不是很顯著，但不要心急，我們來(lái)繪制交叉驗(yàn)證后的圖像：

# Make cross validated predictions

predictions = cross_val_predict(model, df, y, cv=6)

plt.scatter(y, predictions)

很明顯，這幅圖里的數(shù)據(jù)點(diǎn)比之前的圖密集多了，因?yàn)槲覀內(nèi)v=6。

從本質(zhì)上來(lái)看，回歸模型就是用模型擬合數(shù)據(jù)，這之中肯定存在誤差，而衡量這個(gè)誤差大小的標(biāo)尺是擬合優(yōu)度。在眾多標(biāo)準(zhǔn)中，R2是度量擬合優(yōu)度的一個(gè)常用統(tǒng)計(jì)量，這里我們計(jì)算一下模型的R2得分：

accuracy = metrics.r2_score(y, predictions)

print“Cross-PredictedAccuracy:”, accuracy

Cross-PredictedAccuracy:0.490806583864

以上就是文本想要介紹的全部?jī)?nèi)容，希望你能從中找到對(duì)自己有所幫助的東西！