考慮兩個正在努力準備期末考試的大學生。通常，這種準備將包括通過參加前幾年的考試來練習和測試他們的能力。盡管如此，在過去的考試中取得好成績并不能保證他們在重要的時候會出類拔萃。例如，想象一個學生 Elephantine Ellie，她的準備工作完全包括記住前幾年考試問題的答案。即使艾莉被賦予了象象般的記憶力，因此可以完美地回憶起任何以前見過的問題的答案，但當她面對一個新的（以前沒見過的）問題時，她可能還是會僵住） 問題。相比之下，想象另一個學生，Inductive Irene，記憶能力相對較差，但有能力挑選模式。請注意，如果考試真的由前一年的重復問題組成，那么 Ellie 將輕松勝過 Irene。即使 Irene 的推斷模式產(chǎn)生了 90% 的準確預測，它們也永遠無法與 Ellie 的 100% 召回率相提并論。然而，即使考試完全由新題組成，艾琳也可能保持 90% 的平均分。

作為機器學習科學家，我們的目標是發(fā)現(xiàn)模式。但是我們?nèi)绾未_定我們真的發(fā)現(xiàn)了一個普遍的模式而不是簡單地記住了我們的數(shù)據(jù)呢？大多數(shù)時候，我們的預測只有在我們的模型發(fā)現(xiàn)這種模式時才有用。我們不想預測昨天的股價，而是明天的。我們不需要為以前見過的病人識別已經(jīng)診斷出的疾病，而是需要識別以前沒見過的病人的以前未確診的疾病。這個問題——如何發(fā)現(xiàn)泛化的模式——是機器學習的根本問題，可以說是所有統(tǒng)計學的根本問題。我們可以把這個問題看作是一個涵蓋所有科學的更宏大問題的一部分：我們什么時候有理由從特定的觀察到更一般的陳述（波普爾，2005 年）？

在現(xiàn)實生活中，我們必須使用有限的數(shù)據(jù)集合來擬合模型。該數(shù)據(jù)的典型規(guī)模在不同領(lǐng)域差異很大。對于許多重要的醫(yī)學問題，我們只能訪問幾千個數(shù)據(jù)點。在研究罕見病時，我們可能幸運地接觸到數(shù)百種疾病。相比之下，由標記照片組成的最大公共數(shù)據(jù)集（例如，ImageNet （Deng等人，2009 年））包含數(shù)百萬張圖像。而一些未標記的圖像集合，例如 Flickr YFC100M 數(shù)據(jù)集可能更大，包含超過 1 億張圖像（Thomee等人，2016 年）. 然而，即使在這種極端規(guī)模下，與 1 百萬像素分辨率下所有可能圖像的空間相比，可用數(shù)據(jù)點的數(shù)量仍然是無限小的。每當我們處理有限樣本時，我們必須牢記這樣的風險，即我們可能會擬合我們的訓練數(shù)據(jù)，卻發(fā)現(xiàn)我們未能發(fā)現(xiàn)可概括的模式。

擬合更接近我們的訓練數(shù)據(jù)而不是底層分布的現(xiàn)象稱為過度擬合，而對抗過度擬合的技術(shù)通常稱為正則化方法。雖然沒有什么可以替代對統(tǒng)計學習理論的適當介紹（參見Boucheron等人（2005 年）、Vapnik（1998 年）），但我們將為您提供足夠的直覺來開始學習。我們將在全書的許多章節(jié)中重新審視泛化，探索各種模型中泛化的基本原理的已知內(nèi)容，以及已經(jīng)發(fā)現(xiàn)的啟發(fā)式技術(shù)（根據(jù)經(jīng)驗）可以對實際感興趣的任務(wù)產(chǎn)生改進的泛化。