機器學習（Machine Learning， ML）的目的是根據(jù)給定的訓練樣本求對某系統(tǒng)輸入輸出之間依賴關(guān)系的估計，使它（這種關(guān)系）能夠?qū)ξ粗敵鲎龀霰M可能準確地預測。機器學習至今沒有一個精 確的公認的定義。作為人工智能（Artificial Intelligence， AI）的一個重要研究領(lǐng)域，ML的研究工作主要圍繞學習機理、學習方法和面向任務(wù)這三個基本方面進行研究。模式識別、函數(shù)逼近和概率密度估計是三類基本的ML問題。

從數(shù)學的角度來考慮，機器學習問題就是已知n個獨立同分布的觀測樣本，在同一組預測函數(shù)中求一個最優(yōu)的函數(shù)對依賴關(guān)系進行估計，使期望風險R［f］最小。損失函數(shù)是評價預測準確程度的一種度量，它與預測函數(shù)f（x）密切相關(guān)。而f（x）的期望風險依賴于概率分布和損失函數(shù)，前者是客觀存在的，后者是根據(jù)具體問題選定的，帶有（主觀的）人為的或偏好色彩。期望風險的大小直觀上可以理解為，當我們用f（x）進行預測時，“平均”的損失程度，或“平均”犯錯誤的程度。

但是，只有樣本卻無法計算期望風險，因此，傳統(tǒng)的學習方法用樣本定義經(jīng)驗風險Remp［f］作為對期望風險的估計，并設(shè)計學習算法使之最小化。即所謂的經(jīng)驗風險最小化（Empirical Risk Minimization， ERM）歸納原則。經(jīng)驗風險是用損失函數(shù)來計算的。對 于模式識別問題的損失函數(shù)來說，經(jīng)驗風險就是訓練樣本錯誤率；對于函數(shù)逼近問題的損失函數(shù)來說，就是平方訓練誤差；而對于概率密度估計問題的損失函數(shù)來 說，ERM準則就等價于最大似然法。事實上，用ERM準則代替期望風險最小化并沒有經(jīng)過充分的理論論證，只是直觀上合理的想當然做法。也就是說，經(jīng)驗風險最小不一定意味著期望風險最小。其實，只有樣本數(shù)目趨近于無窮大時，經(jīng)驗風險才有可能趨近于期望風險。但是很多問題中樣本數(shù)目離無窮大很遠，那么在有限樣本下ERM準則就不一定能使真實風險較小啦。ERM準則不成功的一個例子就是神經(jīng)網(wǎng)絡(luò)的過學習問題（某些情況下，訓練誤差過小反而導致推廣能力下降，或者說是訓練誤差過小導致了預測錯誤率的增加，即真實風險的增加）。

統(tǒng)計學習理論（Statistical Learning Theory， SLT）和支持向量機（Support Vector Machine， SVM）建立了一套較好的有限訓練樣本下機器學習的理論框架和通用方法，既有嚴格的理論基礎(chǔ)，又能較好地解決小樣本、非線性、高維數(shù)和局部極小點等實際問 題，其核心思想就是學習機器（又叫預測函數(shù)，或?qū)W習函數(shù)，或?qū)W習模型）F要與有限的訓練樣本相適應(yīng)。在學習算法中需要選擇恰當?shù)腇，這里的關(guān)鍵因素是F的大小，或者F的豐富程度，或者說F的“表達能力”，VC維（Vapnik-Chervonenkis Dimension）就是對這種“表達能力”的一種描述。