支持向量機(jī)尋找的最優(yōu)分類直線應(yīng)滿足如下條件：

（1）該直線可將訓(xùn)練數(shù)據(jù)完全分為兩類。

（2）該直線可最大化間隔。

（3）該直線處于間隔的中間，其與所有支持向量（任意一條可將訓(xùn)練樣本完全分類的直線分別向兩側(cè)被平行移動(dòng)時(shí)，最先穿過的一個(gè)或幾個(gè)訓(xùn)練樣本）的距離相等。

圖片來源：中國慕課大學(xué)《機(jī)器學(xué)習(xí)概論》

可推出支持向量機(jī)尋找最優(yōu)分類超平面（超平面是將三維以上特征空間的訓(xùn)練數(shù)據(jù)分割為不同類別的“圖形”）應(yīng)滿足如下條件：

（1）該超平面可將訓(xùn)練數(shù)據(jù)完全分為兩類。

（2）該超平面可最大化間隔。

（3）該超平面處于間隔的中間，其與所有支持向量的距離相等。

下文介紹通過數(shù)學(xué)方法，將支持向量機(jī)尋找線性可分訓(xùn)練數(shù)據(jù)集的最優(yōu)分類超平面的過程，描述為最優(yōu)化問題。

回顧線性可分的定義：訓(xùn)練樣本集 {(Xi,yi)}在i=1~N線性可分是指存在ω和b（Xi=[xi1，xi2,…,xin]，ω=[ω1，ω2,…,ωn]T），使得對(duì) i=1~N，有：

若yi=+1，則ωTXi+b>0；

若yi=-1，則ωTXi+b<0。

同時(shí)，基于以下兩個(gè)事實(shí)：

事實(shí)1：ωTx+b=0與(aωTx)+(ab)=0是同一個(gè)超平面（a≠0）。（此事實(shí)可基于二維特征空間的情況理解，當(dāng)a≠0時(shí)，二維特征空間中，ωx+b=0與aωx+ab=0是同一條直線）

事實(shí)2：一個(gè)點(diǎn)X0到超平面ωTx+b=0的距離d的公式為：d=|ωTX0+b|/||ω||，其中||ω||2=ω12+ω22…+ωn2。（此事實(shí)也可基于二維特征空間的情況理解，二維特征空間中，一個(gè)點(diǎn)(x0,y0)到ω1x0+ω2y0+b=0的距離為：d=|ω1x0+ω2y0+b|/√(ω12+ω22)，√代表根號(hào)）

因?yàn)棣豑x+b=0與(aωTx)+(ab)=0是同一個(gè)超平面，所以可以通過縮放（即直線方程兩端均乘以相同系數(shù)），使得ωTx+b在支持向量x0上有|ωTx0+b|=1（根據(jù)線性可分的定義，支持向量x0上有|ωTx0+b|＞0，假設(shè)|ωTx0+b|=0.5，那么可以通過將該方程兩端均乘以2縮放為|ωTx0+b|=1，其他情況均可以此類推）。

那么，根據(jù)事實(shí)2，支持向量x0到超平面的距離d=|ωTx0+b|/||ω||=1/||ω||。因此，最大化支持向量至超平面的距離（即最大化超平面的間隔）等價(jià)于最小化||ω||。

圖片來源：來自網(wǎng)絡(luò)

因此，支持向量機(jī)尋找線性可分訓(xùn)練數(shù)據(jù)集的最優(yōu)分類超平面的過程可描述為最小化1/2||ω||2（最小化1/2||ω||2即可使||ω||最小化）的最優(yōu)化問題。

又因?yàn)榉侵С窒蛄颗c超平面的距離大于支持向量與超平面的距離，所以非支持向量與超平面的距離d>1/||ω||，即在非支持向量x0上有|ωTx0+b|>1。

綜合支持向量與非支持向量距離取值，可得出支持向量機(jī)尋找線性可分訓(xùn)練數(shù)據(jù)集的最優(yōu)分類超平面的限制條件：yi(ωTXi+b)≥1，i=1~N。

綜上，在線性可分情況下，支持向量機(jī)尋找最佳超平面的優(yōu)化問題可以表示為 :

最小化：1/2||ω||2，

限制條件：yi(ωTXi+b)≥1，i=1~N。

上述優(yōu)化問題中，ω和b為待求量，(Xi,yi)，i=1~N為已知量。該優(yōu)化問題屬于凸優(yōu)化問題（CONVEX OPTIMIZATION）。當(dāng)一個(gè)問題轉(zhuǎn)化為凸優(yōu)化問題時(shí)，該問題可使用機(jī)器學(xué)習(xí)算法的工具包求解。

圖片來源：來自網(wǎng)絡(luò)

審核編輯：劉清