支持向量機可求解二分類問題。當(dāng)需要求解多分類問題時,支持向量機可將二分類問題的求解方式轉(zhuǎn)化為多分類問題的求解方式。
多分類問題的求解方式:1類對K-1類、1類對另1類。
下文主要介紹1類對K-1類的具體方式 假設(shè)樣本需要被分為K類,則需要構(gòu)造K個支持向量機模型,即:
(1)第1個支持向量機模型將類別1分為一類,將2、3、4...K分為一類;
(2)第2個支持向量機模型將類別2分為一類,將1、3、4...K分為一類;
(3)第3個支持向量機模型將類別3分為一類,將1、2、4...K分為一類; …… (K)第K個支持向量機模型將類別K分為一類,將1、2、3...K-1分為一類;
再假設(shè)上述K個支持向量機模型,單一類別的標簽為+1,其他K-1類構(gòu)成的一類的標簽為-1。
對上述K個支持向量機模型求解,可得出K個α和b的組合,可記為: {αi(k)}i=1~N,b(k),k=1~K 對某一樣本X的分類,根據(jù)如下判別式: kmax=argmax∑αi(k)yiK(Xi,X)+b(k),k=1~K 其中,argmax函數(shù)值為使argmax右側(cè)函數(shù)取最大值時自變量的值,即argmax∑αi(k)yiK(Xi,X)+b(k)的值為使∑αi(k)yiK(Xi,X)+b(k)最大時k的取值,即若x0= argmax(f(x)),則當(dāng)x=x0時,f(x)取得最大值。(根據(jù)百度百科理解)
上述判別式的含義是:將測試樣本輸入到K個支持向量模型進行計算,并在k個支持向量模型中,篩選出某1類與該類對應(yīng)的K-1類間隔最大情況的支持向量模型(即篩選{αi(k)}i=1~N,b(k)的值)。
將此支持向量模型計算出∑αiyiK(Xi,X)+b值所對應(yīng)的標簽作為測試樣本的標簽。(含個人理解)
例如:經(jīng)過計算對比后,若某一測試樣本的第2個支持向量機模型所對應(yīng)的類別2與包含1、3、4...K類的類間隔最大(其兩類間隔均大于第1、3、4…K個支持向量機所對應(yīng)兩類的間隔),則第2個支持向量機模型所對應(yīng)的{αi(k)}i=1~N,b(k)的值為該測試樣本的計算標簽值的αi、b的值,最后,通過∑αiyiK(Xi,X)+b計算出該樣本的標簽。(個人理解)
1類對K-1類的策略容易導(dǎo)致訓(xùn)練樣本不平衡的問題。
該問題出現(xiàn)的原因是:K個支持向量所分得的兩類均為某1類和包含其他K-1個類的類,其他K-1個類的類的樣本數(shù)量一般遠多于某1類的樣本數(shù)量,當(dāng)兩類樣本數(shù)量處于較大不平衡的情況下,支持向量機會更傾向?qū)颖痉诸愔翑?shù)量多的一類。
審核編輯:劉清
-
向量機
+關(guān)注
關(guān)注
0文章
166瀏覽量
21222
原文標題:機器學(xué)習(xí)相關(guān)介紹(20)——支持向量機(多類問題之1類對K-1類方式)
文章出處:【微信號:行業(yè)學(xué)習(xí)與研究,微信公眾號:行業(yè)學(xué)習(xí)與研究】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
超強TDD抑制的多模K類功放
一種改進的基于密度聚類模糊支持向量機
基于概率投票策略的多類支持向量機及應(yīng)用
基于搜索機制密度聚類的支持向量預(yù)選取算法
基于SVM的多類模擬調(diào)制方式識別算法
基于支持向量機的手勢識別研究
支持向量和多中心點非線性聚類的兩大方法
基于可能性二均值聚類的二分類支持向量機
熵的二叉樹多類支持向量機的漏洞分類
支持向量機的手勢識別
基于單類支持向量機的織物瑕疵檢測研究

評論