因為支持向量機算是通過所有數(shù)據(jù)尋找最優(yōu)分類方式的算法,而感知機算法是尋找某一分類方式的算法,所以,多數(shù)情況下,支持向量機求得的分類超平面優(yōu)于感知機算法求得的分類超平面。
圖片來源:中國慕課大學《機器學習概論》
因為感知機算法的性能較差,所以感知機算法已經(jīng)不再被使用。但感知機算法對于機器學習算法的發(fā)展具有如下意義。
一、提出機器學習算法框架
假設某系統(tǒng)的輸入為X,輸出為Y。機器學習算法的目的尋找預測函數(shù)f(X,θ),預測函數(shù)的形式通過人為設定的方式確定,機器學習算法的求解過程是通過訓練數(shù)據(jù)集(Xi,yi),i=1~N求解θ。
圖片來源:中國慕課大學《機器學習概論》
在感知機算法中,待估及參數(shù)θ=(W,b),f(X,θ)=sgn(WTX+b),其中,sgn代表符號函數(shù)(x>0,sgn(x)=1;x=0,sgn(x)=0;x<0,sgn(x)=-1)。若X的維度為M,則θ的維度為M+1。此機器學習框架可應用于強化學習、無監(jiān)督學習等機器學習領域。 ?
當訓練數(shù)據(jù)的分布較復雜,所選取的f(X,θ)較簡單時,無論θ為何值均不可全面模擬訓練數(shù)據(jù)的分布。此種訓練數(shù)據(jù)比預測函數(shù)復雜的情況被稱為模型欠擬合(Underfit)。
當訓練數(shù)據(jù)的復雜度和f(X,θ)的復雜度相匹配時,模型預測能力最佳。
當訓練數(shù)據(jù)的分布較簡單,所選取的f(X,θ)較復雜時,預測函數(shù)可以準確擬合數(shù)據(jù),但在沒有訓練數(shù)據(jù)的區(qū)域,預測函數(shù)也會出現(xiàn)復雜函數(shù)值分布,不能反映訓練數(shù)據(jù)分布的真實情況。此種預測函數(shù)比訓練數(shù)據(jù)復雜的情況被稱為模型過擬合(Overfit)。模型過擬合時,預測函數(shù)可以精確預測訓練數(shù)據(jù),但無法精確預測測試數(shù)據(jù)。
圖片來源:中國慕課大學《機器學習概論》
二、感知機算法是消耗較少內存資源算法的先驅
2014年,Meta(Facebook)公司的DeepFace人臉識別系統(tǒng)需要通過超過400萬張的人臉圖片求解維度超過1800萬的參數(shù)θ(個人理解:需要求解一個未知數(shù)超過1800萬個的問題)。
上述求解問題若采用支持向量機算法進行求解,需要將超過400萬張的人臉圖片的數(shù)據(jù)均輸入至計算機,并需要計算機求解全局優(yōu)化問題,此全局優(yōu)化問題對計算機的存儲資源和計算資源消耗較大。
圖片來源:中國慕課大學《機器學習概論》
相比較而言,感知機算法只需存儲W和b,并通過訓練數(shù)據(jù)調整W和b的值(感知機算法通過加減法的方式調整W和b的值,此方式需要的計算資源較少),再循環(huán)調整W和b值過程,即可完成求解。其所需要的存儲資源和計算資源較小。 目前,機器學習領域的訓練數(shù)據(jù)量較大,類似感知機算法的求解方式,即每次輸送小部分數(shù)據(jù)訓練并循環(huán)的算法逐漸受到歡迎。而類似支持向量機,即針對所有數(shù)據(jù)進行全局優(yōu)化的算法逐漸不占優(yōu)勢。
審核編輯:劉清
-
向量機
+關注
關注
0文章
166瀏覽量
21227 -
人工神經(jīng)網(wǎng)絡
關注
1文章
120瀏覽量
14913 -
機器學習
+關注
關注
66文章
8503瀏覽量
134635
原文標題:機器學習相關介紹(25)——人工神經(jīng)網(wǎng)絡(感知機算法的意義)
文章出處:【微信號:行業(yè)學習與研究,微信公眾號:行業(yè)學習與研究】歡迎添加關注!文章轉載請注明出處。
發(fā)布評論請先 登錄
評論