99精品伊人亚洲|最近国产中文炮友|九草在线视频支援|AV网站大全最新|美女黄片免费观看|国产精品资源视频|精彩无码视频一区|91大神在线后入|伊人终合在线播放|久草综合久久中文

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

基于樹的方法和神經(jīng)網(wǎng)絡(luò)方法

新機(jī)器視覺 ? 來源:新機(jī)器視覺 ? 作者:新機(jī)器視覺 ? 2022-07-27 16:17 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

樹模型和神經(jīng)網(wǎng)絡(luò),像一枚硬幣的兩面。在某些情況下,樹模型的性能甚至優(yōu)于神經(jīng)網(wǎng)絡(luò)。

由于神經(jīng)網(wǎng)絡(luò)的復(fù)雜性,它們常常被認(rèn)為是解決所有機(jī)器學(xué)習(xí)問題的「圣杯」。而另一方面,基于樹的方法并未得到同等重視,主要原因在于這類算法看起來很簡單。然而,這兩種算法看似不同,卻像一枚硬幣的正反面,都很重要。

樹模型 VS 神經(jīng)網(wǎng)絡(luò)

基于樹的方法通常優(yōu)于神經(jīng)網(wǎng)絡(luò)。本質(zhì)上,將基于樹的方法和基于神經(jīng)網(wǎng)絡(luò)的方法放在同一個類別中是因?yàn)?,它們都通過逐步解構(gòu)來處理問題,而不是像支持向量機(jī)或 Logistic 回歸那樣通過復(fù)雜邊界來分割整個數(shù)據(jù)集。

很明顯,基于樹的方法沿著不同的特征逐步分割特征空間,以優(yōu)化信息增益。不那么明顯的是,神經(jīng)網(wǎng)絡(luò)也以類似的方式處理任務(wù)。每個神經(jīng)元監(jiān)視特征空間的一個特定部分(存在多種重疊)。當(dāng)輸入進(jìn)入該空間時,某些神經(jīng)元就會被激活。

神經(jīng)網(wǎng)絡(luò)以概率的視角看待這種逐段模型擬合 (piece-by-piece model fitting),而基于樹的方法則采用確定性的視角。不管怎樣,這兩者的性能都依賴于模型的深度,因?yàn)樗鼈兊慕M件與特征空間的各個部分存在關(guān)聯(lián)。

包含太多組件的模型(對于樹模型而言是節(jié)點(diǎn),對于神經(jīng)網(wǎng)絡(luò)則是神經(jīng)元)會過擬合,而組件太少的模型根本無法給出有意義的預(yù)測。(二者最開始都是記憶數(shù)據(jù)點(diǎn),而不是學(xué)習(xí)泛化。)

要想更直觀地了解神經(jīng)網(wǎng)絡(luò)是如何分割特征空間的,可閱讀這篇介紹通用近似定理的文章:https://medium.com/analytics-vidhya/you-dont-understand-neural-networks-until-you-understand-the-universal-approximation-theory-85b3e7677126。

雖然決策樹有許多強(qiáng)大的變體,如隨機(jī)森林、梯度提升、AdaBoost 和深度森林,但一般來說,基于樹的方法本質(zhì)上是神經(jīng)網(wǎng)絡(luò)的簡化版本。

基于樹的方法通過垂直線和水平線逐段解決問題,以最小化熵(優(yōu)化器和損失)。神經(jīng)網(wǎng)絡(luò)通過激活函數(shù)來逐段解決問題。

基于樹的方法是確定性的,而不是概率性的。這帶來了一些不錯的簡化,如自動特征選擇。

決策樹中被激活的條件節(jié)點(diǎn)類似于神經(jīng)網(wǎng)絡(luò)中被激活的神經(jīng)元(信息流)。

神經(jīng)網(wǎng)絡(luò)通過擬合參數(shù)對輸入進(jìn)行變換,間接指導(dǎo)后續(xù)神經(jīng)元的激活。決策樹則顯式地?cái)M合參數(shù)來指導(dǎo)信息流。(這是確定性與概率性相對應(yīng)的結(jié)果。)

信息在兩個模型中的流動相似,只是在樹模型中的流動方式更簡單。

樹模型的 1 和 0 選擇 VS 神經(jīng)網(wǎng)絡(luò)的概率選擇

當(dāng)然,這是一個抽象的結(jié)論,甚至可能是有爭議的。誠然,建立這種聯(lián)系有許多障礙。不管怎樣,這是理解基于樹的方法何時以及為什么優(yōu)于神經(jīng)網(wǎng)絡(luò)的重要部分。

對于決策樹而言,處理表格或表格形式的結(jié)構(gòu)化數(shù)據(jù)是很自然的。大多數(shù)人都同意用神經(jīng)網(wǎng)絡(luò)執(zhí)行表格數(shù)據(jù)的回歸和預(yù)測屬于大材小用,所以這里做了一些簡化。選擇 1 和 0,而不是概率,是這兩種算法之間差異的主要根源。因此,基于樹的方法可成功應(yīng)用于不需要概率的情況,如結(jié)構(gòu)化數(shù)據(jù)。

例如,基于樹的方法在 MNIST 數(shù)據(jù)集上表現(xiàn)出很好的性能,因?yàn)槊總€數(shù)字都有幾個基本特征。不需要計(jì)算概率,這個問題也不是很復(fù)雜,這就是為什么設(shè)計(jì)良好的樹集成模型性能可以媲美現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò),甚至更好。

通常,人們傾向于說「基于樹的方法只是記住了規(guī)則」,這種說法是對的。神經(jīng)網(wǎng)絡(luò)也是一樣,只不過它能記住更復(fù)雜的、基于概率的規(guī)則。神經(jīng)網(wǎng)絡(luò)并非顯式地對 x》3 這樣的條件給出真 / 假的預(yù)測,而是將輸入放大到一個很高的值,從而得到 sigmoid 值 1 或生成連續(xù)表達(dá)式。

另一方面,由于神經(jīng)網(wǎng)絡(luò)非常復(fù)雜,因此使用它們可以做很多事情。卷積層和循環(huán)層都是神經(jīng)網(wǎng)絡(luò)的杰出變體,因?yàn)樗鼈兲幚淼臄?shù)據(jù)往往需要概率計(jì)算的細(xì)微差別。

很少有圖像可以用 1 和 0 建模。決策樹值不能處理具有許多中間值(例如 0.5)的數(shù)據(jù)集,這就是它在 MNIST 數(shù)據(jù)集上表現(xiàn)很好的原因,在 MNIST 中,像素值幾乎都是黑色或白色,但其他數(shù)據(jù)集的像素值不是(例如 ImageNet)。類似地,文本有太多的信息和太多的異常,無法用確定性的術(shù)語來表達(dá)。

這也是神經(jīng)網(wǎng)絡(luò)主要用于這些領(lǐng)域的原因,也是神經(jīng)網(wǎng)絡(luò)研究在早期(21 世紀(jì)初之前)停滯不前的原因,當(dāng)時無法獲得大量圖像和文本數(shù)據(jù)。神經(jīng)網(wǎng)絡(luò)的其他常見用途僅限于大規(guī)模預(yù)測,比如 YouTube 視頻推薦算法,其規(guī)模非常大,必須用到概率。

任何公司的數(shù)據(jù)科學(xué)團(tuán)隊(duì)可能都會使用基于樹的模型,而不是神經(jīng)網(wǎng)絡(luò),除非他們正在建造一個重型應(yīng)用,比如模糊 Zoom 視頻的背景。但在日常業(yè)務(wù)分類任務(wù)上,基于樹的方法因其確定性特質(zhì),使這些任務(wù)變得輕量級,其方法與神經(jīng)網(wǎng)絡(luò)相同。

在許多實(shí)際情況下,確定性建模比概率建模更自然。例如,預(yù)測用戶是否從某電商網(wǎng)站購買一樣商品,這時樹模型是很好的選擇,因?yàn)橛脩籼烊坏刈裱谝?guī)則的決策過程。用戶的決策過程可能看起來像這樣:

我以前在這個平臺上有過愉快的購物經(jīng)歷嗎?如果有,繼續(xù)。

我現(xiàn)在需要這件商品嗎?(例如,冬天我應(yīng)該買太陽鏡和泳褲嗎?)如果是,繼續(xù)。

根據(jù)我的用戶統(tǒng)計(jì)信息,這是我有興趣購買的產(chǎn)品嗎?如果是,繼續(xù)。

這個東西太貴嗎?如果沒有,繼續(xù)。

其他顧客對這個產(chǎn)品的評價(jià)是否足夠高,讓我可以放心地購買它?如果是,繼續(xù)。

一般來說,人類遵循基于規(guī)則和結(jié)構(gòu)化的決策過程。在這些情況下,概率建模是不必要的。

結(jié)論

最好將基于樹的方法視為神經(jīng)網(wǎng)絡(luò)的縮小版本,以更簡單的方式進(jìn)行特征分類、優(yōu)化、信息流傳遞等。

基于樹的方法和神經(jīng)網(wǎng)絡(luò)方法在用途的主要區(qū)別在于確定性(0/1)與概率性數(shù)據(jù)結(jié)構(gòu)。使用確定性模型可以更好地對結(jié)構(gòu)化(表格)數(shù)據(jù)進(jìn)行建模。

審核編輯:彭靜
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴

原文標(biāo)題:機(jī)器學(xué)習(xí)算法終極對比:樹模型VS神經(jīng)網(wǎng)絡(luò)

文章出處:【微信號:vision263com,微信公眾號:新機(jī)器視覺】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    無刷電機(jī)小波神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)子位置檢測方法的研究

    MATLAB/SIMULINK工具對該方法進(jìn)行驗(yàn)證,實(shí)驗(yàn)結(jié)果表明該方法在全程速度下效果良好。 純分享帖,點(diǎn)擊下方附件免費(fèi)獲取完整資料~~~ *附件:無刷電機(jī)小波神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)子位置檢測方法
    發(fā)表于 06-25 13:06

    神經(jīng)網(wǎng)絡(luò)專家系統(tǒng)在電機(jī)故障診斷中的應(yīng)用

    摘要:針對傳統(tǒng)專家系統(tǒng)不能進(jìn)行自學(xué)習(xí)、自適應(yīng)的問題,本文提出了基于種經(jīng)網(wǎng)絡(luò)專家系統(tǒng)的并步電機(jī)故障診斷方法。本文將小波神經(jīng)網(wǎng)絡(luò)和專家系統(tǒng)相結(jié)合,充分發(fā)揮了二者故障診斷的優(yōu)點(diǎn),很大程度上降低了對電機(jī)
    發(fā)表于 06-16 22:09

    神經(jīng)網(wǎng)絡(luò)RAS在異步電機(jī)轉(zhuǎn)速估計(jì)中的仿真研究

    眾多方法中,由于其結(jié)構(gòu)簡單,穩(wěn)定性好廣泛受到人們的重視,且已被用于產(chǎn)品開發(fā)。但是MRAS仍存在在低速區(qū)速度估計(jì)精度下降和對電動機(jī)參數(shù)變化非常敏感的問題。本文利用神經(jīng)網(wǎng)絡(luò)的特點(diǎn),使估計(jì)更為簡單、快速
    發(fā)表于 06-16 21:54

    BP神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)的比較

    BP神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)在多個方面存在顯著差異,以下是對兩者的比較: 一、結(jié)構(gòu)特點(diǎn) BP神經(jīng)網(wǎng)絡(luò) : BP神經(jīng)網(wǎng)絡(luò)是一種多層的前饋神經(jīng)網(wǎng)絡(luò)
    的頭像 發(fā)表于 02-12 15:53 ?665次閱讀

    如何優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)率

    優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)率是提高模型訓(xùn)練效率和性能的關(guān)鍵步驟。以下是一些優(yōu)化BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)率的方法: 一、理解學(xué)習(xí)率的重要性 學(xué)習(xí)率決定了模型參數(shù)在每次迭代時更新的幅度。過大的學(xué)習(xí)率可能導(dǎo)致模型在
    的頭像 發(fā)表于 02-12 15:51 ?935次閱讀

    BP神經(jīng)網(wǎng)絡(luò)的優(yōu)缺點(diǎn)分析

    BP神經(jīng)網(wǎng)絡(luò)(Back Propagation Neural Network)作為一種常用的機(jī)器學(xué)習(xí)模型,具有顯著的優(yōu)點(diǎn),同時也存在一些不容忽視的缺點(diǎn)。以下是對BP神經(jīng)網(wǎng)絡(luò)優(yōu)缺點(diǎn)的分析: 優(yōu)點(diǎn)
    的頭像 發(fā)表于 02-12 15:36 ?919次閱讀

    什么是BP神經(jīng)網(wǎng)絡(luò)的反向傳播算法

    BP神經(jīng)網(wǎng)絡(luò)的反向傳播算法(Backpropagation Algorithm)是一種用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的有效方法。以下是關(guān)于BP神經(jīng)網(wǎng)絡(luò)的反向傳播算法的介紹: 一、基本概念 反向傳播算
    的頭像 發(fā)表于 02-12 15:18 ?765次閱讀

    BP神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)的關(guān)系

    BP神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)之間存在著密切的關(guān)系,以下是對它們之間關(guān)系的介紹: 一、BP神經(jīng)網(wǎng)絡(luò)的基本概念 BP神經(jīng)網(wǎng)絡(luò),即反向傳播神經(jīng)網(wǎng)絡(luò)(Backpropagation Neural N
    的頭像 發(fā)表于 02-12 15:15 ?855次閱讀

    人工神經(jīng)網(wǎng)絡(luò)的原理和多種神經(jīng)網(wǎng)絡(luò)架構(gòu)方法

    在上一篇文章中,我們介紹了傳統(tǒng)機(jī)器學(xué)習(xí)的基礎(chǔ)知識和多種算法。在本文中,我們會介紹人工神經(jīng)網(wǎng)絡(luò)的原理和多種神經(jīng)網(wǎng)絡(luò)架構(gòu)方法,供各位老師選擇。 01 人工神經(jīng)網(wǎng)絡(luò) ? 人工
    的頭像 發(fā)表于 01-09 10:24 ?1185次閱讀
    人工<b class='flag-5'>神經(jīng)網(wǎng)絡(luò)</b>的原理和多種<b class='flag-5'>神經(jīng)網(wǎng)絡(luò)</b>架構(gòu)<b class='flag-5'>方法</b>

    卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的比較

    在深度學(xué)習(xí)領(lǐng)域,神經(jīng)網(wǎng)絡(luò)模型被廣泛應(yīng)用于各種任務(wù),如圖像識別、自然語言處理和游戲智能等。其中,卷積神經(jīng)網(wǎng)絡(luò)(CNNs)和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)是兩種常見的模型。 1. 結(jié)構(gòu)差異 1.1 傳統(tǒng)神經(jīng)網(wǎng)絡(luò)
    的頭像 發(fā)表于 11-15 14:53 ?1868次閱讀

    RNN模型與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的區(qū)別

    神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)領(lǐng)域中的一種強(qiáng)大工具,它們能夠模擬人腦處理信息的方式。隨著技術(shù)的發(fā)展,神經(jīng)網(wǎng)絡(luò)的類型也在不斷增加,其中循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)(如前饋
    的頭像 發(fā)表于 11-15 09:42 ?1125次閱讀

    基于LSTM神經(jīng)網(wǎng)絡(luò)的情感分析方法

    情感分析是自然語言處理(NLP)領(lǐng)域的一項(xiàng)重要任務(wù),旨在識別和提取文本中的主觀信息,如情感傾向、情感強(qiáng)度等。隨著深度學(xué)習(xí)技術(shù)的發(fā)展,基于LSTM(長短期記憶)神經(jīng)網(wǎng)絡(luò)的情感分析方法因其出色的序列建模
    的頭像 發(fā)表于 11-13 10:15 ?1274次閱讀

    LSTM神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)準(zhǔn)備方法

    LSTM(Long Short-Term Memory,長短期記憶)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)準(zhǔn)備方法是一個關(guān)鍵步驟,它直接影響到模型的性能和效果。以下是一些關(guān)于LSTM神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)準(zhǔn)備的建議和
    的頭像 發(fā)表于 11-13 10:08 ?2113次閱讀

    LSTM神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與工作機(jī)制

    LSTM(Long Short-Term Memory,長短期記憶)神經(jīng)網(wǎng)絡(luò)是一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN),設(shè)計(jì)用于解決長期依賴問題,特別是在處理時間序列數(shù)據(jù)時表現(xiàn)出色。以下是LSTM神經(jīng)網(wǎng)絡(luò)
    的頭像 發(fā)表于 11-13 10:05 ?1631次閱讀

    matlab 神經(jīng)網(wǎng)絡(luò) 數(shù)學(xué)建模數(shù)值分析

    matlab神經(jīng)網(wǎng)絡(luò) 數(shù)學(xué)建模數(shù)值分析 精通的可以討論下
    發(fā)表于 09-18 15:14