99精品伊人亚洲|最近国产中文炮友|九草在线视频支援|AV网站大全最新|美女黄片免费观看|国产精品资源视频|精彩无码视频一区|91大神在线后入|伊人终合在线播放|久草综合久久中文

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

為什么使用ROC曲線?

深度學(xué)習(xí)自然語言處理 ? 來源:AI算法小喵 ? 作者:AI算法小喵 ? 2022-12-15 15:34 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

1.ROC曲線

ROC曲線全稱為受試者工作特征曲線(Receiver Operating Characteristic)。提到ROC曲線就要先說明一下兩個(gè)概念:FPR(偽正類率),TPR(真正類率),它們都是分類任務(wù)的評測指標(biāo)。

1.1 TPR 、FPR

對于一個(gè)二分類任務(wù)(假定為1表示正類, 0表示負(fù)類),對于一個(gè)樣本,分類的結(jié)果總共有四種:

類別實(shí)際為1,被預(yù)測為0,F(xiàn)N(False Negative)

類別實(shí)際為1,被預(yù)測為1,TP(True Positive)

類別實(shí)際為0,被預(yù)測為1,F(xiàn)P(False Positive)

類別實(shí)際為0,被預(yù)測為0,TN(True Negative)

FPR(False Positive Rate)= FP /(FP + TN),即負(fù)類數(shù)據(jù)被預(yù)測為正類的比例;

TPR(True Positive Rate)= TP /(TP + FN),即正類數(shù)據(jù)被預(yù)測為正類的比例。

1.2 ROC曲線

那什么是ROC曲線呢?我們看一下ROC曲線的圖示:

eb98b1e2-7c3f-11ed-8abf-dac502259ad0.png

對于樣本數(shù)據(jù),我們使用分類器對其進(jìn)行分類,分類器會(huì)給出每個(gè)數(shù)據(jù)為正例的概率。我們可以針對此來設(shè)定一個(gè)閾值,當(dāng)某個(gè)樣本被預(yù)測為正例的概率大于這個(gè)閾值時(shí),認(rèn)為該樣本為正例,小于則為負(fù)例。

通過計(jì)算我們就可以得到一個(gè)(TPR , FPR)對,即圖像上的一個(gè)點(diǎn)。通過不斷調(diào)整這個(gè)閾值,就得到若干個(gè)點(diǎn),從而畫出一條曲線。

可以看出,當(dāng)這個(gè)閾值越大時(shí),會(huì)有越多的樣本被預(yù)測為負(fù)例,而這些樣本中其實(shí)也有正例的存在。這樣一來,TPR下降(正例數(shù)據(jù)被預(yù)測為負(fù)例了),F(xiàn)PR下降(負(fù)類數(shù)據(jù)更不會(huì)被預(yù)測為正例,但是影響要比TPR小,所以斜率呈上升趨勢)。

當(dāng)閾值越小時(shí),越多的樣本被預(yù)測為正例,而這些樣本中可能包含是正例,卻被預(yù)測為負(fù)例的樣本以及是負(fù)例卻被預(yù)測為正例的樣本,這樣一來TPR上升(更多的正例樣本被預(yù)測為正例),F(xiàn)PR上升(更多的負(fù)例樣本預(yù)測為正例,影響更大,所以斜率呈下降趨勢)。

1.3 閾值調(diào)整

那么該如何調(diào)整這個(gè)閾值呢?一般來說,分類器會(huì)對一批數(shù)據(jù)的每個(gè)樣本給出一個(gè)是正例的概率,如下圖示,共20個(gè)樣本,class為實(shí)際標(biāo)簽,score為分類器判斷樣本為正例的概率:

ebddefe6-7c3f-11ed-8abf-dac502259ad0.png

對給出的分?jǐn)?shù)進(jìn)行排序,然后依次使用score作為閾值,這樣就得到了20組(FPR, TPR),做出ROC曲線如下:

ec41ba12-7c3f-11ed-8abf-dac502259ad0.png

當(dāng)閾值為1時(shí)就可以到達(dá)ROC曲線上(0, 0)點(diǎn),當(dāng)閾值為0時(shí)就可以到達(dá)ROC曲線上(1, 1) 點(diǎn)。當(dāng)然也不一定就必須使用概率值,也可以使用未經(jīng)過softmax(或其他類似處理)的結(jié)果,使用方法相同,畢竟我們只需要一個(gè)次序。

2.AUC

說完ROC,再來說一下AUC。AUC被定義為ROC曲線下的面積(Area Under Curve),顯然這個(gè)面積小于1。又因?yàn)镽OC曲線一般都處于y=x這條直線的上方,所以AUC一般在0.5到1之間。

2.1 AUC優(yōu)點(diǎn)與含義

使用AUC值作為評價(jià)標(biāo)準(zhǔn)是因?yàn)楹芏鄷r(shí)候ROC曲線并不能清晰的說明哪個(gè)分類器的效果更好,而作為一個(gè)數(shù)值,對應(yīng)AUC更大的分類器效果更好。

AUC的含義為,當(dāng)隨機(jī)挑選一個(gè)正樣本和一個(gè)負(fù)樣本,根據(jù)當(dāng)前的分類器計(jì)算得到的score將這個(gè)正樣本排在負(fù)樣本前面的概率。

2.2AUC與分類器優(yōu)劣

從AUC判斷分類器(預(yù)測模型)優(yōu)劣的標(biāo)準(zhǔn):

AUC = 1,是完美分類器,采用這個(gè)預(yù)測模型時(shí),存在至少一個(gè)閾值能得出完美預(yù)測。絕大多數(shù)預(yù)測的場合,不存在完美分類器。

0.5 < AUC < 1,優(yōu)于隨機(jī)猜測。這個(gè)分類器(模型)妥善設(shè)定閾值的話,能有預(yù)測價(jià)值。

AUC = 0.5,跟隨機(jī)猜測一樣(例:丟銅板),模型沒有預(yù)測價(jià)值。

AUC < 0.5,比隨機(jī)猜測還差;但只要總是反預(yù)測而行,就優(yōu)于隨機(jī)猜測。

ec61ed96-7c3f-11ed-8abf-dac502259ad0.png

3. 為什么使用ROC曲線?

既然已經(jīng)這么多評價(jià)標(biāo)準(zhǔn),為什么還要使用ROC和AUC呢?因?yàn)镽OC曲線有個(gè)很好的特性:當(dāng)測試集中的正負(fù)樣本的分布變化的時(shí)候,ROC曲線能夠保持不變。

在實(shí)際的數(shù)據(jù)集中經(jīng)常會(huì)出現(xiàn)類不平衡(class imbalance)現(xiàn)象,即負(fù)樣本比正樣本多很多(或者相反),而且測試數(shù)據(jù)中的正負(fù)樣本的分布也可能隨著時(shí)間變化。

下圖中,(a)和(c)為ROC曲線,(b)和(d)為Precision-Recal[1]曲線。(a)和(b)展示的是分類其在原始測試集(正負(fù)樣本分布平衡)的結(jié)果,(c)和(d)是將測試集中負(fù)樣本的數(shù)量增加到原來的10倍后,分類器的結(jié)果。

ec85a7a4-7c3f-11ed-8abf-dac502259ad0.png

可以明顯的看出,ROC曲線基本保持原貌,而Precision-Recall曲線則變化較大。

審核編輯 :李倩

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • 數(shù)據(jù)
    +關(guān)注

    關(guān)注

    8

    文章

    7256

    瀏覽量

    91894
  • 曲線
    +關(guān)注

    關(guān)注

    1

    文章

    82

    瀏覽量

    21152

原文標(biāo)題:3. 為什么使用ROC曲線?

文章出處:【微信號:zenRRan,微信公眾號:深度學(xué)習(xí)自然語言處理】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    低壓斷路器電子脫扣器曲線的疑問

    經(jīng)常看施耐德NSX塑殼斷路器脫扣曲線的設(shè)計(jì)師,反饋熱磁式保護(hù)曲線很容易理解。
    的頭像 發(fā)表于 06-24 14:52 ?729次閱讀
    低壓斷路器電子脫扣器<b class='flag-5'>曲線</b>的疑問

    OCAD應(yīng)用:凸輪曲線的優(yōu)化設(shè)計(jì)

    分的運(yùn)動(dòng),因此,凸輪曲線的設(shè)計(jì)也必然是光學(xué)設(shè)計(jì)的重要任務(wù)。 在進(jìn)行凸輪曲線設(shè)計(jì)時(shí),不僅要考慮凸輪轉(zhuǎn)動(dòng)時(shí)確保各活動(dòng)組分之間準(zhǔn)確的間隔尺寸,保證在變焦過程中光學(xué)系統(tǒng)像面的穩(wěn)定,還要考慮到運(yùn)動(dòng)曲線的平滑性以及
    發(fā)表于 05-16 08:50

    OCAD應(yīng)用:凸輪曲線優(yōu)化設(shè)計(jì)

    分的運(yùn)動(dòng),因此,凸輪曲線的設(shè)計(jì)也必然是光學(xué)設(shè)計(jì)的重要任務(wù)。 在進(jìn)行凸輪曲線設(shè)計(jì)時(shí),不僅要考慮凸輪轉(zhuǎn)動(dòng)時(shí)確保各活動(dòng)組分之間準(zhǔn)確的間隔尺寸,保證在變焦過程中光學(xué)系統(tǒng)像面的穩(wěn)定,還要考慮到運(yùn)動(dòng)曲線的平滑性以及
    發(fā)表于 04-28 10:11

    OCAD應(yīng)用:凸輪曲線優(yōu)化設(shè)計(jì)

    分的運(yùn)動(dòng),因此,凸輪曲線的設(shè)計(jì)也必然是光學(xué)設(shè)計(jì)的重要任務(wù)。 在進(jìn)行凸輪曲線設(shè)計(jì)時(shí),不僅要考慮凸輪轉(zhuǎn)動(dòng)時(shí)確保各活動(dòng)組分之間準(zhǔn)確的間隔尺寸,保證在變焦過程中光學(xué)系統(tǒng)像面的穩(wěn)定,還要考慮到運(yùn)動(dòng)曲線的平滑性以及
    發(fā)表于 03-28 08:53

    貼片磁珠的阻抗頻率曲線如何解讀?

    在電子工程領(lǐng)域,貼片磁珠作為一種重要的電子元件,廣泛應(yīng)用于濾波、去耦、電磁干擾(EMI)抑制等場合。為了深入理解其性能特點(diǎn),我們需要掌握如何解讀貼片磁珠的阻抗頻率曲線。本文將詳細(xì)解析這一曲線,幫助
    的頭像 發(fā)表于 03-13 15:46 ?534次閱讀

    OCAD應(yīng)用:凸輪曲線的優(yōu)化設(shè)計(jì)

    分的運(yùn)動(dòng),因此,凸輪曲線的設(shè)計(jì)也必然是光學(xué)設(shè)計(jì)的重要任務(wù)。 在進(jìn)行凸輪曲線設(shè)計(jì)時(shí),不僅要考慮凸輪轉(zhuǎn)動(dòng)時(shí)確保各活動(dòng)組分之間準(zhǔn)確的間隔尺寸,保證在變焦過程中光學(xué)系統(tǒng)像面的穩(wěn)定,還要考慮到運(yùn)動(dòng)曲線的平滑性以及
    發(fā)表于 03-04 10:08

    厚聲貼片電阻的功率降額曲線如何解讀?

    厚聲貼片電阻的功率降額曲線是描述在不同環(huán)境溫度下,電阻額定功率變化規(guī)律的重要工具。以下是對該曲線的詳細(xì)解讀: 一、功率降額曲線的定義 功率降額曲線顯示了在不同環(huán)境溫度下,電阻器在工作溫
    的頭像 發(fā)表于 02-26 14:23 ?474次閱讀
    厚聲貼片電阻的功率降額<b class='flag-5'>曲線</b>如何解讀?

    Roc Yang對2025年半導(dǎo)體市場的分析與展望

    ? Molex莫仕中國銷售副總裁Roc Yang接受《電子發(fā)燒友》的專訪,以下是Roc Yang對2025年半導(dǎo)體市場的分析與展望。 2024年Molex的重大進(jìn)展 回顧2024年,Roc Yang總結(jié)
    的頭像 發(fā)表于 01-06 09:36 ?885次閱讀
    <b class='flag-5'>Roc</b> Yang對2025年半導(dǎo)體市場的分析與展望

    伏安特性曲線

    家人們,聚吡咯和鋁之間是肖特基接觸,為什么測試的伏安特性曲線偏線性呀!我看別人全是那種標(biāo)準(zhǔn)的單向?qū)щ娦园?/div>
    發(fā)表于 12-10 14:31

    參考曲線狀態(tài)評估指南

    在使用OSI系列設(shè)備進(jìn)行應(yīng)變或溫度傳感測試時(shí),取參考是尤為重要的一個(gè)步驟。參考曲線能為我們提供諸如光纖樣品鏈路狀態(tài)、長度等關(guān)鍵信息。因此,準(zhǔn)確理解參考曲線的狀態(tài)對實(shí)驗(yàn)?zāi)芊耥樌M(jìn)行至關(guān)重要。本文旨在
    的頭像 發(fā)表于 11-23 01:04 ?698次閱讀
    參考<b class='flag-5'>曲線</b>狀態(tài)評估指南

    繼電器的機(jī)械特性曲線說明什么?它有何作用?

    繼電器的機(jī)械特性曲線是描述繼電器機(jī)械性能的重要圖表,它展示了繼電器在不同輸入條件下的輸出狀態(tài)。這種曲線通常包括了繼電器的吸合電壓、釋放電壓、吸合電流、釋放電流等參數(shù),以及這些參數(shù)隨時(shí)間變化的關(guān)系
    的頭像 發(fā)表于 09-27 16:55 ?2104次閱讀

    了解在高輸出電流和高溫下工作的 SOA 曲線

    電子發(fā)燒友網(wǎng)站提供《了解在高輸出電流和高溫下工作的 SOA 曲線.pdf》資料免費(fèi)下載
    發(fā)表于 09-12 10:48 ?0次下載
    了解在高輸出電流和高溫下工作的 SOA <b class='flag-5'>曲線</b>

    在設(shè)計(jì)中使用MOSFET安全工作區(qū)曲線

    電子發(fā)燒友網(wǎng)站提供《在設(shè)計(jì)中使用MOSFET安全工作區(qū)曲線.pdf》資料免費(fèi)下載
    發(fā)表于 09-07 10:55 ?2次下載
    在設(shè)計(jì)中使用MOSFET安全工作區(qū)<b class='flag-5'>曲線</b>

    在設(shè)計(jì)中使用MOSFET瞬態(tài)熱阻抗曲線

    電子發(fā)燒友網(wǎng)站提供《在設(shè)計(jì)中使用MOSFET瞬態(tài)熱阻抗曲線.pdf》資料免費(fèi)下載
    發(fā)表于 08-28 09:21 ?19次下載
    在設(shè)計(jì)中使用MOSFET瞬態(tài)熱阻抗<b class='flag-5'>曲線</b>

    MSL額定值和回流曲線

    電子發(fā)燒友網(wǎng)站提供《MSL額定值和回流曲線.pdf》資料免費(fèi)下載
    發(fā)表于 08-26 14:59 ?0次下載
    MSL額定值和回流<b class='flag-5'>曲線</b>