99精品伊人亚洲|最近国产中文炮友|九草在线视频支援|AV网站大全最新|美女黄片免费观看|国产精品资源视频|精彩无码视频一区|91大神在线后入|伊人终合在线播放|久草综合久久中文

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線(xiàn)課程
  • 觀(guān)看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

半監(jiān)督學(xué)習(xí)最基礎(chǔ)的3個(gè)概念

深度學(xué)習(xí)自然語(yǔ)言處理 ? 來(lái)源:深度學(xué)習(xí)自然語(yǔ)言處理 ? 作者:Neeraj varshney ? 2020-11-02 16:14 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

導(dǎo)讀

今天給大家介紹半監(jiān)督學(xué)習(xí)中的3個(gè)最基礎(chǔ)的概念:一致性正則化,熵最小化和偽標(biāo)簽,并介紹了兩個(gè)經(jīng)典的半監(jiān)督學(xué)習(xí)方法。

沒(méi)看一的點(diǎn)這里哈:半監(jiān)督學(xué)習(xí)入門(mén)基礎(chǔ)(一)

半監(jiān)督學(xué)習(xí) (SSL) 是一種非常有趣的方法,用來(lái)解決機(jī)器學(xué)習(xí)中缺少標(biāo)簽數(shù)據(jù)的問(wèn)題。SSL利用未標(biāo)記的數(shù)據(jù)和標(biāo)記的數(shù)據(jù)集來(lái)學(xué)習(xí)任務(wù)。SSL的目標(biāo)是得到比單獨(dú)使用標(biāo)記數(shù)據(jù)訓(xùn)練的監(jiān)督學(xué)習(xí)模型更好的結(jié)果。這是關(guān)于半監(jiān)督學(xué)習(xí)的系列文章的第2部分,詳細(xì)介紹了一些基本的SSL技術(shù)。

一致性正則化,熵最小化,偽標(biāo)簽

SSL的流行方法是在訓(xùn)練期間往典型的監(jiān)督學(xué)習(xí)中添加一個(gè)新的損失項(xiàng)。通常使用三個(gè)概念來(lái)實(shí)現(xiàn)半監(jiān)督學(xué)習(xí),即一致性正則化、熵最小化和偽標(biāo)簽。在進(jìn)一步討論之前,讓我們先理解這些概念。

一致性正則化強(qiáng)制數(shù)據(jù)點(diǎn)的實(shí)際擾動(dòng)不應(yīng)顯著改變預(yù)測(cè)器的輸出。簡(jiǎn)單地說(shuō),模型應(yīng)該為輸入及其實(shí)際擾動(dòng)變量給出一致的輸出。我們?nèi)祟?lèi)對(duì)于小的干擾是相當(dāng)魯棒的。例如,給圖像添加小的噪聲(例如改變一些像素值)對(duì)我們來(lái)說(shuō)是察覺(jué)不到的。機(jī)器學(xué)習(xí)模型也應(yīng)該對(duì)這種擾動(dòng)具有魯棒性。這通常通過(guò)最小化對(duì)原始輸入的預(yù)測(cè)與對(duì)該輸入的擾動(dòng)版本的預(yù)測(cè)之間的差異來(lái)實(shí)現(xiàn)。

模型對(duì)輸入x及其擾動(dòng)x^的一致性度量

d(.,.) 可以是均方誤差或KL散度或任何其他距離度量。

一致性正則化是利用未標(biāo)記數(shù)據(jù)找到數(shù)據(jù)集所在的平滑流形的一種方法。這種方法的例子包括π模型、Temporal Ensembling,Mean Teacher,Virtual Adversarial Training等。

熵最小化鼓勵(lì)對(duì)未標(biāo)記數(shù)據(jù)進(jìn)行更有信心的預(yù)測(cè),即預(yù)測(cè)應(yīng)該具有低熵,而與ground truth無(wú)關(guān)(因?yàn)間round truth對(duì)于未標(biāo)記數(shù)據(jù)是未知的)。讓我們從數(shù)學(xué)上理解下這個(gè)。

熵的計(jì)算

這里,K是類(lèi)別的數(shù)量,是模型對(duì)x預(yù)測(cè)是否屬于類(lèi)別k的置信度。

此外,輸入示例中所有類(lèi)的置信度之和應(yīng)該為1。這意味著,當(dāng)某個(gè)類(lèi)的預(yù)測(cè)值接近1,而其他所有類(lèi)的預(yù)測(cè)值接近0時(shí),熵將最小化。因此,這個(gè)目標(biāo)鼓勵(lì)模型給出高可信度的預(yù)測(cè)。

理想情況下,熵的最小化將阻止決策邊界通過(guò)附近的數(shù)據(jù)點(diǎn),否則它將被迫產(chǎn)生一個(gè)低可信的預(yù)測(cè)。請(qǐng)參閱下圖以更好地理解此概念。

由不同的半監(jiān)督學(xué)習(xí)方法生成的決策邊界

偽標(biāo)簽是實(shí)現(xiàn)半監(jiān)督學(xué)習(xí)最簡(jiǎn)單的方法。一個(gè)模型一開(kāi)始在有標(biāo)記的數(shù)據(jù)集上進(jìn)行訓(xùn)練,然后用來(lái)對(duì)沒(méi)有標(biāo)記的數(shù)據(jù)進(jìn)行預(yù)測(cè)。它從未標(biāo)記的數(shù)據(jù)集中選擇那些具有高置信度(高于預(yù)定義的閾值)的樣本,并將其預(yù)測(cè)視為偽標(biāo)簽。然后將這個(gè)偽標(biāo)簽數(shù)據(jù)集添加到標(biāo)記數(shù)據(jù)集,然后在擴(kuò)展的標(biāo)記數(shù)據(jù)集上再次訓(xùn)練模型。這些步驟可以執(zhí)行多次。這和自訓(xùn)練很相關(guān)。

在現(xiàn)實(shí)中視覺(jué)和語(yǔ)言上擾動(dòng)的例子

視覺(jué):

翻轉(zhuǎn),旋轉(zhuǎn),裁剪,鏡像等是圖像常用的擾動(dòng)。

語(yǔ)言

反向翻譯是語(yǔ)言中最常見(jiàn)的擾動(dòng)方式。在這里,輸入被翻譯成不同的語(yǔ)言,然后再翻譯成相同的語(yǔ)言。這樣就獲得了具有相同語(yǔ)義屬性的新輸入。

NLP中的反向翻譯

半監(jiān)督學(xué)習(xí)方法

π model:

這里的目標(biāo)是一致性正則化。

π模型鼓勵(lì)模型對(duì)兩個(gè)相同的輸入(即同一個(gè)輸入的兩個(gè)擾動(dòng)變量)輸出之間的一致性。

π模型有幾個(gè)缺點(diǎn),首先,訓(xùn)練計(jì)算量大,因?yàn)槊總€(gè)epoch中單個(gè)輸入需要送到網(wǎng)絡(luò)中兩次。第二,訓(xùn)練目標(biāo)zi?是有噪聲的。

Temporal Ensembling:

這個(gè)方法的目標(biāo)也是一致性正則化,但是實(shí)現(xiàn)方法有點(diǎn)不一樣。

眾所周知,與單一模型相比,模型集成通常能提供更好的預(yù)測(cè)。通過(guò)在訓(xùn)練期間使用單個(gè)模型在不同訓(xùn)練時(shí)期的輸出來(lái)形成集成預(yù)測(cè),這一思想得到了擴(kuò)展。

簡(jiǎn)單來(lái)說(shuō),不是比較模型的相同輸入的兩個(gè)擾動(dòng)的預(yù)測(cè)(如π模型),模型的預(yù)測(cè)與之前的epoch中模型對(duì)該輸入的預(yù)測(cè)的加權(quán)平均進(jìn)行比較。

這種方法克服了π模型的兩個(gè)缺點(diǎn)。它在每個(gè)epoch中,單個(gè)輸入只進(jìn)入一次,而且訓(xùn)練目標(biāo)zi? 的噪聲更小,因?yàn)闀?huì)進(jìn)行滑動(dòng)平均。

這種方法的缺點(diǎn)是需要存儲(chǔ)數(shù)據(jù)集中所有的zi? 。

英文原文:https://medium.com/analytics-vidhya/a-primer-on-semi-supervised-learning-part-2-803f45edac2

責(zé)任編輯:xj

原文標(biāo)題:半監(jiān)督學(xué)習(xí)入門(mén)基礎(chǔ)(二):最基礎(chǔ)的3個(gè)概念

文章出處:【微信公眾號(hào):深度學(xué)習(xí)自然語(yǔ)言處理】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀(guān)點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • SSL
    SSL
    +關(guān)注

    關(guān)注

    0

    文章

    130

    瀏覽量

    26161
  • 半監(jiān)督
    +關(guān)注

    關(guān)注

    0

    文章

    5

    瀏覽量

    6392
  • 機(jī)器學(xué)習(xí)

    關(guān)注

    66

    文章

    8499

    瀏覽量

    134394
  • 深度學(xué)習(xí)
    +關(guān)注

    關(guān)注

    73

    文章

    5557

    瀏覽量

    122685

原文標(biāo)題:半監(jiān)督學(xué)習(xí)入門(mén)基礎(chǔ)(二):最基礎(chǔ)的3個(gè)概念

文章出處:【微信號(hào):zenRRan,微信公眾號(hào):深度學(xué)習(xí)自然語(yǔ)言處理】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    使用MATLAB進(jìn)行無(wú)監(jiān)督學(xué)習(xí)

    無(wú)監(jiān)督學(xué)習(xí)是一種根據(jù)未標(biāo)注數(shù)據(jù)進(jìn)行推斷的機(jī)器學(xué)習(xí)方法。無(wú)監(jiān)督學(xué)習(xí)旨在識(shí)別數(shù)據(jù)中隱藏的模式和關(guān)系,無(wú)需任何監(jiān)督或關(guān)于結(jié)果的先驗(yàn)知識(shí)。
    的頭像 發(fā)表于 05-16 14:48 ?636次閱讀
    使用MATLAB進(jìn)行無(wú)<b class='flag-5'>監(jiān)督學(xué)習(xí)</b>

    新品 | 橋1200V CoolSiC? MOSFET EconoDUAL? 3模塊

    新品橋1200VCoolSiCMOSFETEconoDUAL3模塊采用EconoDUAL3封裝的1200V/1.4mΩ橋模塊。芯片為SiCMOSFETM1H增強(qiáng)型1代、集成NTC溫
    的頭像 發(fā)表于 04-17 17:05 ?335次閱讀
    新品 | <b class='flag-5'>半</b>橋1200V CoolSiC? MOSFET EconoDUAL? <b class='flag-5'>3</b>模塊

    NX-HB-GAN3R2-BSC橋評(píng)估板

    電子發(fā)燒友網(wǎng)站提供《NX-HB-GAN3R2-BSC橋評(píng)估板.pdf》資料免費(fèi)下載
    發(fā)表于 02-18 17:29 ?2次下載
    NX-HB-GAN<b class='flag-5'>3</b>R2-BSC<b class='flag-5'>半</b>橋評(píng)估板

    橋LLC諧振電路的工作原理與模態(tài)分析

    自己寫(xiě)一篇比較詳細(xì)的介紹做參考。作為一個(gè)初學(xué)AC-DC電源的工程師,在整理和學(xué)習(xí)的過(guò)程中難免有一些疏忽和錯(cuò)誤,如發(fā)現(xiàn)問(wèn)題,歡迎大家在評(píng)論區(qū)指出和討論。 1、橋LLC拓?fù)?如圖是橋L
    的頭像 發(fā)表于 02-12 11:03 ?3095次閱讀
    <b class='flag-5'>半</b>橋LLC諧振電路的工作原理與模態(tài)分析

    人工智能和機(jī)器學(xué)習(xí)以及Edge AI的概念與應(yīng)用

    與人工智能相關(guān)各種技術(shù)的概念介紹,以及先進(jìn)的Edge AI(邊緣人工智能)的最新發(fā)展與相關(guān)應(yīng)用。 人工智能和機(jī)器學(xué)習(xí)是現(xiàn)代科技的核心技術(shù) 人工智能(AI)和機(jī)器學(xué)習(xí)(ML)是現(xiàn)代科技的核心技術(shù)之一,且已經(jīng)在許多領(lǐng)域中得到廣泛應(yīng)用
    的頭像 發(fā)表于 01-25 17:37 ?887次閱讀
    人工智能和機(jī)器<b class='flag-5'>學(xué)習(xí)</b>以及Edge AI的<b class='flag-5'>概念</b>與應(yīng)用

    自然語(yǔ)言處理與機(jī)器學(xué)習(xí)的關(guān)系 自然語(yǔ)言處理的基本概念及步驟

    Learning,簡(jiǎn)稱(chēng)ML)是人工智能的一個(gè)核心領(lǐng)域,它使計(jì)算機(jī)能夠從數(shù)據(jù)中學(xué)習(xí)并做出預(yù)測(cè)或決策。自然語(yǔ)言處理與機(jī)器學(xué)習(xí)之間有著密切的關(guān)系,因?yàn)闄C(jī)器學(xué)習(xí)提供了一種強(qiáng)大的工具,用于從大
    的頭像 發(fā)表于 12-05 15:21 ?1915次閱讀

    使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像分類(lèi)的步驟

    (例如,高分辨率、不同光照條件等)。 2. 數(shù)據(jù)收集 獲取數(shù)據(jù)集 :收集或購(gòu)買(mǎi)一個(gè)包含你想要分類(lèi)的圖像的數(shù)據(jù)集。 數(shù)據(jù)標(biāo)注 :確保所有圖像都被正確標(biāo)注,這對(duì)于監(jiān)督學(xué)習(xí)是必要的。 3. 數(shù)據(jù)預(yù)處理 圖像尺寸標(biāo)準(zhǔn)化 :將所有圖像調(diào)整
    的頭像 發(fā)表于 11-15 15:01 ?819次閱讀

    時(shí)空引導(dǎo)下的時(shí)間序列自監(jiān)督學(xué)習(xí)框架

    【導(dǎo)讀】最近,香港科技大學(xué)、上海AI Lab等多個(gè)組織聯(lián)合發(fā)布了一篇時(shí)間序列無(wú)監(jiān)督預(yù)訓(xùn)練的文章,相比原來(lái)的TS2Vec等時(shí)間序列表示學(xué)習(xí)工作,核心在于提出了將空間信息融入到預(yù)訓(xùn)練階段,即在預(yù)訓(xùn)練階段
    的頭像 發(fā)表于 11-15 11:41 ?729次閱讀
    時(shí)空引導(dǎo)下的時(shí)間序列自<b class='flag-5'>監(jiān)督學(xué)習(xí)</b>框架

    加器和全加器的功能特點(diǎn)

    加器和全加器是數(shù)字電路中的基本組件,用于執(zhí)行二進(jìn)制數(shù)的加法運(yùn)算。它們?cè)谟?jì)算機(jī)、微處理器和其他數(shù)字系統(tǒng)中扮演著重要角色。 加器的功能特點(diǎn) 加器是一種簡(jiǎn)單的數(shù)字電路,它能夠?qū)崿F(xiàn)兩個(gè)
    的頭像 發(fā)表于 10-18 11:10 ?3600次閱讀

    【《大語(yǔ)言模型應(yīng)用指南》閱讀體驗(yàn)】+ 基礎(chǔ)知識(shí)學(xué)習(xí)

    收集海量的文本數(shù)據(jù)作為訓(xùn)練材料。這些數(shù)據(jù)集不僅包括語(yǔ)法結(jié)構(gòu)的學(xué)習(xí),還包括對(duì)語(yǔ)言的深層次理解,如文化背景、語(yǔ)境含義和情感色彩等。 自監(jiān)督學(xué)習(xí):模型采用自監(jiān)督學(xué)習(xí)策略,在大量無(wú)標(biāo)簽文本數(shù)據(jù)上學(xué)習(xí)
    發(fā)表于 08-02 11:03

    【《大語(yǔ)言模型應(yīng)用指南》閱讀體驗(yàn)】+ 基礎(chǔ)篇

    章節(jié)最后總結(jié)了機(jī)器學(xué)習(xí)的分類(lèi):有監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)、監(jiān)督學(xué)習(xí)、自監(jiān)督學(xué)習(xí)和強(qiáng)化
    發(fā)表于 07-25 14:33

    三位和四位萬(wàn)用表的區(qū)別

    三位和四位萬(wàn)用表是電子測(cè)量領(lǐng)域中常用的兩種數(shù)字萬(wàn)用表,它們?cè)跍y(cè)量精度、顯示方式、應(yīng)用范圍等方面存在一定的差異。本文將從多個(gè)方面詳細(xì)分析這兩種萬(wàn)用表的區(qū)別。 一、基本概念 三位萬(wàn)用
    的頭像 發(fā)表于 07-14 14:23 ?9928次閱讀

    神經(jīng)網(wǎng)絡(luò)如何用無(wú)監(jiān)督算法訓(xùn)練

    神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的重要組成部分,其訓(xùn)練方式多樣,其中無(wú)監(jiān)督學(xué)習(xí)是一種重要的訓(xùn)練策略。無(wú)監(jiān)督學(xué)習(xí)旨在從未標(biāo)記的數(shù)據(jù)中發(fā)現(xiàn)數(shù)據(jù)內(nèi)在的結(jié)構(gòu)、模式或規(guī)律,從而提取有用的特征表示。這種訓(xùn)練方式對(duì)于大規(guī)模未
    的頭像 發(fā)表于 07-09 18:06 ?1455次閱讀

    深度學(xué)習(xí)中的無(wú)監(jiān)督學(xué)習(xí)方法綜述

    應(yīng)用中往往難以實(shí)現(xiàn)。因此,無(wú)監(jiān)督學(xué)習(xí)在深度學(xué)習(xí)中扮演著越來(lái)越重要的角色。本文旨在綜述深度學(xué)習(xí)中的無(wú)監(jiān)督學(xué)習(xí)方法,包括自編碼器、生成對(duì)抗網(wǎng)絡(luò)、聚類(lèi)算法等,并分析它們的原理、應(yīng)用場(chǎng)景以及優(yōu)
    的頭像 發(fā)表于 07-09 10:50 ?1656次閱讀

    遷移學(xué)習(xí)的基本概念和實(shí)現(xiàn)方法

    遷移學(xué)習(xí)(Transfer Learning)是機(jī)器學(xué)習(xí)領(lǐng)域中的一個(gè)重要概念,其核心思想是利用在一個(gè)任務(wù)或領(lǐng)域中學(xué)到的知識(shí)來(lái)加速或改進(jìn)另一
    的頭像 發(fā)表于 07-04 17:30 ?3433次閱讀