99精品伊人亚洲|最近国产中文炮友|九草在线视频支援|AV网站大全最新|美女黄片免费观看|国产精品资源视频|精彩无码视频一区|91大神在线后入|伊人终合在线播放|久草综合久久中文

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

GA-RPN:Region Proposal by Guided Anchoring 引導(dǎo)錨點(diǎn)的建議區(qū)域網(wǎng)絡(luò)

jf_96884364 ? 來源:代碼的路 ? 作者:代碼的路 ? 2023-01-12 09:32 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

原文鏈接

論文地址:https://arxiv.org/pdf/1901.03278.pdf

代碼地址:GitHub - open-mmlab/mmdetection: OpenMMLab Detection Toolbox and Benchmark

1.RPN

RPN即Region Proposal Network,是用RON來選擇感興趣區(qū)域的,即proposal extraction。例如,如果一個區(qū)域的p>0.5,則認(rèn)為這個區(qū)域中可能是80個類別中的某一類,具體是哪一類現(xiàn)在還不清楚。到此為止,網(wǎng)絡(luò)只需要把這些可能含有物體的區(qū)域選取出來就可以了,這些被選取出來的區(qū)域又叫做ROI(Region of Interests),即感興趣的區(qū)域。當(dāng)然RPN同時也會在feature map上框定這些ROI感興趣區(qū)域的大致位置,即輸出Bounding Box。

RPN詳細(xì)介紹:https://mp.weixin.qq.com/s/VXgbJPVoZKjcaZjuNwgh-A

2.Guided Anchoring

通常用(x,y,w,h)來描述一個anchor,即中心點(diǎn)坐標(biāo)和寬高。文章將anchor的分布用條件概率來表示,公式為:

p(x,y,w,h|I)=p(x,y|I)p(w,h|x,y,I)

兩個條件概率的分布,代表給定圖像特征之后anchor的 中心點(diǎn)概率分布 ,和給定圖像特征和中心點(diǎn)之后的 形狀概率分布 。這樣看來,原來我們所獲取anchor的方法就可以看成上述條件概率分布的一個特例,即p(x,y|I)是均勻分布而p(w,h|x,y,I)是沖激函數(shù)。

根據(jù)上面的公式,anchor的生成過程可以分解為兩個步驟,anchor位置預(yù)測和形狀預(yù)測。

論文中用到的方法如下:

這個框架就是在原始的RPN的特征圖基礎(chǔ)上,采用兩個分值分別預(yù)測anchor的位置和形狀,然后再結(jié)合到一起得到anchor。之后采用一個Feature Adaption模塊進(jìn)行anchor特征的調(diào)整,得到新的特征圖供之后的預(yù)測使用(anchor的分類和回歸)。整個方法可以端到端訓(xùn)練,而且相比之前只是增加了3個1×1 conv 和一個3×3 deformable conv,帶來的模型參數(shù)量變化很小。

(1)位置預(yù)測

位置預(yù)測分支的目標(biāo)是預(yù)測哪些區(qū)域應(yīng)該作為中心點(diǎn)來生成anchor,也是一個二分類問題,但是不同于RPN的分類,我們并不是預(yù)測每個點(diǎn)是前景還是背景,而是預(yù)測是不是物體中心。

我們將整個feature map的區(qū)域分為物體中心區(qū)域、外圍區(qū)域和忽略區(qū)域,大致思路就是將groundtruth 框的中心一小塊對應(yīng)在feature map上的區(qū)域標(biāo)為物體中心區(qū)域,在訓(xùn)練的時候作為 正樣本 ,其余區(qū)域按照離中心的距離標(biāo)為忽略或者 負(fù)樣本 。最后通過選擇對應(yīng)概率值高于預(yù)定閾值的位置來確定可能存在對象活動的區(qū)域。F1 對輸入的特征圖使用 1×1 的卷積,得到與 F1 相同分辨率的輸出,N_L 得到輸出的每個位置的值表示原圖I上對應(yīng)位置出現(xiàn)物體的可能性,也就是概率圖,最后通過選擇對應(yīng)概率值高于預(yù)定閾值的位置來確定可能存在對象活動的區(qū)域。

通過位置預(yù)測,我們可以篩選出一小部分區(qū)域作為anchor的候選中心點(diǎn)位置,使得anchor數(shù)量大大降低。這樣在最后我們就可以只針對有anchor的地方進(jìn)行計算。

(2)形狀預(yù)測

形狀預(yù)測分支是目標(biāo)是給定anchor中心點(diǎn),預(yù)測最佳的長和寬,這是一個回歸問題。

采用1×1的卷積網(wǎng)絡(luò) N_s 輸入 F_1,輸出與 F_1 尺寸相同的2通道的特征圖,每個通道分別代表 dw 和 dh,表示每個位置可能的最好的 anchor 尺寸。雖然我們的預(yù)測目標(biāo)是 w 和 h,但是直接預(yù)測這兩個數(shù)字不穩(wěn)定,因為范圍很大,所以將空間近似 [0,1000] 映射到了 [-1,1] 中,公式為:

w=\\sigma \\times s \\times e^{dw},w=\\sigma \\times s \\times e^{dh}

其中 s 是步幅,σ 是經(jīng)驗因子,實驗中取 σ=8。實驗中產(chǎn)生 dw,dh 的雙通道映射,通過這個方程實現(xiàn)了逐像素轉(zhuǎn)換。文章中直接用 IOU 作為監(jiān)督來學(xué)習(xí) w 和 h。

對于 anchor 和 ground truth 匹配問題,傳統(tǒng) RPN 都是直接計算 anchor 和所有 ground truth 的 IOU,然后將anchor 匹配給 IOU 最大的那個 ground truth,但是現(xiàn)在由于我們的改進(jìn),anchor 的 w 和 h 都是不確定的,是一個需要預(yù)測的變量。文中將這個 anchor 和某個 ground truth 的 IOU 表示為:

vIOU(a_{wh},gt)=\\max_{w>0,h>0}IOU_{normal}(a_{wh},gt)

我們不可能把所有可能的 w 和 h 遍歷一遍求 IOU 的最大值,文中采用了9組可能的 w 和 h 作為樣本,近似效果已經(jīng)足夠。

到這里我們就可以生成 anchor 了。這時所生成的 anchor 就是稀疏而且每個位置不一樣的。實驗可得此時的平均 recall 已經(jīng)超過普通的 RPN 了,僅僅是增加了兩個 conv。

(3)特征精調(diào)模塊

由于每個位置的形狀不同,大的anchor對應(yīng)較大感受野,小的anchor對應(yīng)小的感受野。所以不能像之前基于anchor的方法那樣直接對feature map進(jìn)行卷積來預(yù)測,而是要對feature map進(jìn)行feature adaptation。作者利用可變形卷積(deformable convolution)的思想,根據(jù)形狀對各個位置單獨(dú)進(jìn)行轉(zhuǎn)換。

方法就是把a(bǔ)nchor的形狀信息直接融入到特征圖當(dāng)中,得到新的特征圖去適應(yīng)每個位置anchor的形狀。這里就利用了上述的3×3的可變形卷積進(jìn)行對原始特征圖的修正,可變形卷積的變化量是通過anchor的w和h經(jīng)過一個1×1 conv得到的。

f'_i=N_t(f_i,w_i,h_i)

其中,fi 是第 i 個位置的特征,(wi, hi) 是對應(yīng)的 anchor 形狀。NT 通過 3×3 的變形卷積實現(xiàn)。首先通過形狀預(yù)測分支預(yù)測偏移字段 offset field,然后對帶偏移的原始 feature map 做變形卷積獲得 adapted features。之后進(jìn)一步做分類和 bounding box 回歸。

通過這樣的操作,達(dá)到了讓 feature 的有效范圍和 anchor 形狀更加接近的目的,同一個 conv 的不同位置也可以代表不同形狀大小的 anchor 了。

文中實驗結(jié)果示例:

學(xué)習(xí)更多編程知識,請關(guān)注我的公眾號:

[代碼的路]

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 神經(jīng)網(wǎng)絡(luò)

    關(guān)注

    42

    文章

    4813

    瀏覽量

    103414
  • 代碼
    +關(guān)注

    關(guān)注

    30

    文章

    4898

    瀏覽量

    70580
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    BK150-800S35GA1D6 BK150-800S35GA1D6

    電子發(fā)燒友網(wǎng)為你提供AIPULNION(AIPULNION)BK150-800S35GA1D6相關(guān)產(chǎn)品參數(shù)、數(shù)據(jù)手冊,更有BK150-800S35GA1D6的引腳圖、接線圖、封裝手冊、中文資料、英文
    發(fā)表于 03-21 18:38
    BK150-800S35<b class='flag-5'>GA</b>1D6 BK150-800S35<b class='flag-5'>GA</b>1D6

    DA10-220E0524GA9N4 DA10-220E0524GA9N4

    電子發(fā)燒友網(wǎng)為你提供AIPULNION(AIPULNION)DA10-220E0524GA9N4相關(guān)產(chǎn)品參數(shù)、數(shù)據(jù)手冊,更有DA10-220E0524GA9N4的引腳圖、接線圖、封裝手冊、中文資料
    發(fā)表于 03-18 18:53
    DA10-220E0524<b class='flag-5'>GA</b>9N4 DA10-220E0524<b class='flag-5'>GA</b>9N4

    FA10-220S24GA2N4 FA10-220S24GA2N4

    電子發(fā)燒友網(wǎng)為你提供AIPULNION(AIPULNION)FA10-220S24GA2N4相關(guān)產(chǎn)品參數(shù)、數(shù)據(jù)手冊,更有FA10-220S24GA2N4的引腳圖、接線圖、封裝手冊、中文資料、英文資料,F(xiàn)A10-220S24GA2
    發(fā)表于 03-18 18:51
    FA10-220S24<b class='flag-5'>GA</b>2N4 FA10-220S24<b class='flag-5'>GA</b>2N4

    DA5-220E0524GA9N4 DA5-220E0524GA9N4

    電子發(fā)燒友網(wǎng)為你提供AIPULNION(AIPULNION)DA5-220E0524GA9N4相關(guān)產(chǎn)品參數(shù)、數(shù)據(jù)手冊,更有DA5-220E0524GA9N4的引腳圖、接線圖、封裝手冊、中文資料、英文
    發(fā)表于 03-18 18:44
    DA5-220E0524<b class='flag-5'>GA</b>9N4 DA5-220E0524<b class='flag-5'>GA</b>9N4

    VirtualLab Fusion應(yīng)用:光波導(dǎo)的入射耦合和出射耦合區(qū)域

    )。點(diǎn)睛之筆是一個查找表概念,它存儲瑞利矩陣并在后續(xù)運(yùn)行中使用它們,從而提高模擬速度。 靈活的區(qū)域定義 本用例引導(dǎo)您通過靈活的區(qū)域配置在VirtualLab融合,它允許用戶定義各種形狀的區(qū)域
    發(fā)表于 02-25 08:46

    振弦式桿應(yīng)力計的工作原理與數(shù)據(jù)計算方法

    振弦式桿應(yīng)力計是一種用于測量桿所受軸向應(yīng)力的精密儀器,廣泛應(yīng)用于水工結(jié)構(gòu)物、橋梁、隧道、高層建筑等混凝土結(jié)構(gòu)物的健康監(jiān)測中。它通過監(jiān)測桿內(nèi)部振弦的頻率變化來間接反映桿所受的應(yīng)力
    的頭像 發(fā)表于 02-24 13:49 ?424次閱讀
    振弦式<b class='flag-5'>錨</b>桿應(yīng)力計的工作原理與數(shù)據(jù)計算方法

    跨地域企業(yè)組網(wǎng)搭建服務(wù)器的步驟和建議

    跨地域企業(yè)組網(wǎng)搭建服務(wù)器需要綜合考慮網(wǎng)絡(luò)架構(gòu)、安全性、成本和性能等因素。以下是詳細(xì)的搭建步驟和建議: 1、明確需求和規(guī)劃 確定服務(wù)器用途:明確服務(wù)器的功能,如文件存儲、應(yīng)用服務(wù)、數(shù)據(jù)庫服務(wù)等,以選擇
    的頭像 發(fā)表于 02-19 10:58 ?460次閱讀

    InAs量子點(diǎn)面發(fā)射激光器的概述

    團(tuán)隊首次利用?MBE?成長?Al0.3Ga0.7As/In0.5Ga0.5As/Al0.3Ga0.7As雙異質(zhì)接面結(jié)構(gòu),其中In0.5Ga0.5As因為應(yīng)變導(dǎo)致形成島狀的量子
    的頭像 發(fā)表于 02-13 10:54 ?494次閱讀
    InAs量子<b class='flag-5'>點(diǎn)</b>面發(fā)射激光器的概述

    BP神經(jīng)網(wǎng)絡(luò)的調(diào)參技巧與建議

    BP神經(jīng)網(wǎng)絡(luò)的調(diào)參是一個復(fù)雜且關(guān)鍵的過程,涉及多個超參數(shù)的優(yōu)化和調(diào)整。以下是一些主要的調(diào)參技巧與建議: 一、學(xué)習(xí)率(Learning Rate) 重要性 :學(xué)習(xí)率是BP神經(jīng)網(wǎng)絡(luò)中最重要的超參數(shù)之一
    的頭像 發(fā)表于 02-12 16:38 ?795次閱讀

    深視智能SG系列激光測距儀在手機(jī)屏幕盲孔點(diǎn)膠高度引導(dǎo)中的應(yīng)用

    反射率的表面會干擾傳感器的信號,導(dǎo)致測量數(shù)據(jù)不穩(wěn)定,影響點(diǎn)膠的精度和可靠性。圖|手機(jī)屏幕盲孔點(diǎn)引導(dǎo)示意圖深視智能激光位移傳感器具有高兼容性,能夠適應(yīng)多種材質(zhì)和顏
    的頭像 發(fā)表于 01-20 08:18 ?545次閱讀
    深視智能SG系列激光測距儀在手機(jī)屏幕盲孔<b class='flag-5'>點(diǎn)</b>膠高度<b class='flag-5'>引導(dǎo)</b>中的應(yīng)用

    和普威視DF3000重點(diǎn)區(qū)域視頻安全防范系統(tǒng)

    和普威視重點(diǎn)區(qū)域視頻安全防范系統(tǒng)(以下簡稱DF3000),是集用戶管理、視頻監(jiān)控、二三維電子地圖、人車物目標(biāo)識別、區(qū)域智能管控于一身的綜合性安全防范平臺。系統(tǒng)從實際業(yè)務(wù)需求出發(fā),結(jié)合音視頻技術(shù)、深度學(xué)習(xí)技術(shù)、網(wǎng)絡(luò)通信技術(shù)和軟件平
    的頭像 發(fā)表于 01-06 15:22 ?337次閱讀
    和普威視DF3000重<b class='flag-5'>點(diǎn)</b><b class='flag-5'>區(qū)域</b>視頻安全防范系統(tǒng)

    “中國芯”產(chǎn)業(yè)的十年歷程和國內(nèi)集成電路區(qū)域發(fā)展研究(下篇)

    ”“區(qū)域內(nèi)部擴(kuò)張型遷移”“政府引導(dǎo)基金驅(qū)動”等特點(diǎn),并分析面臨的主要問題,同時提出在新發(fā)展格局下我國集成電路產(chǎn)業(yè)區(qū)域發(fā)展的相關(guān)建議。一、我國集成電路產(chǎn)業(yè)
    的頭像 發(fā)表于 10-30 08:08 ?1263次閱讀
    “中國芯”產(chǎn)業(yè)的十年歷程和國內(nèi)集成電路<b class='flag-5'>區(qū)域</b>發(fā)展研究(下篇)

    AWR294x主引導(dǎo)加載程序和輔助引導(dǎo)加載程序

    電子發(fā)燒友網(wǎng)站提供《AWR294x主引導(dǎo)加載程序和輔助引導(dǎo)加載程序.pdf》資料免費(fèi)下載
    發(fā)表于 09-06 09:47 ?0次下載
    AWR294x主<b class='flag-5'>引導(dǎo)</b>加載程序和輔助<b class='flag-5'>引導(dǎo)</b>加載程序

    GA-Z77-DS3H主板電路圖

    技嘉GA-Z77-DS3H主板電路圖583304 GA-Z77-DS3H-R10.pdf
    發(fā)表于 07-29 13:18 ?24次下載

    UWB-AOA單點(diǎn)數(shù)字鑰匙與雷達(dá)

    創(chuàng)始人&CEO都延星表示,全跡ONE與CCC、ICCE等數(shù)字鑰匙標(biāo)準(zhǔn)兼容。在標(biāo)準(zhǔn)的TOF測距過程中,AOA點(diǎn)可自動獲取UWB鑰匙的角度+距離,即單次TOF可完成
    的頭像 發(fā)表于 07-11 17:18 ?961次閱讀
    UWB-AOA單<b class='flag-5'>錨</b>點(diǎn)數(shù)字鑰匙與雷達(dá)