中文字幕丝袜制服在线综合,18精品久久久无码午夜福利91 ,在线手机免费AV电影

?背景

在機器學習領域中，學習不平衡的標注數(shù)據(jù)一直是一個常見而具有挑戰(zhàn)性的任務。近年來，視覺 Transformer 作為一種強大的模型，在多個視覺任務上展現(xiàn)出令人滿意的效果。然而，視覺 Transformer 處理長尾分布數(shù)據(jù)的能力和特性，還有待進一步挖掘。

目前，已有的長尾識別模型很少直接利用長尾數(shù)據(jù)對視覺 Transformer（ViT）進行訓練?；诂F(xiàn)成的預訓練權重進行研究可能會導致不公平的比較結果，因此有必要對視覺 Transformer 在長尾數(shù)據(jù)下的表現(xiàn)進行系統(tǒng)性的分析和總結。

論文鏈接：

https://arxiv.org/abs/2212.02015

代碼鏈接：

https://github.com/XuZhengzhuo/LiVT 本文旨在填補這一研究空白，詳細探討了視覺 Transformer 在處理長尾數(shù)據(jù)時的優(yōu)勢和不足之處。本文將重點關注如何有效利用長尾數(shù)據(jù)來提升視覺 Transformer 的性能，并探索解決數(shù)據(jù)不平衡問題的新方法。通過本文的研究和總結，研究團隊有望為進一步改進視覺 Transformer 模型在長尾數(shù)據(jù)任務中的表現(xiàn)提供有益的指導和啟示。這將為解決現(xiàn)實世界中存在的數(shù)據(jù)不平衡問題提供新的思路和解決方案。文章通過一系列實驗發(fā)現(xiàn)，在有監(jiān)督范式下，視覺 Transformer 在處理不平衡數(shù)據(jù)時會出現(xiàn)嚴重的性能衰退，而使用平衡分布的標注數(shù)據(jù)訓練出的視覺 Transformer 呈現(xiàn)出明顯的性能優(yōu)勢。相比于卷積網(wǎng)絡，這一特點在視覺 Transformer 上體現(xiàn)的更為明顯。另一方面，無監(jiān)督的預訓練方法無需標簽分布，因此在相同的訓練數(shù)據(jù)量下，視覺 Transformer 可以展現(xiàn)出類似的特征提取和重建能力。基于以上觀察和發(fā)現(xiàn)，研究提出了一種新的學習不平衡數(shù)據(jù)的范式，旨在讓視覺 Transformer 模型更好地適應長尾數(shù)據(jù)。通過這種范式的引入，研究團隊希望能夠充分利用長尾數(shù)據(jù)的信息，提高視覺 Transformer 模型在處理不平衡標注數(shù)據(jù)時的性能和泛化能力。

?文章貢獻 本文是第一個系統(tǒng)性的研究用長尾數(shù)據(jù)訓練視覺 Transformer 的工作，在此過程中，做出了以下主要貢獻：首先，本文深入分析了傳統(tǒng)有監(jiān)督訓練方式對視覺 Transformer 學習不均衡數(shù)據(jù)的限制因素，并基于此提出了雙階段訓練流程，將視覺 Transformer 模型內在的歸納偏置和標簽分布的統(tǒng)計偏置分階段學習，以降低學習長尾數(shù)據(jù)的難度。其中第一階段采用了流行的掩碼重建預訓練，第二階段采用了平衡的損失進行微調監(jiān)督。

? ?其次，本文提出了平衡的二進制交叉熵損失函數(shù)，并給出了嚴格的理論推導。平衡的二進制交叉熵損失的形式如下：

? ?與之前的平衡交叉熵損失相比，本文的損失函數(shù)在視覺 Transformer 模型上展現(xiàn)出更好的性能，并且具有更快的收斂速度。研究中的理論推導為損失函數(shù)的合理性提供了嚴密的解釋，進一步加強了我們方法的可靠性和有效性。

▲不同損失函數(shù)的收斂速度的比較基于以上貢獻，文章提出了一個全新的學習范式 LiVT，充分發(fā)揮視覺 Transformer 模型在長尾數(shù)據(jù)上的學習能力，顯著提升模型在多個數(shù)據(jù)集上的性能。該方案在多個數(shù)據(jù)集上取得了遠好于視覺 Transformer 基線的性能表現(xiàn)。

▲不同參數(shù)量下在ImageNet-LT上的準確性

▲在ImagNet-LT（左）和iNaturalist18（右）數(shù)據(jù)集上的性能表現(xiàn)

同時，本文還驗證了在相同的訓練數(shù)據(jù)規(guī)模的情況下，使用ImageNet的長尾分布子集（LT）和平衡分布子集（BAL）訓練的 ViT-B 模型展現(xiàn)出相近的重建能力。如 LT-Large-1600 列所示，在 ImageNet-LT 數(shù)據(jù)集中，可以通過更大的模型和 MGP epoch 獲得更好的重建結果。

? ?

總結

本文提供了一種新的基于視覺 Transformer 處理不平衡數(shù)據(jù)的方法 LiVT。LiVT 利用掩碼建模和平衡微調兩個階段的訓練策略，使得視覺 Transformer 能夠更好地適應長尾數(shù)據(jù)分布并學習到更通用的特征表示。該方法不僅在實驗中取得了顯著的性能提升，而且無需額外的數(shù)據(jù)，具有實際應用的可行性。論文的更多細節(jié)請參考論文原文和補充材料。

原文標題：CVPR 2023 | 清華大學提出LiVT，用視覺Transformer學習長尾數(shù)據(jù)

文章出處：【微信公眾號：智能感知與物聯(lián)網(wǎng)技術研究所】歡迎添加關注！文章轉載請注明出處。

聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規(guī)問題，請聯(lián)系本站處理。舉報投訴