當使用監(jiān)督學習(Supervised Learning)對大量高質(zhì)量的標記數(shù)據(jù)(Labeled Data)進行訓練時，神經(jīng)網(wǎng)絡(luò)模型會產(chǎn)生有競爭力的結(jié)果。例如，根據(jù)Paperswithcode網(wǎng)站統(tǒng)計，在ImageNet這一百萬量級的數(shù)據(jù)集上，傳統(tǒng)的監(jiān)督學習方法可以達到超過88%的準確率。然而，獲取大量有標簽的數(shù)據(jù)往往費時費力。

為了緩解對標注數(shù)據(jù)的依賴，「半監(jiān)督學習」(Semi-supervised Learning/SSL)致力于在僅有「少量」的標注數(shù)據(jù)時利用「大量無標簽」數(shù)據(jù)(Unlabeled Data)來提升模型的泛化性。半監(jiān)督學習亦是機器學習的重要主題之一。深度學習之前，這一領(lǐng)域的研究者們提出了諸如半監(jiān)督支持向量機、熵正則化、協(xié)同訓練等經(jīng)典算法。

深度半監(jiān)督學習

隨著深度學習的興起，「深度」半監(jiān)督學習算法也取得了長足的進步。同時，包括Google、Meta和微軟等在內(nèi)的科技巨頭也認識到了半監(jiān)督學習在實際場景中的巨大潛力。例如，Google利用噪聲學生訓練(Noisy student training)這一半監(jiān)督算法提高了其在搜索方面的性能[1]。當前最具代表性的半監(jiān)督算法通常對標注數(shù)據(jù)使用交叉熵損失進行訓練，對無標注數(shù)據(jù)使用「一致性正則」技術(shù)(Consistency Regularization)鼓勵對輸入擾動進行不變預(yù)測。例如，Google在NeurIPS 2020提出的FixMatch[2]算法利用增強錨定(Augmentation Anchoring)和固定閾值(Fixed Thresholding)技術(shù)來增強模型對不同強增強數(shù)據(jù)的泛化性和減少噪聲偽標簽(Noisy Pseudo Labels)的影響。在訓練中，F(xiàn)ixMatch過濾了低于用戶指定(user-provided / pre-defined)閾值的無標簽數(shù)據(jù)。

微軟亞洲研究院與東京工業(yè)大學等在NeurIPS 2021合作提出的FlexMatch[3]則考慮到了「不同類」之間的學習難度不同，因此提出了「課程偽標簽」(Curriculum Pseudo Labeling)技術(shù)對于不同類應(yīng)該采用不同的閾值。具體來說，對于容易學習的類別，模型應(yīng)該設(shè)置高閾值以降低噪聲偽標簽的影響；對于難學習的類，模型應(yīng)該設(shè)置低閾值鼓勵該類的擬合。每個類的學習難度評估取決于落入該類且高于固定值的未標記數(shù)據(jù)樣本的數(shù)量。

同時，研究員和這些學校還合作提出了一個統(tǒng)一的基于Pytorch的半監(jiān)督方法代碼庫「TorchSSL」[4]，對該領(lǐng)域的深度方法、常用數(shù)據(jù)集、和基準結(jié)果進行了統(tǒng)一的支持。

當前「半監(jiān)督學習代碼庫存在的問題與挑戰(zhàn)」

盡管半監(jiān)督學習的發(fā)展如火如荼，但是，研究員們注意到目前大部分半監(jiān)督論文「只關(guān)注」計算機視覺 (CV) 分類任務(wù)，而「其他領(lǐng)域」（例如自然語言處理 (NLP)、音頻處理 (Audio)）研究者無法得知這些在CV任務(wù)上有效的算法是否依然有效。另外，大部分半監(jiān)督論文都是由谷歌，微軟等大型機構(gòu)發(fā)表的，學術(shù)界的實驗室往往由于計算資源的限制不能一起推動半監(jiān)督領(lǐng)域的發(fā)展?？偟膩碚f，半監(jiān)督學習基準目前存在以下兩個問題：

（1）多樣性不足?，F(xiàn)有的半監(jiān)督學習基準大多局限于計算機視覺 (CV) 分類任務(wù)（即 CIFAR-10/100，SVHN，STL-10 和 ImageNet 分類），「排除了對自然語言處理 (NLP)、音頻處理 (Audio) 等分類任務(wù)的一致和多樣化評估，而在NLP和Audio中缺乏足夠的標記數(shù)據(jù)也是一個普遍問題?！?/strong>