一個(gè)在GitHub上一個(gè)開源的鑒黃圖像數(shù)據(jù)集

前方高能預(yù)警，非戰(zhàn)斗人士請(qǐng)火速撤離……

今天給大家介紹一個(gè)在 GitHub 上一個(gè)開源的鑒黃圖像數(shù)據(jù)集，它擁有 158萬(wàn)的數(shù)據(jù)量，叫做 NSFW data source URLs，目前該項(xiàng)目已收獲 918 star 了。

項(xiàng)目地址：

https://github.com/EBazarov/nsfw_data_source_urls

在 raw_data 文件夾里，可以找到不同的 .txt 格式的文檔，每個(gè)文檔都含有一組 URL，以下是關(guān)于該數(shù)據(jù)集的一些統(tǒng)計(jì)信息：

159個(gè) 不同的類別

158.9331 萬(wàn)個(gè) URL

下載并清洗后大約有 500GB，或者說有 130 萬(wàn)張 NSFW 圖像

以下為項(xiàng)目中圖片截圖示例：

注意事項(xiàng)：

1. 建議下載后清洗下數(shù)據(jù)集，例如：

刪除重復(fù)圖片

移動(dòng)被禁止/刪除掉的圖片（它們有一個(gè)特殊的圖像占位符）

找出損壞的數(shù)據(jù)并將其刪除

2. 注意噪聲，一些資源提供了 NSFW 和中性圖像的高度混合數(shù)據(jù)。

3. 該庫(kù)還可以幫助檢索 NSFW 圖像，針對(duì)中性圖像沒有專用的 URL。

值得一提的是，在該項(xiàng)目之前還有一個(gè)類似的開源項(xiàng)目 nsfw_data_scrapper，里面有 22 萬(wàn)張圖像，同樣也可以用來(lái)檢測(cè)或訓(xùn)練鑒黃系統(tǒng)。

聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請(qǐng)聯(lián)系本站處理。舉報(bào)投訴