發(fā)布人：Google Research 軟件工程師 Candice Schumann 和 Susanna Ricco

2016 年，我們推出了 Open Images。此協(xié)作版本包含約 900 萬張含有標(biāo)簽的圖像，涵蓋數(shù)千個對象類別和 600 個類的邊界框注釋。從那之后，我們進(jìn)行了多次更新，如將眾包數(shù)據(jù)發(fā)布到 Open Images Extended 合集，以此提高對象注釋的多樣性。

更新

https://ai.googleblog.com/2019/05/announcing-open-images-v5-and-iccv-2019.html

Open Images Extended

https://storage.googleapis.com/openimages/web/extended.html

雖然這些數(shù)據(jù)集提供的標(biāo)簽擴(kuò)展性很強(qiáng)，但此類標(biāo)簽并沒有關(guān)注人物的敏感屬性，這些屬性對于許多機(jī)器學(xué)習(xí) （ML） 公平性任務(wù)（例如公平性評估和偏見緩解）至關(guān)重要。事實上，找到包含徹底標(biāo)記此類敏感屬性的數(shù)據(jù)集是很困難的，尤其是在計算機(jī)視覺領(lǐng)域。

公平性任務(wù)

https://developers.google.com/machine-learning/crash-course/fairness/video-lecture

今天，我們在 Open Images Extended 合集中引入了更具包容性的人物注釋 （MIAP） 數(shù)據(jù)集。此合集包含更多完整的邊界框注釋，用于包含 10 萬張人物圖像中的的人物類層級結(jié)構(gòu)。每個注釋還帶有可感知到的性別呈現(xiàn)和年齡范圍等公平相關(guān)屬性的標(biāo)簽。作為 Responsible AI 研究的一部分，越來越多的人開始關(guān)注如何減少不公平偏見，我們希望這些注釋能夠激勵已經(jīng)在使用 Open Images 的研究者，將公平分析納入他們的研究中。

Responsible AI 研究

https://ai.google/principles/

交叉描述通過為現(xiàn)有圖像-描述對和輔助描述添加語義相似度人工評分來擴(kuò)展 MS-COCO 評估集（實線），并通過為新的圖像-描述、描述-描述和圖像-圖像對添加人工評分來提高評分密度（虛線）*

Open Images 中的注釋

原始 Open Images 數(shù)據(jù)集中的每個圖像都包含圖像級注釋（寬泛地描述圖像）和包圍特定對象的邊界框。為了避免對同一個對象繪制多個邊界框，我們從標(biāo)簽候選集中臨時刪減了具體性較弱的類，我們將這一過程稱為層級去重。舉個例子，若一個圖像的標(biāo)簽包括動物、 貓，和洗衣機(jī)則該圖像的注釋邊界框為貓和洗衣機(jī)，而不會注釋多余的類 ——動物。

圖像級注釋

https://cloud.google.com/vision/docs/labels

邊界框

https://cloud.google.com/vision/docs/object-localizer

MIAP 數(shù)據(jù)集可用于原始 Open Images 數(shù)據(jù)，集中人物 層級包含的五個類：人物、男人、女人、男孩、女孩。由于這些標(biāo)簽的存在，Open Images 數(shù)據(jù)集對于推進(jìn) Responsible AI 的研究具有獨特的價值，能夠幫助開發(fā)者訓(xùn)練通用的人物檢測器，訪問性別和年齡范圍特定的標(biāo)簽，以實現(xiàn)公平分析和偏見緩解。

Responsible AI

https://ai.google/responsibilities/responsible-ai-practices/

人物檢測器

https://cloud.google.com/video-intelligence/docs/people-detection

然而，我們發(fā)現(xiàn)結(jié)合了層級去重和女人/女孩與男人/男孩之間的社會性區(qū)別后，原始注釋會受到限制。舉個例子，如果要求注釋器針對女孩這一分類繪制邊界框，它們便不會在圖像中的男孩周圍繪制邊界框。注釋器可能會也可能不會在某位女性周圍繪制邊界框，這取決于其對個人年齡的評估以及對女孩這一概念的文化性理解。此類判斷在不同圖像中可能會存在不一致，這取決于單獨的注釋器的文化背景、圖像人物的外表和場景的上下文。因此，某些圖像中的邊界框注釋會不完整，一些較為顯眼的人物沒有得到注釋。

MIAP 中的注釋

新的 MIAP 注釋旨在解決這些限制，實現(xiàn)讓 Open Images 成為推動機(jī)器學(xué)習(xí)公平性研究取得新進(jìn)展的數(shù)據(jù)集的保障。我們不要求注釋器為層級結(jié)構(gòu)中最具體的類（例如，女孩）繪制邊界框，而是將此程序反過來，要求它們?yōu)樾詣e和年齡未知的人物分類繪制邊界框。

所有人物邊界框?qū)脮r都將獲得感知到的性別呈現(xiàn)（很大可能是女性、很大可能是男性，或未知）以及年齡呈現(xiàn)（青年、中年、老年，或未知）等標(biāo)簽。我們認(rèn)識到性別不是二元的，個人的性別認(rèn)同可能與其感知或預(yù)期的性別呈現(xiàn)不符，為了緩解無意識偏見對注釋的影響，這里提示：注釋器，與性別呈現(xiàn)相關(guān)的規(guī)范因文化而異，且會隨時間的推移而變化。

這個過程添加了大量先前丟失的邊界框。

在包含人物的 10 萬張圖像中，人物邊界框的數(shù)量從 35.8 萬左右增加到 45.4 萬左右。各個感知性別呈現(xiàn)和感知年齡呈現(xiàn)的邊界框數(shù)量持續(xù)增加。這些新注釋為人物檢測器的訓(xùn)練提供了更完整的基本事實，并提供了更準(zhǔn)確的子組標(biāo)簽，以將公平性納入計算機(jī)視覺研究。

預(yù)期用例

我們?yōu)槿宋镞吔缈虻母兄挲g范圍和性別呈現(xiàn)納入了注釋，因為我們認(rèn)為有必要添加此類注釋，以便提高能力，實現(xiàn)更好的理解以及努力緩解并消除圖像理解領(lǐng)域，受保護(hù)子組之間的不公平偏見或不同性能。

我們注意到，標(biāo)簽捕獲的性別和年齡范圍是第三方僅根據(jù)視覺線索，而不是個人的自我認(rèn)知性別或?qū)嶋H年齡評估出來的。我們不支持也不容忍構(gòu)建或部署根據(jù)這些注釋訓(xùn)練的性別或年齡呈現(xiàn)分類器，因為我們認(rèn)為在公平性研究之外使用這些技術(shù)的相關(guān)風(fēng)險大于任何潛在好處。

風(fēng)險

https://dl.acm.org/doi/10.1145/3173574.3173582

致謝

這項研究背后的核心團(tuán)隊成員包括 Utsav Prabhu、Vittorio Ferrari 和 Caroline Pantofaru。同時，我們還要感謝 Alex Hanna、Reena Jana、Alina Kuznetsova、Matteo Malloci、Stefano Pellegrini、Jordi Pont-Tuset 和 Mahima Pushkarna 對本項目的貢獻(xiàn)。

編輯：jq