摘要：最近，F(xiàn)acebook 做了一份 AI 年度總結(jié)，詳述了他們過去一年在 AI 上所做的代表性工作。

在 Facebook，我們認(rèn)為，人工智能以更有效的新方式學(xué)習(xí)，就像人類一樣，可以在將人們聚集在一起發(fā)揮重要作用。這一核心信念有助于推動(dòng)我們的 AI 戰(zhàn)略，將投資重點(diǎn)放在與使用真實(shí)數(shù)據(jù)學(xué)習(xí)的系統(tǒng)相關(guān)的長(zhǎng)期研究上，激勵(lì)工程師與更廣泛的人工智能社區(qū)共享尖端工具和平臺(tái)，并最終展示使用技術(shù)造福世界的新方法。

2018 年，我們?cè)诟鱾€(gè)領(lǐng)域都取得了重要進(jìn)展。我們提出了新的研究，除了圖像識(shí)別上的進(jìn)展，在NLP領(lǐng)域，我們現(xiàn)在可以用較少的監(jiān)督數(shù)據(jù)翻譯更多的語言。我們發(fā)布了許多平臺(tái)和工具來幫助其他人將他們的人工智能研究轉(zhuǎn)化為生產(chǎn)應(yīng)用程序，包括我們將目前流行的開源深度學(xué)習(xí)框架PyTorch升級(jí)成新的、更通用的 1.0 版本。除了發(fā)表廣泛的公共研究論文和相關(guān)模型以及數(shù)據(jù)集外，我們還發(fā)現(xiàn)人工智能有潛力通過MRI 掃描（https://code.fb.com/ai-research/fastmri/）、災(zāi)難援助（https://code.fb.com/ai-research/satellite-imagery/）和預(yù)防自殺的工具來改善人們的生活。以下是我們過去一年在人工智能領(lǐng)域所做努力的亮點(diǎn)內(nèi)容。

通過半監(jiān)督和無監(jiān)督訓(xùn)練促進(jìn)人工智能學(xué)習(xí)

Facebook 人工智能研究（FAIR）小組的創(chuàng)建目標(biāo)之一是致力于開發(fā)具有人類智能的系統(tǒng)。實(shí)現(xiàn)這一里程碑還需要多年的研究，但我們相信，我們?cè)?018年所做的努力有助于展示出一條通向通用人工智能的道路。雖然目前大多數(shù) AI 系統(tǒng)使用監(jiān)督學(xué)習(xí)來理解特定的任務(wù)，但對(duì)大量標(biāo)記樣本的需求限制了他們可以學(xué)習(xí)的任務(wù)數(shù)量，并限制了技術(shù)的長(zhǎng)期潛力。這就是為什么我們正在探索多種方法來減少訓(xùn)練中所需的監(jiān)督，包括展示從半監(jiān)督甚至非監(jiān)督數(shù)據(jù)中學(xué)習(xí)從而受益的項(xiàng)目。

例如，為了增加系統(tǒng)可能翻譯或理解的語言數(shù)量，我們演示了一種新的方法（https://code.fb.com/ai-research/unsupervised-machine-translation-a-novel-approach-to-provide-fast-accurate-translations-for-more-languages/），在無監(jiān)督數(shù)據(jù)上訓(xùn)練自動(dòng)翻譯 NMT 模型，其性能與在監(jiān)督數(shù)據(jù)上訓(xùn)練的系統(tǒng)相當(dāng)。我們的系統(tǒng)的準(zhǔn)確性比以前的無監(jiān)督方法有了很大的提高。通過減少該領(lǐng)域?qū)?biāo)記訓(xùn)練數(shù)據(jù)的大型語料庫的依賴，它打開了翻譯更多語言的大門，包括資源比較少的語言（如烏爾都語），和英語相比，它們的數(shù)據(jù)集是非常有限的。

多種語言中的二維單詞嵌入可以通過簡(jiǎn)單的旋轉(zhuǎn)進(jìn)行對(duì)齊

另一個(gè)項(xiàng)目完全使用資源比較少的語言，使用多種方法來規(guī)避標(biāo)記訓(xùn)練數(shù)據(jù)的相對(duì)稀缺性。這項(xiàng)工作包括使用多語言建模來利用給定語言組（如白俄羅斯語和烏克蘭語）中方言之間的相似性。這是一項(xiàng)應(yīng)用研究，該團(tuán)隊(duì)采用的一系列技術(shù)在今年為我們的自動(dòng)翻譯服務(wù)增加了 24 種語言。此外，在與紐約大學(xué)的合作中，我們?cè)诂F(xiàn)有的 MultiNLI 數(shù)據(jù)集中添加了 14 種語言，這些語言被廣泛用于自然語言理解（NLU）研究，而在此之前，我們只研究了英語。我們更新的 XNLI 數(shù)據(jù)集（https://code.fb.com/ai-research/xlni/）中的語言包括兩種資源很少語言（斯瓦希里語和烏爾都語），我們的方法有助于跨語言理解，從而減少了對(duì)監(jiān)督訓(xùn)練數(shù)據(jù)的需求。

我們還展示了數(shù)據(jù)監(jiān)督的變化，例如通過數(shù)據(jù)精餾（data distillation）將有監(jiān)督和無監(jiān)督的數(shù)據(jù)結(jié)合起來，這一過程稱為全方位監(jiān)督學(xué)習(xí)（omni-supervised learning，https://code.fb.com/ai-research/data-distillation-makes-omni-supervised-learning-possible/）。在基于哈希標(biāo)簽的圖像識(shí)別（https://code.fb.com/ml-applications/advancing-state-of-the-art-image-recognition-with-deep-learning-on-hashtags/）的研究中，我們創(chuàng)造性地利用現(xiàn)有的非傳統(tǒng)標(biāo)簽來生成大量訓(xùn)練數(shù)據(jù)集，這些數(shù)據(jù)集里面基本上是自標(biāo)記數(shù)據(jù)，包括一組 35 億張的 Instagram 公共圖像。該項(xiàng)目建議用戶提供的哈希標(biāo)簽可以充當(dāng)數(shù)據(jù)標(biāo)簽，將現(xiàn)有的圖像轉(zhuǎn)換為弱監(jiān)督訓(xùn)練示例。我們的結(jié)果不僅證明了使用數(shù)十億個(gè)數(shù)據(jù)點(diǎn)對(duì)基于圖像的任務(wù)是非常有效的，而且還使我們打破了一個(gè)重要的記錄，也就是比以前最先進(jìn)的圖像識(shí)別模型在 ImageNet 上的準(zhǔn)確度得分高出 1%。

哈希標(biāo)簽可以幫助計(jì)算機(jī)視覺系統(tǒng)識(shí)別圖像中的特定的子類別和附加元素

加速 AI 研究向生產(chǎn)的轉(zhuǎn)變

AI 已經(jīng)成為 Facebook 幾乎所有產(chǎn)品和服務(wù)的基礎(chǔ)，應(yīng)用程序的多樣性反映在我們的工程師正在構(gòu)建和增強(qiáng)的各種基于 AI 的平臺(tái)和工具中。2018 年我們平臺(tái)工作的共同主題是：將我們正在研究的 AI 技術(shù)轉(zhuǎn)化為可以部署的 AI 系統(tǒng)。

自 2017 年我們發(fā)布 PyTorch 以來，深度學(xué)習(xí)框架已被 AI 社區(qū)廣泛采用，目前，它是 GitHub 上增長(zhǎng)速度第二快的開源項(xiàng)目。PyTorch 的用戶友好界面和靈活的編程環(huán)境使其成為人工智能發(fā)展中快速迭代的通用資源。它的開放設(shè)計(jì)確保了框架將繼續(xù)增長(zhǎng)和改進(jìn)。2018 年，我們希望給 PyTorch 社區(qū)提供一套更統(tǒng)一的工具，重點(diǎn)是將他們的人工智能實(shí)驗(yàn)轉(zhuǎn)化為生產(chǎn)就緒的應(yīng)用程序。

我們?cè)?2018 年 5 月的第 8 次會(huì)議上宣布了框架的更新，詳細(xì)說明了它如何集成 Caffe2（https://caffe2.ai/） 的模塊化、面向生產(chǎn)的功能以及新擴(kuò)展的ONNX（https://code.fb.com/developer-tools/onnx-expansion-speeds-ai-development/），以簡(jiǎn)化從原型系統(tǒng)到部署的整個(gè) AI 開發(fā)流程。10 月，我們?cè)诘谝淮?PyTorch 開發(fā)者大會(huì)上發(fā)布了PyTorch 1.0 開發(fā)者預(yù)覽版（https://code.fb.com/ai-research/facebook-accelerates-ai-development-with-new-partners-and-production-capabilities-for-pytorch-1-0/），在會(huì)議上我們還展示了框架快速增長(zhǎng)的合作伙伴和平臺(tái)生態(tài)系統(tǒng)。Google、Microsoft、NVIDIA、Tesla 和許多其他技術(shù)提供商在那次活動(dòng)中討論了他們的現(xiàn)狀和與 PyTorch 1.0 的集成計(jì)劃，fast.ai 和 Udacity 都創(chuàng)建了使用新版本來教授深度學(xué)習(xí)的課程。

我們?cè)诮衲?1 月初推出 PyTorch 1.0 完整版，這一版本包括我們一直在做的所有新特性，如能在 eager 和 graph 執(zhí)行模式間無縫過渡的混合前端，改進(jìn)的分布式訓(xùn)練，用于高性能研究的純 C++前端。2018 年我們還發(fā)布了擴(kuò)展 PyTorch 核心功能的工具和平臺(tái)，包括兩個(gè)內(nèi)核庫 (QNNPACK和FBGEMM)，它們能使移動(dòng)設(shè)備和服務(wù)器更容易運(yùn)行最新的 AI 模型，我們還發(fā)布了PyText（https://code.fb.com/ai-research/pytext-open-source-nlp-framework/），這個(gè)框架能加速自然語言處理 (NLP) 開發(fā)。

PyTorch 還為 Horizon（https://code.fb.com/ml-applications/horizon/）提供了基礎(chǔ)，Horizon 是第一個(gè)使用應(yīng)用強(qiáng)化學(xué)習(xí)在大規(guī)模生產(chǎn)環(huán)境中優(yōu)化系統(tǒng)的開源端到端平臺(tái)。Horizon 采用了 RL 大量研究但很少部署的基于決策的方法，并對(duì)其進(jìn)行了調(diào)整，使之用于可能包含數(shù)十億條記錄的數(shù)據(jù)集的應(yīng)用程序。

在 Facebook 內(nèi)部部署該平臺(tái)后，在優(yōu)化流媒體質(zhì)量和改進(jìn) Messenger 中 M suggestions 等用例中，我們開源了 Horizon，使得任何人都可以抵達(dá)連接 RL 研究和生產(chǎn)的橋梁。

顯示 Horizon 反饋循環(huán)的高級(jí)圖。首先，對(duì)現(xiàn)有系統(tǒng)記錄的一些數(shù)據(jù)進(jìn)行預(yù)處理，然后，訓(xùn)練模型并分析離線環(huán)境下的反事實(shí)的策略結(jié)果，最后，將模型部署到一組人員中，并度量真正的策略。來自新模型的數(shù)據(jù)會(huì)反饋到下一個(gè)迭代，大多數(shù)團(tuán)隊(duì)每天都會(huì)部署一個(gè)新模型。

我們還發(fā)布了Glow（https://code.fb.com/ml-applications/glow-a-community-driven-approach-to-ai-infrastructure/），這是一個(gè)社區(qū)驅(qū)動(dòng)型開源框架，支持機(jī)器學(xué)習(xí)硬件加速。Glow 支持一系列不同的編譯器、硬件平臺(tái)和深度學(xué)習(xí)框架，包括 PyTorch，現(xiàn)在支持它的生態(tài)合作伙伴包括 Cadence、Esperanto、英特爾、Marvell 和高通。為了進(jìn)一步鼓勵(lì)業(yè)界使用機(jī)器學(xué)習(xí)，我們發(fā)布了一個(gè)新的機(jī)器學(xué)習(xí)優(yōu)化服務(wù)器設(shè)計(jì)Big Basin v2（https://code.fb.com/ml-applications/the-next-step-in-facebook-s-ai-hardware-infrastructure/），這也是 Open Compute Project（開放計(jì)算項(xiàng)目）的一部分。我們已經(jīng)將新的、模塊化的硬件添加到了數(shù)據(jù)中心機(jī)群，大家可以在 OCP Marketplace（https://www.opencompute.org/contributions）上下載不同版本的 Big Basin v2。

2018 年是 Oculus 研究向 Facebook Reality 實(shí)驗(yàn)室過渡，以及對(duì) AI 和 AR/VR 研究重疊領(lǐng)域進(jìn)行新探索的一年。我們不斷努力，想要開源盡可能多的人工智能相關(guān)工具，作為這些工具的一部分，我們已經(jīng)發(fā)布了 DeepFocus 項(xiàng)目的數(shù)據(jù)和模型，該項(xiàng)目利用深度學(xué)習(xí)算法在 VR 中渲染逼真的視網(wǎng)膜模糊（https://www.oculus.com/blog/introducing-deepfocus-the-ai-rendering-system-powering-half-dome/）。DeepFocus 是一種將深度學(xué)習(xí)用于 AR /VR 的全新應(yīng)用，它使用一個(gè)完全新型的網(wǎng)絡(luò)結(jié)構(gòu)來適配于 Half Dome 頭顯，以及其他頭顯裝置。

在未來的一年，我們希望得到更多關(guān)于所有這些開源工具的反饋。我們將繼續(xù)開發(fā)和開源一系列工具，進(jìn)一步支撐 PyTorch 1.0，幫助整個(gè)開發(fā)社區(qū)，讓前沿人工智能系統(tǒng)走出實(shí)驗(yàn)室，走出研究型論文，投入生產(chǎn)。

構(gòu)建造福所有人的 AI 系統(tǒng)

我們研究廣泛傳播 AI 福祉的技術(shù)已有悠久的歷史，比如創(chuàng)建能生成照片音頻描述的系統(tǒng)，造福于視障人士。在過去一年，我們繼續(xù)開發(fā)基于 AI 的功能來造福世界，包括使用文本分類技術(shù)（https://code.fb.com/ml-applications/under-the-hood-suicide-prevention-tools-powered-by-ai/）來識(shí)別表達(dá)自殺想法言論的帖子，擴(kuò)展現(xiàn)有的自殺預(yù)防工具。這一系統(tǒng)使用單獨(dú)的文本分類器來分析文章和評(píng)論中的文本，如果合適，它將把這些內(nèi)容發(fā)送給 Community Operations 團(tuán)隊(duì)審核。這個(gè)系統(tǒng)利用我們已經(jīng)建立的文本理解模型和跨語言功能，通過支持服務(wù)，來增加可以連接到人員數(shù)量。

我們還發(fā)布了一種使用人工智能快速準(zhǔn)確地幫助確定受災(zāi)最嚴(yán)重地區(qū)的方法（https://code.fb.com/ai-research/satellite-imagery/），無需等待人工標(biāo)注數(shù)據(jù)。這種方法是與 CrowdAI 合作開發(fā)的，有可能以更快的速度和效率向受害者提供救援。在未來，這項(xiàng)技術(shù)還可以用來幫助量化大規(guī)模災(zāi)害的損失，如森林火災(zāi)、洪水和地震。

我們部署了一個(gè)名為Rosetta（https://code.fb.com/ai-research/rosetta-understanding-text-in-images-and-videos-with-machine-learning/）的 ML 系統(tǒng)，它每天從超過 10 億個(gè)公共圖像和視頻幀中提取文本，并使用文本識(shí)別模型來理解文本和圖像的上下文。Rosetta 支持多種語言，能幫助我們理解表情包和視頻的內(nèi)容，包括自動(dòng)識(shí)別違反策略的內(nèi)容。

Rosetta 文本提取兩步模型架構(gòu)

2018 年我們也開始了fastMRI 項(xiàng)目（https://code.fb.com/ai-research/facebook-and-nyu-school-of-medicine-launch-research-collaboration-to-improve-mri/），這是我們與紐約大學(xué)醫(yī)學(xué)院 (NYU School of Medicine) 開展的一項(xiàng)長(zhǎng)期合作，旨在改善影像診斷技術(shù)，起初我們將 MRI 的掃描速度提高了 10 倍。目前的掃描需要一個(gè)小時(shí)或更長(zhǎng)時(shí)間，對(duì)于一些患者或者在某些情況下，這肯定不行，該聯(lián)合研究項(xiàng)目的目的是通過使用深度學(xué)習(xí)，從較少的原始掃描數(shù)據(jù)中生成圖像，增加這種潛在的救生診斷工具的可用性。

fastMRI 的目的不是開發(fā)專有技術(shù)，而是加速領(lǐng)域內(nèi)對(duì)這種技術(shù)的理解，紐約大學(xué)醫(yī)學(xué)院已經(jīng)做了迄今最大的充分采樣的原始 MRI 數(shù)據(jù)集（數(shù)據(jù)集完全匿名）用于研究，也有開源模型來幫助更廣泛的研究社區(qū)開始這項(xiàng)任務(wù)。我們還推出了一個(gè)在線排行榜（http://fastmri.org/leaderboards），大家可以發(fā)布自己的結(jié)果進(jìn)行比較。

左圖：轉(zhuǎn)換成圖像之前的原始 MRI 數(shù)據(jù)。為了獲取診斷研究所需的全部原始數(shù)據(jù)，MRI 掃描會(huì)非常耗時(shí)。右圖：從充分采樣的原始數(shù)據(jù)中獲得的膝關(guān)節(jié)重建 MRI 影像圖。

2018 年，我們還發(fā)表博客詳細(xì)介紹了我們?cè)谄渌I(lǐng)域的工作，包括使用人工智能來改進(jìn)系統(tǒng)（Getafix、 predictive test selection、SapFix、Sapienz 和 Spiral）、提升產(chǎn)品（SLAM 和 Marketplace 中的 AI），以及其他研究工作（wav2letter++，多詞匯表征、多語言嵌入和音頻處理）。

我們對(duì) 2018 年在關(guān)鍵層面（開展基礎(chǔ)研究、部署前沿應(yīng)用、分享使用人工智能幫助他人的新方法）取得的進(jìn)展感到興奮，期待在未來一年繼續(xù)努力。