這項(xiàng)邊緣計(jì)算基礎(chǔ)設(shè)施計(jì)劃高調(diào)起步，目前已在其基于 NVIDIA EGX 的系統(tǒng)上實(shí)現(xiàn)數(shù)十種 AI 用途，這些系統(tǒng)由 Triton 推理服務(wù)器管理。

2019 年，美國(guó)郵政總局 （USPS） 每天需要識(shí)別和跟蹤超過 1 億封郵件。

USPS 的 AI 架構(gòu)師 Ryan Simpson 提出了一個(gè)想法。他希望將郵政團(tuán)隊(duì)正在開發(fā)的一個(gè)圖像分析系統(tǒng)擴(kuò)展到更廣泛的領(lǐng)域，以解決這個(gè)大海撈針的問題。

他認(rèn)為如果將邊緣 AI 服務(wù)器戰(zhàn)略性地部署在其處理中心，USPS 便能夠分析每個(gè)中心生成的數(shù)十億張圖像。分析結(jié)果（以幾個(gè)關(guān)鍵數(shù)據(jù)點(diǎn)表示）可以通過網(wǎng)絡(luò)快速分享。

這位數(shù)據(jù)科學(xué)家和來自 NVIDIA 的六位架構(gòu)師以及其他人設(shè)計(jì)了在為期三周的開發(fā)周期中所需的深度學(xué)習(xí)模型，這個(gè)開發(fā)周期就像是一場(chǎng)漫長(zhǎng)的黑客馬拉松。這項(xiàng)工作是邊緣計(jì)算基礎(chǔ)設(shè)施計(jì)劃 （ECIP） 的開端，該計(jì)劃是一個(gè)分布式邊緣 AI 系統(tǒng)，目前正在 USPS 的 NVIDIA EGX 平臺(tái)運(yùn)行。

邊緣AI平臺(tái)

事實(shí)證明，邊緣 AI 能夠?qū)崿F(xiàn)不錯(cuò)的性能。ECIP 已在運(yùn)行另一款類似自動(dòng)眼睛的應(yīng)用程序，用于跟蹤各種業(yè)務(wù)需求的物品。

負(fù)責(zé)監(jiān)管各個(gè)系統(tǒng)（包括 ECIP）的經(jīng)理 Todd Schimmel 表示：“過去需要八到十個(gè)人花上幾天才能找到包裹，現(xiàn)在只需一兩個(gè)人幾個(gè)小時(shí)就能分揀好?！盓CIP 使用的是慧與（HPE）的 NVIDIA 認(rèn)證邊緣服務(wù)器。

另一項(xiàng)分析更能說明問題。該分析表明，在擁有 800 個(gè) CPU 的服務(wù)器網(wǎng)絡(luò)上需要兩周時(shí)間完成的一項(xiàng)計(jì)算機(jī)視覺任務(wù)，而基于一臺(tái) HPE Apollo 6500 服務(wù)器上的 4 個(gè) NVIDIA V100 Tensor Core GPU，只需 20 分鐘就能完成。

如今，每個(gè)邊緣服務(wù)器每天可以處理來自 1000 多臺(tái)郵件處理機(jī)器的 20 TB 圖像。NVIDIA 開源軟件 Triton 推理服務(wù)器充當(dāng)數(shù)字郵遞員，可以根據(jù) 195 個(gè)系統(tǒng)的需求和適合方式，分別提供 AI 模型。

適用于邊緣的新一代應(yīng)用程序

USPS 提出了適用于 ECIP 的新一代應(yīng)用程序的需求，該應(yīng)用程序使用光學(xué)字符識(shí)別 （OCR） 來簡(jiǎn)化其成像工作流程。

“過去，我們會(huì)購(gòu)買新的硬件、軟件，即 OCR 的整個(gè)基礎(chǔ)設(shè)施；或者使用公共云服務(wù)，我們必須將圖像傳輸至云端，這需要大量的帶寬，而且上傳大約 10 億張圖像會(huì)花費(fèi)大量成本?！盨chimmel 說。

現(xiàn)如今，新的 OCR 用例將在由 Kubernetes 管理、Triton 提供服務(wù)的 ECIP 容器內(nèi)作為深度學(xué)習(xí)模型運(yùn)行。

借助這個(gè)系統(tǒng)軟件，ECIP 在疫情最初幾周順利完成了初始部署。運(yùn)營(yíng)商準(zhǔn)備好容器，讓首批系統(tǒng)開始運(yùn)行，同時(shí)交付其他系統(tǒng)，并在安裝各個(gè)節(jié)點(diǎn)的完整網(wǎng)絡(luò)時(shí)更新這些系統(tǒng)。

Schimmel 表示：“部署非常順利。”隨后又補(bǔ)充道：“我們?cè)?2019 年 9 月簽訂合同，2020 年 2 月開始部署系統(tǒng)，到 8 月完成了大部分硬件部署，USPS 對(duì)此很滿意?！?/p>

Triton加快模型交付

作為 ECIP 計(jì)劃中軟件的一部分，Triton 可以自動(dòng)將不同的 AI 模型交付到不同系統(tǒng)，這些系統(tǒng)可能擁有不同版本的 GPU 和 CPU，支持不同的深度學(xué)習(xí)框架。這為邊緣 AI 系統(tǒng)節(jié)省了大量時(shí)間，例如擁有近 200 臺(tái)分布式服務(wù)器的 ECIP 網(wǎng)絡(luò)。

一個(gè)檢查郵件的應(yīng)用程序需要 6 個(gè)以上的深度學(xué)習(xí)模型支持，每個(gè)模型負(fù)責(zé)檢查特定功能。此外，運(yùn)營(yíng)商還期望借助更多的模型來增強(qiáng)應(yīng)用程序，從而在未來實(shí)現(xiàn)更多功能。

Schimmel 表示：“我們目前部署的模型有助于管理郵件和郵政服務(wù)，這有助于我們維護(hù)使命?！?/p>

一批邊緣AI應(yīng)用程序

目前為止，從企業(yè)分析到金融和營(yíng)銷，USPS 的各個(gè)部門已經(jīng)提出了 30 個(gè) ECIP 應(yīng)用程序的想法。Schimmel 希望今年能啟動(dòng)并實(shí)現(xiàn)其中幾個(gè)應(yīng)用。

一個(gè)系統(tǒng)能自動(dòng)檢查包裹的郵費(fèi)是否符合其大小、重量和目的地。另一個(gè)系統(tǒng)則能自動(dòng)破譯損壞的條形碼，該系統(tǒng)最快能在今年夏天上線。

他說道：“這對(duì)我們和客戶都大有益處。我們可以知道一個(gè)特定包裹位于何處。AI 解決方案雖然不是萬(wàn)能的，但它可以填補(bǔ)空白、提升我們的表現(xiàn)?！?/p>

這項(xiàng)工作屬于 USPS 更宏偉的目標(biāo)，他們希望能探索數(shù)字足跡，以造?？蛻舻姆绞浇怄i數(shù)據(jù)的價(jià)值。

他表示：“我們處于邊緣 AI 之旅的起步階段。我們的員工每天都在思考將機(jī)器學(xué)習(xí)應(yīng)用于機(jī)器人、數(shù)據(jù)處理和圖像處理的新方法。”

編輯：jq