總部位于東京的初創(chuàng)企業(yè) Telexistence 宣布將在日本數(shù)百家全家（FamilyMart）便利店部署NVIDIA AI驅(qū)動的智能機器人來為貨架補貨。

全日本共有 56000 家便利店，密度居全球第三。其中約 16000 家由全家經(jīng)營。Telexistence 希望為這些商店節(jié)省時間，將重復(fù)性的工作（如為貨架補充飲料）交給機器人，使店員能夠處理與顧客互動等更復(fù)雜的任務(wù)。

這只是 Telexistence 機器人的功能之一，這些機器人在NVIDIA Jetson 邊緣 AI 和機器人平臺上運行。該公司還在開發(fā)能夠使用機器人分揀包裹的 AI 倉儲物流系統(tǒng)。

Telexistence 首席執(zhí)行官 Jin Tomioka 表示：“我們希望將機器人部署到各個支持人們?nèi)粘Ｉ畹男袠I(yè)，首先就是便利店這個我們在日常生活中離不開，但卻面臨著勞動力短缺問題的行業(yè)，尤其是在便利店星羅密布的日本?！?/p>

這家成立于 2017 年的公司下一步準(zhǔn)備擴張到美國的便利店。美國的零售業(yè)同樣受到勞動力短缺的困擾，該國目前有 15 萬家便利店，超過一半的消費者表示他們每月至少去一次便利店。

Telexistence將在全家便利店

部署補貨機器人

Telexistence 將于 8 月開始在 300 家全家便利店部署名為 TX SCARA 的補貨機器人，并計劃在未來幾年將這種自主機器人部署到更多的全家便利店以及其他主要的連鎖便利店。

Tomioka 表示：“為了給貨架補貨，便利店店員在里屋耗費了大量本該在外面與顧客打交道的時間。機器人服務(wù)可以讓店員有更多的時間與顧客接觸?！?/p>

TX SCARA 一邊在軌道上運行，一邊通過多個攝像頭掃描每個貨架并使用 AI 識別數(shù)量過少的飲料，然后規(guī)劃補貨路線。這套 AI 系統(tǒng)為飲料自動補貨的成功率達(dá)到 98% 以上。

即便在極少數(shù)情況下，該機器人對飲料的擺放位置判斷失誤或者飲料翻倒，店員也不需要放下手中的工作來讓機器人重新運轉(zhuǎn)。待命的 Telexistence 遠(yuǎn)程操作人員會通過使用 NVIDIA GPU 進(jìn)行視頻流傳輸?shù)奶摂M現(xiàn)實（VR）系統(tǒng)進(jìn)行手動控制，為便利店迅速解決問題。

Telexistence 估計，一家繁忙的便利店每天需要補充 1000 多份飲料。TX SCARA 的云系統(tǒng)會根據(jù)機器人在運行過程中的補貨名稱、日期、時間和數(shù)量來維護(hù)一個產(chǎn)品銷售數(shù)據(jù)庫，使 AI 能夠根據(jù)過去的銷售數(shù)據(jù)考慮哪些商品需要優(yōu)先補貨。

使用 NVIDIA Jetson 進(jìn)行邊緣 AI 處理

TX SCARA 內(nèi)置多個 AI 模型。物體檢測模型可以識別商店里的飲料類型，確定哪種飲料屬于哪個貨架，并且與另一個模型一起幫助檢測機器人手臂的運動，使機器人可以拿起飲料并準(zhǔn)確地將其放在貨架上的產(chǎn)品之間。第三個模型負(fù)責(zé)異常檢測，即識別飲料是否掉落或離開貨架。還有一個模型負(fù)責(zé)檢測每個貨架區(qū)域中哪些飲料的數(shù)量不足。

Telexistence 團隊將自定義的預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)作為基礎(chǔ)模型，通過添加合成和注釋的真實世界數(shù)據(jù)來微調(diào)應(yīng)用的神經(jīng)網(wǎng)絡(luò)。該團隊使用一個模擬環(huán)境創(chuàng)建了 8 萬多張合成圖像用于增強他們的數(shù)據(jù)集，使機器人能夠?qū)W會檢測任何顏色、圖案、照明環(huán)境中的飲料。

該團隊依靠NVIDIA DGX Station來訓(xùn)練 AI 模型。機器人本身使用兩個 NVIDIA Jetson 嵌入式模塊：用于邊緣 AI 處理的NVIDIA Jetson AGX Xavier以及用于傳輸視頻串流數(shù)據(jù)的NVIDIA Jetson TX2模塊。

在軟件方面，該團隊使用用于邊緣 AI 的NVIDIA JetPack SDK和用于高性能推理的NVIDIA TensorRT SDK。

Telexistence 首席機器人自動化官 Pavel Savkin 表示：“如果沒有 TensorRT，我們的模型就無法快速運行，也就無法高效地檢測店里的商品?！?/p>

Telexistence 使用半精度浮點格式（FP16）來進(jìn)一步優(yōu)化其 AI 模型，而非單精度浮點格式（FP32）。