案例簡介

在本案例中，元形水滴通過與 NVIDIA 合作，利用先進(jìn)的 GPU 加速技術(shù)，顯著提升了 3D 數(shù)字人技術(shù)的性能與體驗(yàn)。

本案例主要應(yīng)用到NVIDIA 的ACE NIMs微服務(wù)。

以前沿技術(shù)賦能文旅文創(chuàng)

杭州元形水滴智能科技有限公司專注于通過 AR（增強(qiáng)現(xiàn)實(shí)）、VR（虛擬現(xiàn)實(shí)）、XR（擴(kuò)展現(xiàn)實(shí)）以及 AIGC（人工智能生成內(nèi)容）等前沿技術(shù)，賦能文旅和文創(chuàng)等商業(yè)場景。公司目標(biāo)客戶涵蓋企業(yè)展廳、智慧文旅、文創(chuàng)及元宇宙互動(dòng)等領(lǐng)域，旨在連接物理與數(shù)字空間，架起現(xiàn)實(shí)世界與虛擬世界之間的橋梁，創(chuàng)造無縫且豐富的互動(dòng)體驗(yàn)。

元形水滴 3D 數(shù)字人技術(shù)面臨的挑戰(zhàn)

在 3D 數(shù)字人技術(shù)的開發(fā)與應(yīng)用過程中，元形水滴面臨諸多挑戰(zhàn)。首先，數(shù)字人需具備高效的語音識(shí)別與合成能力，以實(shí)現(xiàn)自然流暢的交互體驗(yàn)。然而，傳統(tǒng)語音識(shí)別與合成技術(shù)在處理復(fù)雜語境及多樣化語音時(shí)，常出現(xiàn)準(zhǔn)確率低、響應(yīng)速度慢的問題。其次，數(shù)字人的唇形生成技術(shù)需與語音精準(zhǔn)同步，確保視覺與聽覺的高度協(xié)調(diào)，這對技術(shù)的精確度和實(shí)時(shí)性提出了極高要求。此外，數(shù)字人技術(shù)的開發(fā)對計(jì)算資源的需求巨大，而傳統(tǒng) CPU 的計(jì)算能力難以滿足實(shí)時(shí)處理的需求。因此，如何在保障技術(shù)質(zhì)量的同時(shí)提升計(jì)算效率，成為元形水滴仍待攻克的難題。

NVIDIA 助力元形水滴突破數(shù)字人技術(shù)瓶頸

為了解決上述挑戰(zhàn)，杭州元形水滴智能科技有限公司選擇了 NVIDIA 的 ACE NIMs 微服務(wù)。通過 Riva 框架，元形水滴實(shí)現(xiàn)了高效的 ASR 和 TTS 功能，語音識(shí)別的準(zhǔn)確率提升了 80%，語音合成的自然度也得到了顯著改善。Riva 的 GPU 加速能力使得語音處理的速度提高了 10 倍，能夠?qū)崟r(shí)響應(yīng)用戶的語音指令。

在唇形生成方面，元形水滴利用 Audio2Face-3D 技術(shù)，成功實(shí)現(xiàn)了數(shù)字人唇形與語音的精準(zhǔn)同步。該技術(shù)能夠根據(jù)語音內(nèi)容實(shí)時(shí)生成相應(yīng)的唇形動(dòng)畫，提升了數(shù)字人交互的真實(shí)感和沉浸感。

通過這些技術(shù)的應(yīng)用，元形水滴不僅提升了數(shù)字人技術(shù)的整體性能，還大幅縮短了開發(fā)周期，使得數(shù)字人解決方案能夠更快地投入市場。

NVIDIA 技術(shù)賦能元形水滴智能業(yè)務(wù)發(fā)展

NVIDIA 的產(chǎn)品和技術(shù)對杭州元形水滴的業(yè)務(wù)發(fā)展產(chǎn)生了深遠(yuǎn)的影響。通過使用 ACE NIMs 服務(wù)，元形水滴的數(shù)字人技術(shù)在語音識(shí)別、合成和唇形生成等方面取得了顯著進(jìn)展，極大地提升了用戶體驗(yàn)和市場競爭力。

在 NVIDIA 初創(chuàng)加速計(jì)劃的支持下，元形水滴智能還獲得了深度學(xué)習(xí)學(xué)院的免費(fèi)課程，提升了團(tuán)隊(duì)的技術(shù)水平。此外，初創(chuàng)加速計(jì)劃提供的云服務(wù)資源也為元形水滴的技術(shù)研發(fā)提供了強(qiáng)有力的支持，使其能夠在競爭激烈的市場中脫穎而出，最終獲得天使投資人的信賴。

“3D 數(shù)字人技術(shù)是元宇宙等場景未來人機(jī)交互的重要趨勢，NVIDIA 的技術(shù)為我們提供了強(qiáng)大的支持，使我們能夠在這一領(lǐng)域不斷創(chuàng)新。”元形水滴智能的聯(lián)合創(chuàng)始人 & CEO 沈傳立表示。

NVIDIA 初創(chuàng)加速計(jì)劃

NVIDIA 初創(chuàng)加速計(jì)劃 (NVIDIA Inception)為免費(fèi)會(huì)員制，旨在培養(yǎng)顛覆行業(yè)格局的優(yōu)秀創(chuàng)業(yè)公司。該計(jì)劃聯(lián)合國內(nèi)外知名的風(fēng)投機(jī)構(gòu)、創(chuàng)業(yè)孵化器、創(chuàng)業(yè)加速器、行業(yè)合作伙伴以及科技創(chuàng)業(yè)媒體等，打造創(chuàng)業(yè)加速生態(tài)系統(tǒng)。能夠提供產(chǎn)品折扣、技術(shù)支持、市場宣傳、融資對接、業(yè)務(wù)推薦等一系列服務(wù)，加速創(chuàng)業(yè)公司的發(fā)展。