總規(guī)模達到 3 萬億美元的媒體行業(yè)計劃使用 NIM 微服務(wù)、AI Blueprint 等 NVIDIA 技術(shù)簡化 AI 視頻管線并提高受眾的參與度。

從創(chuàng)建 GPU、RTX 實時光線追蹤和神經(jīng)渲染，到如今重塑 AI 計算，NVIDIA 幾十年來一直站在計算機圖形領(lǐng)域的前沿，不斷推動媒體和娛樂行業(yè)的發(fā)展。

NVIDIA Media2 是一項 AI 賦能的全新計劃。它將深入改變內(nèi)容創(chuàng)建、流式傳輸和實時媒體體驗。

Media2 以 NVIDIA NIM 微服務(wù)、AI Blueprint 等技術(shù)，以及初創(chuàng)企業(yè)和軟件合作伙伴的突破性 AI 應(yīng)用為基礎(chǔ)，使用 AI 技術(shù)幫助創(chuàng)建更加智能、更加定制化、更具影響力的內(nèi)容，并且可根據(jù)受眾的個人偏好加以調(diào)整。

在這次創(chuàng)意行業(yè)的快速轉(zhuǎn)型中，積極使用 NVIDIA Media2 的公司能夠站在總規(guī)模達到 3 萬億美元的媒體和娛樂行業(yè)的前沿，重塑受眾的消費和與內(nèi)容互動方式。

Media2 使用的核心 NVIDIA 技術(shù)

隨著生成式 AI 和加速計算在媒體和娛樂行業(yè)的普及，NVIDIA 技術(shù)正在深入改變內(nèi)容的創(chuàng)建、交付和體驗方式。

NVIDIA Holoscan for Media是一個 AI 賦能的軟件定義平臺，它能夠讓廣播公司、流媒體公司和體育直播公司的實時視頻管線與 AI 在同一個基礎(chǔ)設(shè)施上運行。該平臺在 NVIDIA 加速的基礎(chǔ)設(shè)施上提供全行業(yè)廠商的應(yīng)用。

NVIDIA Blackwell 架構(gòu)提供了驅(qū)動下一代數(shù)據(jù)增強型智能內(nèi)容創(chuàng)建和超個性化媒體所需的強大動力。該架構(gòu)專為處理數(shù)據(jù)中心規(guī)模的生成式 AI 工作流構(gòu)建，能耗僅為 NVIDIA Hopper 的 25 分之一。Blackwell 集成了六種類型的芯片，包括 GPU、CPU、DPU、NVIDIA NVLink Switch 芯片、NVIDIA InfiniBand 交換機和以太網(wǎng)交換機。

NVIDIA Blackwell 由 NVIDIA AI Enterprise 提供支持，后者是一個適用于生產(chǎn)級 AI 的端到端軟件平臺。NVIDIA AI Enterprise 包含豐富的 NVIDIA NIM 微服務(wù)、AI 框架、庫和工具，并且這一陣容還在不斷壯大。媒體公司可在 NVIDIA 加速的云、數(shù)據(jù)中心和工作站上部署它們，包括：

Llama 3.1-405B-Instruct NIM 微服務(wù)：可以為聊天機器人、編碼和特定領(lǐng)域任務(wù)提供合成數(shù)據(jù)生成、蒸餾和推理功能。

Mistral-NeMo-12B-Instruct NIM 微服務(wù)：可實現(xiàn)多語種信息檢索，即跨語言搜索、處理和檢索知識的能力，是提高 AI 模型輸出結(jié)果準確性和全球相關(guān)性的關(guān)鍵。

適用于精確視覺生成式 AI 3D 調(diào)節(jié)的 NVIDIA Omniverse Blueprint：能夠幫助廣告主在不影響主要產(chǎn)品資產(chǎn)的情況下，使用實時渲染和生成式 AI 輕松/大規(guī)模地構(gòu)建個性化、符合品牌形象和精準貼合產(chǎn)品的營銷內(nèi)容。

NVIDIA NeMo Retriever 嵌入和重排 NIM 微服務(wù)：能夠?qū)⑽谋疚臋n、文字記錄、新聞文章和其他書面內(nèi)容矢量化。媒體公司可以使用這兩項服務(wù)擴展生成式 AI 方面的工作并構(gòu)建準確的多語種系統(tǒng)。

NVIDIA Cosmos Nemotron 視覺語言模型 NIM 微服務(wù)：這個多模態(tài) VLM 能夠理解文本、圖像和視頻的含義和上下文。借助這項微服務(wù)，媒體公司可以使用自然語言查詢圖像和視頻并獲得包含有用信息的回答。

適用于視頻搜索和摘要（VSS）的 NVIDIA AI Blueprint：繼承了 VLM 和 LLM，并提供用于構(gòu)建視頻分析、搜索和摘要應(yīng)用的云原生構(gòu)建模塊。

NVIDIA Edify 多模態(tài)生成式 AI 架構(gòu)：可根據(jù)文本或圖像提示生成視覺資產(chǎn)，例如圖像、3D 模型和 HDRi 環(huán)境等。該架構(gòu)為開發(fā)者提供了先進的編輯工具和高效的訓練方式。借助 NVIDIA AI Foundry，服務(wù)提供商可以使用 NVIDIA NIM 微服務(wù)為商業(yè)視覺服務(wù)定制 Edify 模型。

Media2 生態(tài)系統(tǒng)中的合作伙伴

全行業(yè)的合作伙伴都在使用 NVIDIA 技術(shù)重塑敘事新篇章。

Getty Images 和 Shutterstock 使用了來 NVIDIA Edify 構(gòu)建智能內(nèi)容創(chuàng)作服務(wù)。它們的 AI 模型還經(jīng)過優(yōu)化和打包，能夠通過 NVIDIA NIM 微服務(wù)實現(xiàn)性能最大化。

Bria 是專為開發(fā)者設(shè)計的商用視覺生成式 AI 平臺。它基于 100% 授權(quán)的數(shù)據(jù)訓練而成，并根據(jù)負責任的 AI 原則構(gòu)建。該平臺提供了用于實現(xiàn)定制管線、無縫集成和靈活部署的工具，保證了企業(yè)級合規(guī)以及內(nèi)容生產(chǎn)的可擴展性和可預測性。經(jīng)過 NVIDIA NIM 微服務(wù)的優(yōu)化，Bria 可提供更加快速、安全和擴展自如的生產(chǎn)就緒解決方案。

Runway 是一個為藝術(shù)家和電影制作人提供先進創(chuàng)作工具的 AI 平臺。該公司的 Gen-3 Alpha Turbo 模型具有出色的視頻生成能力，并且包含一項新的相機控制功能，可實現(xiàn)相機平移、傾斜、變焦等精準的移動。通過集成搭載 NVIDIA GPU 的 NVIDIA CV-CUDA 開源庫，Runway 加快了其分割模型的高分辨率視頻預處理速度。

Autodesk 旗下的 Wonder Dynamics 最近推出了 Wonder Animation 測試版，該測試版采用強大的全新視頻轉(zhuǎn) 3D 場景技術(shù)，可將任何視頻序列轉(zhuǎn)換成用于動畫電影制作的 3D 動畫場景。Wonder Animation 由NVIDIA GPU 技術(shù)提供加速，是一個專為視覺特效藝術(shù)家和動畫師提供的靈活、易用的工具。它大大減少了傳統(tǒng) 3D 動畫和視覺特效工作流的時間、復雜性和工作量，同時讓藝術(shù)家能夠保持對創(chuàng)作的完全掌控。

Comcast 的 Sky 創(chuàng)新團隊正在與 NVIDIA 合作，在其全球平臺上對 NVIDIA NIM 微服務(wù)和合作伙伴模式進行實驗室測試。該整合可以提高全球用戶的互動性和可訪問性，例如在直播體育節(jié)目時使用語音指令請求摘要、訪問其他上下文信息等。

Vū 是一家創(chuàng)意技術(shù)公司，有著大型虛擬工作室網(wǎng)絡(luò)，它正在利用 NVIDIA 加速的生成式 AI 技術(shù)，拓寬創(chuàng)建虛擬環(huán)境和沉浸式內(nèi)容的渠道。

Twelve Labs 是 NVIDIA 初創(chuàng)加速計劃成員。該公司正在開發(fā)先進的多模態(tài)基礎(chǔ)模型。由于這些模型能夠像人類一樣理解視頻，因此可以進行精確的語義搜索、內(nèi)容分析和視頻轉(zhuǎn)文本生成。Twelve Labs 還使用 NVIDIA GPU 大幅提高了這些模型的推理性能，將每秒處理的請求數(shù)最多增加了 7 倍。

S4 Capital 的 Monks 正在使用領(lǐng)先的 AI 技術(shù)對實時內(nèi)容進行細分和提供個性化的觀眾體驗，使直播效果變得更佳。該公司的解決方案由 NVIDIA Holoscan for Media 驅(qū)動，集成了 NVIDIA VILA 等工具，可生成上下文元數(shù)據(jù)并添加到時間可尋址媒體存儲框架中，從而對視頻內(nèi)容進行基于動作的精確搜索。

此外，Monks 還使用 NVIDIA NeMo Curator 幫助處理數(shù)據(jù)，以便為體育聯(lián)盟和 IP 持有者構(gòu)建量身定制的 AI 模型，然后以授權(quán)使用的方式開辟新的變現(xiàn)渠道。通過將這些技術(shù)“糅合”在一起，廣播公司可以隨著賽事的進行向觀眾不間斷地提供超相關(guān)內(nèi)容，同時滿足當今受眾不斷變化的需求。

媒體公司管理著海量視頻內(nèi)容，這些內(nèi)容的定位、編目和編譯成品既困難又耗時。領(lǐng)先的媒體顧問和系統(tǒng)集成商 Qvest 在 NIM 微服務(wù)基礎(chǔ)上開發(fā)了 AI 視頻發(fā)現(xiàn)引擎，該引擎通過自動采集視頻文件的數(shù)據(jù)加快了這一過程，使用戶能夠更加輕松地發(fā)現(xiàn)視頻并聯(lián)系上下文研究如何將視頻融入到其想要講述的故事中。

Verizon 將其安全可靠的 5G 專網(wǎng)與 NVIDIA 全棧 AI 平臺（包含 NVIDIA AI Enterprise 和 NIM 微服務(wù)）整合成最新的邊緣 AI 解決方案，深入改變了全球企業(yè)的運營方式以及直播媒體和體育內(nèi)容。

通過使用該解決方案，流媒體公司、體育聯(lián)盟和 IP 持有者可部署高性能 5G 連接以及能夠?qū)崿F(xiàn)個性化內(nèi)容交付的生成式 AI、代理式 AI、擴展現(xiàn)實和流媒體應(yīng)用，以更強的互動性和沉浸感提升觀眾體驗。該技術(shù)還通過向教練、運動員、裁判和觀眾提供實時數(shù)據(jù)分析，幫助提升運動員的表現(xiàn)和觀眾的參與度。它還支持 5G 驅(qū)動的私有企業(yè) AI 用例，并以此推動自動化和生產(chǎn)力的發(fā)展。

歡迎加入 NVIDIA Media2

NVIDIA Media2 計劃通過智能、數(shù)據(jù)驅(qū)動的沉浸式技術(shù)，幫助企業(yè)重新定義媒體和娛樂的未來，在為他們帶來競爭優(yōu)勢的同時，使他們能夠推動整個行業(yè)的創(chuàng)新。

現(xiàn)在可以試用 NVIDIA 和模型開發(fā)者提供的 NIM 微服務(wù)，未來將定期添加更多模型。