企業(yè)能夠通過提供檢索增強生成功能的生產(chǎn)就緒型 NVIDIA NIM 推理微服務(wù)，充分挖掘業(yè)務(wù)數(shù)據(jù)的價值。這些微服務(wù)現(xiàn)已集成到 Cohesity、DataStax、NetApp 和 Snowflake 平臺中。

如果缺乏準(zhǔn)確性，生成式 AI 應(yīng)用不但無法產(chǎn)生價值，有時甚至還會產(chǎn)生負(fù)價值。而準(zhǔn)確性的根源在于數(shù)據(jù)。

為幫助開發(fā)者高效獲取最佳的專有數(shù)據(jù)，以便為他們的 AI 應(yīng)用生成知識淵博的回答，NVIDIA 宣布推出四項全新的 NVIDIA NeMo Retriever NIM 推理微服務(wù)。

Llama 3.1 模型集也同期發(fā)布。當(dāng)與適用于該模型集的 NVIDIA NIM 推理微服務(wù)相結(jié)合時，NeMo Retriever NIM 推理微服務(wù)不僅能夠使企業(yè)擴展到代理式 AI 工作流（在此工作流中，AI 應(yīng)用可以在最少的干預(yù)或監(jiān)督下準(zhǔn)確運行），還能夠提供極為精準(zhǔn)的檢索增強生成（RAG）。

通過 NeMo Retriever，企業(yè)可以將自定義模型與各種業(yè)務(wù)數(shù)據(jù)無縫連接，并使用 RAG 為 AI 應(yīng)用作出高度準(zhǔn)確的回答。這套生產(chǎn)就緒型微服務(wù)實際上為創(chuàng)建高度準(zhǔn)確的 AI 應(yīng)用提供了非常精準(zhǔn)的信息檢索功能。

例如當(dāng)開發(fā)者創(chuàng)建 AI 智能體和客服聊天機器人、分析安全漏洞或從復(fù)雜的供應(yīng)鏈信息中提取洞察時，NeMo Retriever 能夠大幅提高模型的準(zhǔn)確性和吞吐量。

NIM 推理微服務(wù)實現(xiàn)了高性能、易于使用的企業(yè)級推理。開發(fā)者能夠使用 NeMo Retriever NIM 微服務(wù)并充分利用自己的數(shù)據(jù)，來獲得這一切。

已正式發(fā)布的全新 NeMo Retriever 向量化和重排序 NIM 微服務(wù)如下：

NV-EmbedQA-E5-v5：一個常用社區(qū)基礎(chǔ)向量化模型，針對文本問答檢索進行了優(yōu)化

NV-EmbedQA-Mistral7B-v2：一個常用多語言社區(qū)基礎(chǔ)模型，針對文本向量化功能進行了微調(diào)，以實現(xiàn)高度準(zhǔn)確的問答

Snowflake-Arctic-Embed-L：一個經(jīng)過優(yōu)化的社區(qū)模型

NV-RerankQA-Mistral4B-v3：一個常用社區(qū)基礎(chǔ)模型，針對文本重排功能進行了微調(diào)，以實現(xiàn)高度準(zhǔn)確的問答

這些模型加入到 NIM 微服務(wù)集中，可通過 NVIDIA API 目錄輕松訪問。

向量化和重排序模型

NeMo Retriever NIM 微服務(wù)包含兩種模型——向量化和重排序模型，以及確保透明度和可靠性的開放式和商業(yè)化服務(wù)。

RAG 管線示例：使用了適用于 Llama 3.1 的 NVIDIA NIM 微服務(wù)以及適用于客服 AI 聊天機器人應(yīng)用的 NeMo Retriever 向量化和重排序 NIM 微服務(wù)

向量化模型在將文本、圖像、圖表和視頻等各種數(shù)據(jù)轉(zhuǎn)化為數(shù)字向量，并存儲在向量數(shù)據(jù)庫中的同時，獲取其含義和細(xì)微差別。與傳統(tǒng)的大語言模型（LLM）相比，向量化模型速度更快且計算成本更低。

重排序模型可獲取數(shù)據(jù)和查詢，隨后根據(jù)數(shù)據(jù)與查詢的相關(guān)性對數(shù)據(jù)進行評分。與向量化模型相比，這類模型雖然計算復(fù)雜且速度較慢，但能大幅提高準(zhǔn)確性。

NeMo Retriever 提供了兩全其美的解決方案。開發(fā)者可以充分利用 NeMo Retriever 建立一個能夠給企業(yè)提供最有用、最準(zhǔn)確結(jié)果的流程。該流程先通過向量化 NIM 檢索巨大的數(shù)據(jù)網(wǎng)，然后使用重排序 NIM 篩選結(jié)果的相關(guān)性。

通過 NeMo Retriever，開發(fā)者能夠使用先進的開源商業(yè)模型，構(gòu)建極為精準(zhǔn)的文本問答檢索管線。與其他模型相比，NeMo Retriever NIM 微服務(wù)在企業(yè)問答中提供的不準(zhǔn)確答案減少了 30%。

NeMo Retriever 向量化 NIM 和向量化 + 重排序 NIM 微服務(wù)性能與詞法搜索和替代向量的對比。

熱門用例

無論是 RAG 和 AI 智能體解決方案，還是數(shù)據(jù)驅(qū)動的分析，NeMo Retriever 都能夠為各種 AI 應(yīng)用提供助力。

這套微服務(wù)可用于創(chuàng)建能夠作出準(zhǔn)確、情境感知響應(yīng)的智能聊天機器人、幫助分析海量數(shù)據(jù)以識別安全漏洞、從復(fù)雜的供應(yīng)鏈信息中提取洞察等。它們還能勝任許多其他任務(wù)，比如幫助 AI 賦能的零售業(yè)購物顧問提供自然、個性化的購物體驗。

針對這些用例的 NVIDIA AI 工作流為開發(fā)生成式 AI 賦能的技術(shù)提供了一個簡單且能夠獲得支持的起點。

數(shù)十家 NVIDIA 數(shù)據(jù)平臺合作伙伴正在使用 NeMo Retriever NIM 微服務(wù)提高其 AI 模型的準(zhǔn)確性和吞吐量。

DataStax 在其 Astra DB 和超融合平臺中集成了 NeMo Retriever 向量化 NIM 微服務(wù)，使企業(yè)能夠為客戶提供準(zhǔn)確的、經(jīng)過生成式 AI 增強的 RAG 功能，并加快產(chǎn)品上市時間。

Cohesity 將在其 AI 產(chǎn)品 Cohesity Gaia 中集成 NVIDIA NeMo Retriever 微服務(wù)，以便幫助客戶通過 RAG 將自己的數(shù)據(jù)用于驅(qū)動富有洞察力和變革性的生成式 AI 應(yīng)用。

Kinetica 將使用 NVIDIA NeMo Retriever 開發(fā) LLM 智能體。這些智能體能夠通過自然語言與復(fù)雜的網(wǎng)絡(luò)進行交互，從而對中斷或漏洞作出更快的響應(yīng)，將洞察轉(zhuǎn)化為即時行動。

NetApp 正在與 NVIDIA 合作，將 NeMo Retriever 微服務(wù)連接到其智能數(shù)據(jù)基礎(chǔ)設(shè)施上的 EB 級數(shù)據(jù)。所有 NetApp ONTAP 客戶都將能夠“與他們的數(shù)據(jù)無縫對話”，在不影響數(shù)據(jù)安全或隱私的情況下獲得專屬的業(yè)務(wù)洞察。

NVIDIA 全球系統(tǒng)集成商合作伙伴包括埃森哲、德勤、Infosys、LTTS、Tata Consultancy Services、Tech Mahindra 和 Wipro 等，以及服務(wù)交付合作伙伴 Data Monsters、EXLService (愛爾蘭) Limited、Latentview、Quantiphi、Slalom、SoftServe 和 Tredence 正在開發(fā)各種服務(wù)，幫助企業(yè)將 NeMo Retriever NIM 微服務(wù)添加到他們的 AI 管線中。

與其他 NIM 微服務(wù)一起使用

NeMo Retriever NIM 微服務(wù)可與 NVIDIA Riva NIM 微服務(wù)一起使用。后者為各行各業(yè)的語音 AI 應(yīng)用提供強大助力，增強了客戶服務(wù)并且讓數(shù)字人變得栩栩如生。

即將以 Riva NIM 微服務(wù)形式推出的新模型包括：適用于文本轉(zhuǎn)語音應(yīng)用的 FastPitch 和 HiFi-GAN；適用于多語言神經(jīng)機器翻譯的 Megatron；以及適用于自動語音識別的破紀(jì)錄 NVIDIA Parakeet 系列模型。

NVIDIA NIM 微服務(wù)既可以組合使用，也可以單獨使用，為開發(fā)者提供構(gòu)建 AI 應(yīng)用的模塊化方法。這些微服務(wù)還可以在云端、本地或混合環(huán)境中與社區(qū)模型、NVIDIA 模型或用戶自定義模型集成，為開發(fā)者帶來了更大的靈活性。

NVIDIA NIM 微服務(wù)現(xiàn)在可在 ai.nvidia.com 上獲取。企業(yè)可通過 NVIDIA AI Enterprise 軟件平臺使用 NIM 將 AI 應(yīng)用部署到生產(chǎn)中。

NIM 微服務(wù)可在客戶首選的加速基礎(chǔ)設(shè)施上運行，包括亞馬遜云科技、谷歌云、Microsoft Azure 和 Oracle Cloud Infrastructure 的云實例，以及思科、戴爾科技、慧與、聯(lián)想和 Supermicro 等全球服務(wù)器制造合作伙伴的 NVIDIA 認(rèn)證系統(tǒng)。

NVIDIA 開發(fā)者計劃會員很快將能夠免費使用 NIM，以在他們首選的基礎(chǔ)設(shè)施上進行研究、開發(fā)和測試。