如果說 AI 正處于改變歷史的“iPhone 時(shí)刻”，那么聊天機(jī)器人就是其首批熱門應(yīng)用之一。

聊天機(jī)器人的誕生離不開大語言模型，這是一種基于大規(guī)模數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練的深度學(xué)習(xí)算法，能夠識別、總結(jié)、翻譯、預(yù)測和生成文本及其他形式的內(nèi)容。這類模型可以在由 NVIDIA GeForce 和 RTX GPU 提供支持的 PC 和工作站上本地運(yùn)行。

大語言模型擅長總結(jié)大量文本，通過數(shù)據(jù)分類和挖掘來獲取見解，以及按照用戶指定的風(fēng)格、語氣或形式生成新文本。它們可以促進(jìn)以各種語言進(jìn)行的交流，甚至包括人類語言之外的非常規(guī)“語言”，例如計(jì)算機(jī)代碼或蛋白質(zhì)和基因序列。

首代大語言模型只能處理文本，但后續(xù)迭代針對其他類型的數(shù)據(jù)進(jìn)行了訓(xùn)練。這些多模態(tài)大語言模型可以識別和生成圖像、音頻、視頻和其他內(nèi)容形式。

像 ChatGPT 這樣的聊天機(jī)器人是首批將大語言模型帶給消費(fèi)者的技術(shù)應(yīng)用之一，它們提供了人們熟悉的界面，可以用自然語言提示詞對話并作出回復(fù)。此后，大語言模型用于幫助開發(fā)者編寫代碼，以及協(xié)助科學(xué)家推進(jìn)藥物研發(fā)和疫苗研制。

然而，很多 AI 模型對算力的需求也不容小覷。將各類先進(jìn)優(yōu)化技術(shù)和算法（例如量化）與專為 AI 打造的 RTX GPU 結(jié)合，可為大語言模型“剪枝”，以使其可運(yùn)行于 PC 本地，而無需連接互聯(lián)網(wǎng)。Mistral（為 Chat with RTX 提供支持的大語言模型之一）等新型輕量化大語言模型的異軍突起，降低了對算力和存儲空間的需求。

為何說大語言模型很重要？

大語言模型的適用性很寬，可用于各個行業(yè)和工作流。借助這種多功能性及其本身的高速性能，大語言模型能夠?yàn)閹缀跛谢谡Z言的任務(wù)帶來性能和效率提升。

運(yùn)行在云端 NVIDIA GPU 上的 DeepL

通過 AI 提供精準(zhǔn)的翻譯服務(wù)。

由于通過 AI 和機(jī)器學(xué)習(xí)來確保輸出的準(zhǔn)確性，因此像 DeepL 這樣的大語言模型被廣泛應(yīng)用于語言翻譯。

醫(yī)學(xué)研究人員正在使用教科書和其他醫(yī)學(xué)數(shù)據(jù)訓(xùn)練大語言模型，以期改善患者護(hù)理。零售商正在利用由大語言模型賦能的聊天機(jī)器人，為用戶提供出色的客戶支持體驗(yàn)。金融分析師正在利用大語言模型記錄財(cái)報(bào)電話會議及其他重要會議，并總結(jié)會議內(nèi)容。而這些只是大語言模型應(yīng)用方式的冰山一角。

Chat with RTX 等聊天機(jī)器人和基于大語言模型構(gòu)建的寫作助手正在知識型工作的方方面面留下自己的身影，無論是內(nèi)容營銷、文案寫作還是法律相關(guān)的任務(wù)。編碼助手是大語言模型首批支持的應(yīng)用之一，預(yù)示著由 AI 輔助開發(fā)軟件的未來。目前，ChatDev 為代表的項(xiàng)目，就是將大語言模型和 AI 智能體（可自主幫助回答問題或執(zhí)行任務(wù)的智能機(jī)器人）結(jié)合起來，構(gòu)建了由 AI 驅(qū)動的，可按需提供服務(wù)的虛擬軟件公司。用戶只需告訴系統(tǒng)需要何種應(yīng)用，就可以看著系統(tǒng)開展工作了。

如同日常對話一般輕松

許多人第一次接觸生成式 AI 是通過 ChatGPT 等聊天機(jī)器人，這類機(jī)器人通過自然語言簡化了大語言模型的使用方式，用戶只需告訴模型需要做什么即可。

由大語言模型提供支持的聊天機(jī)器人可以幫助起草營銷文案，提供度假建議，撰寫客戶服務(wù)郵件，甚至創(chuàng)作原創(chuàng)詩歌。

大語言模型在圖像生成和多模態(tài)方面取得的進(jìn)步，擴(kuò)展了聊天機(jī)器人的應(yīng)用領(lǐng)域，增加了分析和生成圖像的功能，同時(shí)保留了簡單易用的用戶體驗(yàn)。用戶只需向機(jī)器人描述圖像或上傳照片并要求系統(tǒng)對其進(jìn)行分析即可。除了聊天之外，還可以利用圖像做視覺輔助。

未來的技術(shù)進(jìn)步將幫助大語言模型擴(kuò)展在邏輯、推理、數(shù)學(xué)等方面的能力，賦予它們復(fù)雜的請求分解為更小子任務(wù)的能力。

AI 智能體方面也取得了進(jìn)展，這類應(yīng)用能夠接受復(fù)雜提示詞，將其分解為更小的提示詞，并自主與大語言模型和其他 AI 系統(tǒng)合作，以便完成提示詞交代的任務(wù)。ChatDev 是一種典型 AI 智能體，并不意味著智能體的僅能用于技術(shù)型任務(wù)。

例如，用戶可以要求個人 AI 旅行智能體為全家預(yù)訂出國度假游。該智能體可以將該任務(wù)分解為多個子任務(wù)，包括行程規(guī)劃、預(yù)訂旅游項(xiàng)目和住宿、創(chuàng)建裝箱單、尋找遛狗服務(wù)人員，然后按順序逐一獨(dú)立執(zhí)行。

借助 RAG 解鎖個人數(shù)據(jù)

雖然大語言模型和聊天機(jī)器人在通用場景下已經(jīng)非常強(qiáng)大，但如果能與個人用戶的數(shù)據(jù)結(jié)合使用，它們將變得更加實(shí)用。通過這種方式，它們可以幫助分析電子郵件以發(fā)現(xiàn)各種趨勢，梳理內(nèi)容繁復(fù)的用戶手冊以找到某個技術(shù)問題的解答，或綜合和分析多年累積的銀行和信用卡對賬單。

將特定數(shù)據(jù)集與大語言模型掛接，檢索增強(qiáng)生成（RAG）是最簡單有效的方法之一。

PC 上的 RAG 示例。

RAG 可利用從外部來源獲取的事實(shí)資料來提高生成式 AI 模型的準(zhǔn)確性和可靠性。通過將大語言模型與幾乎任意外部資源連接，用戶可通過 RAG 與數(shù)據(jù)倉庫“對話”，同時(shí)大語言模型也能借助 RAG 直接引用來源。用戶體驗(yàn)相當(dāng)簡便，只需為聊天機(jī)器人指明文件或目錄即可。

例如，在內(nèi)容策略最佳實(shí)踐、營銷手段以及對特定行業(yè)或客戶群體的基本見解等方面，標(biāo)準(zhǔn)的大語言模型具備相關(guān)常識。然而，如果通過 RAG 將其與用于產(chǎn)品發(fā)布的營銷素材連接起來，大語言模型將能夠分析內(nèi)容并幫助規(guī)劃量身定制的策略。

RAG 適用于任何大語言模型，只要應(yīng)用本身支持 RAG 即可。NVIDIA Chat with RTX 是通過 RAG 將大語言模型連接到個人數(shù)據(jù)集的一個演示示例。它可本地運(yùn)行于配備了 GeForce RTX GPU 或 NVIDIA RTX 專業(yè) GPU 的系統(tǒng)上。

體驗(yàn) Chat with RTX 的速度與私密性

Chat With RTX 是一款能在本地運(yùn)行的個性化聊天機(jī)器人演示應(yīng)用，不僅易于使用，還可免費(fèi)下載。它基于 RAG 構(gòu)建，且支持 TensorRT-LLM 和 RTX 加速 Chat With RTX 支持多個開源大語言模型，包括 Llama 2 和 Mistral。對 Google 的 Gemma 模型的支持將在后續(xù)更新中提供。

Chat with RTX 可通過 RAG

將用戶與其個人數(shù)據(jù)連接起來。

用戶只需將文件放入一個文件夾，并為 Chat With RTX 指明該文件夾的位置，即可輕松將 PC 上的本地文件連接到受支持的大語言模型。之后，Chat With RTX 便可快速回答各類查詢，給出相關(guān)的回復(fù)。

Chat with RTX 運(yùn)行在 GeForce RTX PC 和 NVIDIA RTX 工作站的 Windows 系統(tǒng)上，因此其速度很快，同時(shí)用戶的數(shù)據(jù)保存在本地。Chat with RTX 并不依賴基于云的服務(wù)，用戶可以在本地 PC 上處理敏感數(shù)據(jù)，因此無需與第三方共享數(shù)據(jù)或連接互聯(lián)網(wǎng)。

審核編輯：劉清