大型語言模型的出現(xiàn)標志著人工智能領域的一次革命性突破。得益于前所未有的訓練規(guī)模和模型參數(shù)，大型語言模型的能力得到了顯著提升，從而在理解、語言合成和常識推理等方面達到了與人類相似的表現(xiàn)。這種在通用AI能力上的重大飛躍將從根本上改變個性化服務的實施模式。

首先，它將改變?nèi)祟惻c個性化系統(tǒng)之間的交互方式。大型語言模型不再是像傳統(tǒng)的推薦系統(tǒng)和搜索引擎那樣的被動信息過濾介質(zhì)，而是為主動用戶參與提供了基礎。在這樣一個新的基礎上，可以主動探索用戶的請求，并以自然、互動和可解釋的方式提供用戶所需的信息。

其次，它還將大大擴展個性化服務的范圍，使其從僅僅收集個性化信息發(fā)展到提供個性化服務的復合功能。通過利用大型語言模型作為通用界面，個性化系統(tǒng)可以將用戶的請求編譯為計劃，調(diào)用外部工具（例如搜索引擎、計算器、服務API等）的功能來執(zhí)行這些計劃，并整合這些工具的輸出，完成端到端的個性化任務。如今，大型語言模型仍在快速發(fā)展，而在個性化應用中還大都未被探索。

因此，我們認為現(xiàn)在是時候?qū)徱晜€性化服務的挑戰(zhàn)以及用大型語言模型來解決它們的機會了。特別是，我們在這篇展望性論文中專門討論了以下幾個方面：現(xiàn)有個性化系統(tǒng)的發(fā)展和挑戰(zhàn)、大型語言模型新出現(xiàn)的能力，以及如何利用大型語言模型進行個性化的潛在方法。

大型語言模型的出現(xiàn)[1]在理解人類表達方面顯示出了顯著的進步，深刻地影響了AI社區(qū)。這些模型配置了大量的數(shù)據(jù)和大規(guī)模的神經(jīng)網(wǎng)絡，展示了在理解人類語言和生成與我們相似的文本方面的卓越能力。其中的能力包括推理[2]、少次學習[3]以及在預訓練模型中融合大量的世界知識[1]。這標志著人工智能領域的一個重大突破，導致了我們與機器互動的革命。因此，大型語言模型在從自然語言處理和機器翻譯到創(chuàng)意內(nèi)容生成和聊天機器人開發(fā)的各種應用中都變得不可或缺。特別是ChatGPT的推出，受到了人類社區(qū)的廣泛關注，促使人們反思大型語言模型的變革力量及其推動AI能夠達到的界限的潛力。這種顛覆性的技術承諾改變我們在無數(shù)領域與AI的互動和利用方式，為創(chuàng)新打開了新的可能性和機會。隨著這些語言模型繼續(xù)進步和發(fā)展，它們有望塑造人工智能的未來，使我們能夠探索未知領域并在人機合作中發(fā)掘更大的潛力。

個性化，即根據(jù)個人喜好量身定制體驗的藝術，是連接人類與機器之間差距的一個關鍵且動態(tài)的紐帶。在當今的技術驅(qū)動世界中，個性化在增強用戶與各種數(shù)字平臺和服務的互動和參與中起到了關鍵的作用。通過適應個人的偏好，個性化系統(tǒng)賦予機器滿足每個用戶獨特需求的能力，從而使互動更為高效和愉快。此外，個性化不僅僅是內(nèi)容推薦；它涵蓋了用戶體驗的各個方面，包括用戶界面、交流風格等。隨著人工智能的不斷進步，個性化在處理大量互動和多樣化的用戶意圖方面變得越來越復雜。這要求我們開發(fā)更先進的技術來應對復雜的場景，提供更加愉快和滿意的體驗。對改進個性化的追求是由希望更好地了解用戶并滿足他們不斷變化的需求的愿望驅(qū)動的。隨著技術的發(fā)展，個性化系統(tǒng)很可能會繼續(xù)演變，最終創(chuàng)造出一個人機交互無縫融入我們生活的每一個方面的未來，為我們的日常生活提供個性化和量身定制的體驗。

大型語言模型，憑借其深入和廣泛的能力，有潛力革命化個性化系統(tǒng)，改變?nèi)祟惖幕臃绞讲U大個性化的范圍。人機之間的交互不再僅僅可以被分類為主動和被動，就像傳統(tǒng)的搜索引擎和推薦系統(tǒng)一樣。然而，這些大型語言模型不僅僅是簡單的信息過濾，它們還提供了多樣化的附加功能。具體來說，系統(tǒng)會主動和全面地探索用戶的意圖，使用戶和系統(tǒng)之間能夠通過自然語言進行更直接和無縫的溝通。與依賴于抽象且難以解釋的基于ID的信息表示的傳統(tǒng)技術不同，大型語言模型能夠更深入地理解用戶的確切需求和興趣。這種更深入的理解為更高質(zhì)量的個性化服務鋪平了道路，以更精細和有效的方式滿足用戶的需求和偏好。此外，通過大型語言模型的能力，各種工具的整合得到了極大的增強，大大擴展了個性化系統(tǒng)的可能性和應用場景。通過將用戶需求轉(zhuǎn)化為計劃，包括理解、生成和執(zhí)行它們，用戶可以訪問各種各樣的信息和服務。重要的是，用戶并不知道后臺發(fā)生的復雜轉(zhuǎn)換過程，因為他們體驗到的是一個無縫的端到端模型。從這個角度來看，大型語言模型在個性化方面的潛力尚未被充分探索。

本文探討了個性化中的挑戰(zhàn)，并探索了使用大型語言模型的潛在解決方案。在現(xiàn)有的相關工作中，LaMP [4] 為訓練和評估語言模型在信息檢索系統(tǒng)中生成個性化輸出引入了一個新的基準。另一方面，其他相關的調(diào)查[5]、[6]、[7]主要關注傳統(tǒng)的個性化技術，如推薦系統(tǒng)。從學習機制的角度，LLM4Rec [5] 深入探討了用于推薦的區(qū)分性LLM和用于推薦的生成性LLM。關于LLM適應推薦系統(tǒng)的"在哪里"和"如何"，Li等人[6]關注了工業(yè)推薦階段的整體流程。而Fan等人[7]則進行了一項重點關注預訓練、微調(diào)和提示方法的回顧。雖然這些工作討論了像Bert和GPT這樣的預訓練語言模型以便于分析，但他們對大型語言模型的新興能力關注有限。本文旨在通過檢查大型語言模型在個性化背景下的獨特和強大的能力來填補這一空白，并進一步用工具擴展個性化的范圍。

本綜述的其余部分的組織結構如下：我們在第2節(jié)回顧了個性化和大型語言模型，以概述其發(fā)展和挑戰(zhàn)。然后，我們在第3節(jié)仔細討論了大型語言模型在個性化中的潛在作用，包括簡單利用新興能力以及與其他工具的復雜集成。我們還討論了將大型語言模型適應于個性化時可能遇到的挑戰(zhàn)。

大型語言模型用于個性化

在接下來的部分中，我們深入探討了大型語言模型在個性化方面的潛力，從簡單的使用情境，如利用詞匯知識作為特征，到與其他工具模塊更為復雜的集成，使其起到代理的作用。具體來說，我們關注于新興能力的進展，從基礎的世界知識和理解用戶意圖開始，發(fā)展到高級的推理能力。我們探索了大型語言模型如何有助于構建一個知識庫，豐富關于各種項目的常識知識。此外，我們還討論了大型語言模型的理解能力如何賦予內(nèi)容解釋者和解釋者對交互的深入分析能力。此外，我們還觀察了利用大型語言模型的推理能力為系統(tǒng)推理者提供推薦結果的嘗試。這些越來越復雜的能力使得大型語言模型與其他工具模塊的復雜利用成為可能，使它們更好地理解用戶意圖并滿足用戶指令。因此，我們還探討了大型語言模型與其他個性化工具的集成，包括工具學習、會話代理和個性化內(nèi)容創(chuàng)建者。本章的概述如圖1所示。我們的全面調(diào)查旨在提供對當前格局的更深入的了解，并闡明將大型語言模型整合到個性化中所帶來的機會和挑戰(zhàn)。

大模型即知識庫

大型語言模型（Large Language Models，簡稱LLMs）檢索事實知識作為顯式知識庫的能力 [38], [39], [40], [41], [42], [43], [40], [41], [44], [45], [46] 已引起了廣泛的討論，這為在推薦系統(tǒng)內(nèi)構建更為全面的知識圖譜提供了機會?；厮莸?[38] 的工作，大型語言模型在存儲事實信息，如實體和常識，以及將常識可靠地轉(zhuǎn)移給下游任務方面展示了其令人印象深刻的能力?，F(xiàn)有的知識圖譜方法難以處理不完整的KGs [47] 和利用文本語料構建KGs [48]，許多研究者嘗試利用LLMs的能力來解決這兩個任務，即知識圖譜的補全 [49] 和知識圖譜的構建 [50]。對于知識圖譜的補全，這是指在給定的知識圖譜中缺失事實的任務，近期的努力已致力于為知識圖譜編碼文本或生成事實。MTL-KGC [51] 對文本序列進行編碼以預測元組的可能性。MEMKGC [52] 預測了三元組的掩碼實體。StAR [53] 使用暹羅文本編碼器分別對實體進行編碼。GenKGC [54] 使用僅解碼器的語言模型直接生成尾實體。TagReal [55] 從外部文本語料庫中生成高質(zhì)量的提示。AutoKG [48] 直接采用了LLMs，例如ChatGPT和GPT-4，并設計了定制提示以預測尾實體。至于另一個重要任務，即知識圖譜的構建，這是指創(chuàng)建知識的結構化表示，LLMs可以應用于構建知識圖譜的過程中，包括實體發(fā)現(xiàn) [56], [57], coreference resolution [58], [59] 和關系抽取 [60], [61]。LLMs還可以實現(xiàn)端到端的構建 [62], [50], [42], [63], [55]，直接從原始文本構建KGs。LLMs允許知識提取構建知識圖譜。symbolic-kg [64] 從GPT3中提取常識事實，然后微調(diào)小型學生模型以生成知識圖譜。這些模型已經(jīng)展示了存儲大量知識的能力，為提高知識圖譜的范圍和深度提供了一個可行的選擇。此外，這些進展促使人們研究從LLMs到知識圖譜的存儲知識的直接轉(zhuǎn)移，消除了對人類監(jiān)督的需求。這項有趣的研究揭示了利用尖端的大型語言模型自動完成知識圖譜的可能性。

LLMs 作為內(nèi)容解釋器

基于內(nèi)容的推薦器為緩解推薦系統(tǒng)中的稀疏反饋問題提供了有效的解決方案。通過利用物品的屬性和特性，這些系統(tǒng)對其屬性有了更深入的了解，促使與用戶偏好的準確匹配。然而，在基于內(nèi)容的推薦中使用的內(nèi)容特性也可能表現(xiàn)出稀疏性。僅僅依賴推薦的監(jiān)督信號，如點擊和瀏覽，可能不能充分利用這些特性的潛在好處。為了克服這一挑戰(zhàn)，語言模型作為強大的基本算法出現(xiàn)，它們在處理文本特性時充當內(nèi)容解釋器。他們的利用增強了推薦系統(tǒng)的有效性，有效地理解和解釋文本內(nèi)容，從而改進了推薦。

結論

總的來說，大型語言模型的出現(xiàn)在人工智能領域代表了一個重大的突破。它們在理解、語言分析和常識推理方面的增強能力為個性化打開了新的可能性。在本文中，我們從幾個角度討論了大型語言模型適應個性化系統(tǒng)的時機。我們已經(jīng)觀察到，從利用大型語言模型的低級能力來提高性能，到利用它們在與外部工具的復雜互動中進行端到端任務的潛力，這種進展都有所進化。這種演變有望徹底改變個性化服務的提供方式。我們也承認，將大型語言模型集成到個性化系統(tǒng)中帶來的開放性挑戰(zhàn)。