隨著智能化的深入發(fā)展，大模型的時代已經到來?，F在，大模型如雨后春筍般層出不窮，微軟 Azure OpenAI 等新服務的推出，不斷開創(chuàng)著人機交互的新形態(tài)，也在助力每一位開發(fā)者把握技術變革帶來的創(chuàng)新機遇，構建更多創(chuàng)新應用，釋放數據價值，加速降本增效。

但在大模型實際應用的過程中，還面臨著海量的知識庫數據難梳理、難理解，大語言模型 LLM 應用安全性等挑戰(zhàn)。智能技術如何助力企業(yè)化解大模型應用中的種種挑戰(zhàn)和難題？

本期【比特熊充電?！柯撁盗?/span>，特邀凱捷咨詢(中國)有限公司工程師王勝楊和 NVIDIA 企業(yè)級開發(fā)者社區(qū)經理李奕澎，解讀 Microsoft Build 中國黑客松挑戰(zhàn)賽 AOAI 企業(yè)解決方案，及 NVIDIA NeMo Guardrails，化解應用挑戰(zhàn)，加速應用智能化更新。

王勝楊

凱捷咨詢(中國)有限公司工程師

云原生，DevOps，Azure

李奕澎

NVIDIA 企業(yè)級開發(fā)者社區(qū)經理

NLP，Conversational-AI，LLM

海量醫(yī)療文獻數據難研究？

基于 Azure OpenAI 搭建論文研究助手

生命科學行業(yè)，在基因組單細胞和空間轉錄的醫(yī)學應用中，主題知識庫不可或缺。但現有知識庫的建設，需要大量人工去校正和審核，導致新知識共享非常緩慢。想要構建生命科學行業(yè)全新知識庫，加速科學研究與醫(yī)學應用，輔助藥物研發(fā)或臨床決策，還面臨三大難點：

?快：如何從海量文獻提取醫(yī)學專業(yè)的實體信息？

?準：專業(yè)要求高，如何能理解醫(yī)學專業(yè)文獻，理解文獻的總思路？

?狠：如何總結文獻關鍵信息，提升科研工作效率與成功的可能性？

智能技術如何促進生命科學行業(yè)轉型升級？借助大語言模型的自然語言理解能力及自然語言生成能力，能從海量數據中快速提取出有效信息，并理解專業(yè)醫(yī)學文獻的關鍵信息。

凱捷咨詢基于 Azure OpenAI 搭建論文研究助手，使用 Azure OpenAI 對用戶問題意圖進行意圖判斷；利用 Azure OpenAI NLU 和 NLG 功能，加速業(yè)務人員對專業(yè)論文的概括、總結、實體提取等；集成 Lang chain 和自定義 Tool，構建針對 DOI 的論文下載管道；文件上傳至 Embedding 管道，方便日后重復對某篇論文進行進一步研究；集成 LangSmith，實現對 GPT 調用的的監(jiān)視。

?知識圖譜功能：通過角色扮演的方式，讓 GPT 作為基因領域的專家，為不熟悉醫(yī)學專業(yè)名詞的技術人員提供關鍵詞，通過 Azure Search，對文章進行關鍵詞提取，以此來構建知識圖譜。

?論文研究 Copilot：當不想閱讀或遇到不熟悉的關鍵詞時，選中文章就能進行段落實時總結、名詞解釋、段落概括和翻譯。

大模型安全難掌控？

基于 Azure 結合 NeMo Guardrails 構建 LLM 可編程護欄

大語言模型 LLM 是功能強大的工具，企業(yè)和開發(fā)者都在探索 LLM 的落地應用，但在實際使用過程中也存在著大量的風險。用戶可能會接觸到 LLM 生成的不當、有害和有偏見的內容，甚至是危險信息，存在安全隱患。

智能技術如何為 LLM 應用戴上安全“護欄”？NVIDIA NeMo Guardrails 是一個開源工具庫，致力于使 LLM 大語言模型的使用更加合法合規(guī)。它可以輕松將可編程護欄添加到基于 LLM 的對話系統中，控制大型語言模型輸出的特定方式，例如不談論違規(guī)內客、以特定方式響應特定用戶請求、遵循預定義的對話路徑、使用特定語言風格、提取結構化數據等。NeMo Guardrails 的核心價值是能夠編寫防護圍欄來指導對話，定義 LLM 驅動的機器人在某些主題上的行為，構建值得信賴、安全可靠的 LLM 對話系統。

? 話題限定護欄 (topical guardrails)：防止大模型“跑題”；

?對話安全護欄 (safety guardrails)：避免大模型輸出時“胡言亂語”；

?攻擊防御護欄 (security guardrails)：防止 AI 平臺收到惡意攻擊。

基于 Azure 云平臺將 NeMo Guardrails 與 Azure OpenAI 相結合，能快速為 Azure OpenAI 中的 ChatGPT 大模型添加 LLM 可編程護欄系統，避免潛在風險。構建 LLM 可編程護欄的步驟如下：

? 申請 Azure 賬號；

? 開通 Azure Machine Learning 服務（注意選擇計算資源）；

?打開終端執(zhí)行：安裝 OpenAI、NeMo Guardrails；

?開通 Azure OpenAI 服務，導入 NeMo Guardrails 大模型護欄及護欄配置文件工具類/從 langchain 中導入 Azure Chat OpenAI 工具類，傳入 Azure OpenAI 的 API-KEY、endpoint、deployment_name 等關鍵參數；

?在Azure Machine Learning中，把NeMo Guardrails 與 Azure OpenAI 結合使用，讀取配置文件和 Colang 文件，進行人機交互對話邏輯的設計，構建更加安全可靠的 LLM 對話引擎。

想了解更多 NeMo Guardrails 與 Azure OpenAI 的結合使用的操作指南和干貨知識，點擊文末“閱讀原文”，就可以回看【比特熊充電?！繉W習實踐。

掃描比特熊個熊微信二維碼

加入【比特熊粉絲后援會】

與開發(fā)者一起嗨聊，期待成為你的好友~