亞馬遜云科技助力客戶加速采用生成式AI

模型擴(kuò)展規(guī)?？涨?，并新增推理優(yōu)化工具及額外的數(shù)據(jù)功能，為客戶提供了更大的靈活性和控制力，更快構(gòu)建和部署生產(chǎn)級生成式AI

亞馬遜云科技在2024 re:Invent全球大會上，宣布推出Amazon Bedrock的多項創(chuàng)新功能。Amazon Bedrock是亞馬遜云科技一項完全托管的服務(wù)，旨在利用高性能基礎(chǔ)模型構(gòu)建和擴(kuò)展生成式人工智能（AI）應(yīng)用程序。此次發(fā)布進(jìn)一步彰顯了亞馬遜云科技對模型選擇的承諾，同時優(yōu)化了大規(guī)模推理的執(zhí)行方式，幫助客戶從數(shù)據(jù)中挖掘更多價值。

在新模型目錄中探索Amazon Bedrock Marketplace模型和Amazon Bedrock完全托管的模型

亞馬遜云科技即將成為首家提供Luma AI和poolside模型的云服務(wù)提供商。亞馬遜云科技還將把Stability AI的最新模型添加至Amazon Bedrock，并通過全新的Amazon Bedrock Marketplace功能為客戶提供100多個熱門、新興及專業(yè)模型的訪問權(quán)限，客戶可根據(jù)自身用例找到最合適的模型組合。

全新的提示詞緩存功能和Amazon Bedrock Intelligent Prompt Routing提示詞智能路由功能幫助客戶更輕松、更經(jīng)濟(jì)地擴(kuò)展推理業(yè)務(wù)。

Amazon Bedrock Knowledge Bases現(xiàn)已提供對結(jié)構(gòu)化數(shù)據(jù)和GraphRAG的支持，進(jìn)一步拓展了客戶利用自身數(shù)據(jù)提供定制化生成式AI體驗的途徑。

Amazon Bedrock Data Automation功能能夠在無需編寫代碼的情況下，自動將非結(jié)構(gòu)化、多模態(tài)的數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)，以幫助客戶將更多數(shù)據(jù)應(yīng)用于生成式AI及分析工作中。

數(shù)以萬計的客戶信賴Amazon Bedrock運(yùn)行其生成式AI應(yīng)用程序，過去一年使用該服務(wù)的客戶量增長了4.7倍。Adobe、Argo Labs、寶馬集團(tuán)、Octus、Symbeo、Tenovos和Zendesk等公司已采用Amazon Bedrock的最新技術(shù)。

亞馬遜云科技人工智能和數(shù)據(jù)副總裁Swami Sivasubramanian博士表示："Amazon Bedrock服務(wù)持續(xù)快速增長，因其廣泛而領(lǐng)先的模型選擇、可輕松基于自身數(shù)據(jù)進(jìn)行定制的工具、內(nèi)置的負(fù)責(zé)任的AI功能以及開發(fā)復(fù)雜智能體的能力成為越來越多客戶的選擇。為了讓客戶充分釋放生成式AI的潛力，Amazon Bedrock一直致力于解決開發(fā)人員當(dāng)前面臨的最大挑戰(zhàn)。通過此次新發(fā)布的一系列新功能，我們將幫助客戶開發(fā)出更智能的AI應(yīng)用程序，讓他們?yōu)槠渥罱K用戶創(chuàng)造更大價值。"

匯集領(lǐng)先AI公司的廣泛模型選擇

Amazon Bedrock為客戶提供豐富的完全托管的模型選擇，這些模型來自領(lǐng)先的AI公司，包括AI21 Labs、Anthropic、Cohere、Meta、Mistral AI以及Stability AI等。此外，Amazon Bedrock是客戶使用新發(fā)布的Amazon Nova模型的唯一渠道。Amazon Nova是新一代基礎(chǔ)模型，以行業(yè)領(lǐng)先的性價比為廣泛的任務(wù)提供先進(jìn)的智能能力。通過此次發(fā)布，亞馬遜云科技在Amazon Bedrock上新增更多行業(yè)領(lǐng)先的模型，進(jìn)一步擴(kuò)展Amazon Bedrock的模型選擇范圍。

Luma AI的Ray 2：Luma AI的多模態(tài)模型和軟件產(chǎn)品借助生成式AI推動視頻內(nèi)容創(chuàng)作。亞馬遜云科技將成為首家向用戶提供Luma AI最先進(jìn)的Luma Ray 2模型（其著名視頻模型的第二代）的云服務(wù)提供商。Ray 2標(biāo)志著生成式AI輔助視頻創(chuàng)作的重大進(jìn)步，它能夠依據(jù)文本和圖像高效且以電影級質(zhì)感生成高質(zhì)量、逼真的視頻。用戶能夠快速嘗試不同的拍攝角度和風(fēng)格，創(chuàng)建角色連貫、物理效果準(zhǔn)確的視頻，可為建筑、時尚、電影、平面設(shè)計以及音樂等領(lǐng)域提供創(chuàng)意性輸出。

poolside的malibu和point：poolside解決大型企業(yè)現(xiàn)代軟件工程面臨的挑戰(zhàn)。亞馬遜云科技將成為首家提供poolside的malibu和point模型訪問權(quán)限的云服務(wù)提供商，這兩個模型在代碼生成、測試、文檔編制以及實時代碼補(bǔ)全方面表現(xiàn)出色。這有助于工程團(tuán)隊提高生產(chǎn)力，更快編寫出更優(yōu)質(zhì)的代碼，并加速產(chǎn)品開發(fā)周期。這兩種模型還能夠依據(jù)客戶的代碼庫、實踐操作以及文檔進(jìn)行安全、私密的微調(diào)，使其能夠適配特定項目，幫助客戶以更高的準(zhǔn)確性和效率處理日常軟件工程任務(wù)。此外，亞馬遜云科技還將成為首家提供poolside Assistant訪問權(quán)限的云服務(wù)提供商，該功能可以將poolside的malibu和point模型強(qiáng)大的功能融入開發(fā)人員首選的集成開發(fā)環(huán)境（IDE）之中。

Stability AI的Stable Diffusion 3.5 Large：Stability AI是視覺媒體領(lǐng)域領(lǐng)先的生成式AI模型開發(fā)商，在圖像、視頻、3D和音頻方面擁有先進(jìn)的模型。Amazon Bedrock即將添加Stable Diffusion 3.5 Large這一Stability AI最先進(jìn)的文本轉(zhuǎn)圖像模型。該模型能夠依據(jù)各種風(fēng)格的文本描述生成高質(zhì)量圖像，加速為媒體、游戲、廣告以及零售領(lǐng)域的客戶創(chuàng)建概念藝術(shù)、視覺效果以及詳細(xì)的產(chǎn)品圖像。

通過Amazon Bedrock Marketplace訪問100多個熱門、新興和專業(yè)模型

盡管Amazon Bedrock中的模型能夠支持眾多任務(wù)，許多客戶仍希望將新興的專用模型融入到他們的應(yīng)用程序中，為其獨(dú)特的用例，如分析財務(wù)文檔或生成新型蛋白質(zhì)等提供支持。借助Amazon Bedrock Marketplace，客戶如今能夠輕松地從100多個模型中進(jìn)行查找與選擇，這些模型可部署在亞馬遜云科技上，并能通過Amazon Bedrock中的統(tǒng)一體驗進(jìn)行訪問。這涵蓋了諸如Mistral AI的Mistral NeMo Instruct 2407、Technology Innovation Institute的Falcon RW 1B以及NVIDIA NIM微服務(wù)等熱門模型，以及眾多專業(yè)模型，如用于金融行業(yè)的Writer的Palmyra-Fin、用于翻譯的Upstage的Solar Pro、Camb.ai的文本轉(zhuǎn)音頻MARS6以及用于生物學(xué)的EvolutionaryScale的ESM3生成模型等。

客戶一旦找到他們想用的模型，就能依據(jù)自身擴(kuò)展需求選擇合適的基礎(chǔ)設(shè)施，并通過完全托管端點(diǎn)輕松將其部署在亞馬遜云科技上?？蛻綦S后可將該模型與Amazon Bedrock的統(tǒng)一應(yīng)用程序編程接口（API）安全集成，從而使用諸如Guardrails和Agents等工具，并受益于內(nèi)置的安全和隱私功能。

Zendesk是一家全球服務(wù)軟件公司，服務(wù)于覆蓋全球10萬個品牌的多元文化客戶群體。該公司可在Amazon Bedrock中使用如用于翻譯的Widn.AI等專用模型，通過電子郵件、聊天、電話以及社交媒體對客戶服務(wù)請求進(jìn)行個性化和本地化處理。這將為客服人員提供其所需的數(shù)據(jù)，比如客戶母語表達(dá)中的情緒或意圖等，最終提升客戶服務(wù)體驗。

提示詞緩存和Intelligent Prompt Routing幫助客戶大規(guī)模處理推理問題

在選擇模型時，開發(fā)人員需要權(quán)衡多種因素，如準(zhǔn)確性、成本和延遲。針對其中任一因素進(jìn)行優(yōu)化，都可能意味著在其他因素上做出讓步。為了在將應(yīng)用程序部署到生產(chǎn)環(huán)境時平衡這些考量因素，客戶會采用多種技術(shù)，例如緩存常用提示詞或?qū)⒑唵螁栴}分配給較小模型。然而，運(yùn)用這些技術(shù)既復(fù)雜又耗時，需要專業(yè)知識來反復(fù)測試不同的方法，以確保終端用戶獲得良好的體驗。正因如此，亞馬遜云科技新增了兩項功能，幫助客戶更有效地大規(guī)模管理提示詞信息。

通過緩存提示詞功能降低響應(yīng)延遲和成本。Amazon Bedrock現(xiàn)已支持安全地緩存提示詞，從而減少重復(fù)處理，且不會影響準(zhǔn)確性。對于受支持的模型，此功能最高可將成本降低90%，并將延遲最多縮短85%。例如，一家律師事務(wù)所可以創(chuàng)建一個生成式AI聊天應(yīng)用程序，用于回答律師有關(guān)文件的問題。當(dāng)多名律師在提示詞中詢問關(guān)于文檔同一部分的問題時，Amazon Bedrock能夠緩存該部分內(nèi)容，使其只需處理一次，之后每當(dāng)有人想要詢問相關(guān)問題時便可重復(fù)使用。這通過減少模型每次需要處理的信息量來降低成本。Adobe的Acrobat AI助手通過實現(xiàn)快速文檔摘要和問答功能，提高了用戶的工作效率。根據(jù)初步測試，借助Amazon Bedrock上的提示詞緩存功能，Adobe發(fā)現(xiàn)其響應(yīng)時間縮短了72%。

提示詞智能路由功能有助于優(yōu)化響應(yīng)質(zhì)量和成本。借助該功能，客戶能配置Amazon Bedrock 自動把提示詞分配至同一模型系列里的不同基礎(chǔ)模型，以優(yōu)化響應(yīng)質(zhì)量和成本。運(yùn)用先進(jìn)的提示詞匹配和模型理解技術(shù)，提示詞智能路由能夠預(yù)測每個請求對應(yīng)的每個模型的性能，并將請求動態(tài)路由至最有可能以最低成本提供所需響應(yīng)的模型。提示詞智能路由可在不影響準(zhǔn)確性的情況下，將成本降低多達(dá)30%。Argo Labs為餐廳提供創(chuàng)新的語音代理解決方案，通過提示詞智能路由處理各類客戶咨詢和預(yù)訂業(yè)務(wù)。當(dāng)客戶提交問題、下單以及預(yù)訂位置時，Argo Labs的語音聊天機(jī)器人會動態(tài)地將查詢請求路由至最合適的模型，從而優(yōu)化響應(yīng)的成本和質(zhì)量。例如，像"今晚這家餐廳有空桌嗎？"這樣簡單的是非問題，可以由較小模型處理，而"這家餐廳提供哪些素食選項？"這類更復(fù)雜的問題則可由較大模型來回答。借助提示詞智能路由功能，Argo Labs能夠利用其語音代理無縫處理客戶交互，同時實現(xiàn)準(zhǔn)確性和成本之間的合理平衡。

Amazon Bedrock知識庫的兩項新功能助力客戶最大程度發(fā)揮數(shù)據(jù)價值

無論自身數(shù)據(jù)存儲于何處、采用何種格式，客戶都希望利用它們?yōu)榻K端用戶構(gòu)建獨(dú)特的由生成式AI驅(qū)動的體驗。知識庫是一項全托管功能，客戶借助檢索增強(qiáng)生成（RAG），能夠輕松利用上下文相關(guān)及關(guān)聯(lián)數(shù)據(jù)自定義基礎(chǔ)模型的響應(yīng)。雖然知識庫已能便捷地連接至諸如Amazon OpenSearch Serverless和Amazon Aurora等數(shù)據(jù)源，但許多客戶還希望將其他數(shù)據(jù)源和數(shù)據(jù)類型融入其生成式AI應(yīng)用程序中?；诖耍瑏嗰R遜云科技為知識庫新增了兩項功能。

結(jié)構(gòu)化數(shù)據(jù)檢索支持功能加速生成式AI應(yīng)用程序開發(fā)。Knowledge Bases提供了首批托管式、開箱即用的RAG解決方案之一，使客戶能夠直接查詢其生成式AI應(yīng)用程序中結(jié)構(gòu)化數(shù)據(jù)的存儲位置。這一功能有助于打破數(shù)據(jù)源之間的數(shù)據(jù)孤島，將生成式AI開發(fā)周期從一個多月縮短至短短幾天?？蛻裟軌驑?gòu)建應(yīng)用程序，讓應(yīng)用程序運(yùn)用自然語言查詢來探索存儲在Amazon SageMaker Lakehouse、Amazon S3數(shù)據(jù)湖以及Amazon Redshift等數(shù)據(jù)源中的結(jié)構(gòu)化數(shù)據(jù)。借助這項新功能，提示詞信息會轉(zhuǎn)換為SQL查詢，用于檢索數(shù)據(jù)結(jié)果。Knowledge Bases會依據(jù)客戶的架構(gòu)和數(shù)據(jù)自動調(diào)整，從查詢模式中學(xué)習(xí)，并提供一系列定制選項，進(jìn)一步提高所選用例的準(zhǔn)確性。信用情報公司Octus將運(yùn)用Knowledge Bases中全新的結(jié)構(gòu)化數(shù)據(jù)檢索功能，允許終端用戶使用自然語言查詢結(jié)構(gòu)化數(shù)據(jù)。通過將Knowledge Bases與Octus現(xiàn)有的主數(shù)據(jù)管理系統(tǒng)相連，終端用戶的提示詞信息可轉(zhuǎn)換為SQL查詢，Amazon Bedrock利用這些SQL查詢檢索相關(guān)信息，并將其作為應(yīng)用程序響應(yīng)的一部分返回給用戶。這將幫助Octus的聊天機(jī)器人向用戶提供精準(zhǔn)的、由數(shù)據(jù)驅(qū)動的見解，增強(qiáng)用戶與公司一系列數(shù)據(jù)產(chǎn)品之間的交互。

GraphRAG支持功能可生成更具相關(guān)性的響應(yīng)。知識圖譜允許客戶通過將不同的相關(guān)信息映射成網(wǎng)狀結(jié)構(gòu)來對數(shù)據(jù)間的關(guān)系進(jìn)行建模和存儲。將這些知識圖譜融入RAG時會格外有用，系統(tǒng)可依據(jù)圖譜輕松審閱并檢索相關(guān)信息片段。如今，憑借對GraphRAG的支持，Knowledge Bases可讓客戶無需具備圖數(shù)據(jù)庫專業(yè)知識，即可使用Amazon Neptune圖數(shù)據(jù)庫服務(wù)自動生成圖譜，并跨數(shù)據(jù)鏈接各實體之間的關(guān)系。Knowledge Bases能夠更便捷地生成更準(zhǔn)確、更相關(guān)的響應(yīng)，借助知識圖譜識別相關(guān)聯(lián)系，并查看源信息以了解模型如何得出特定響應(yīng)。寶馬集團(tuán)將為旗下的My AI Assistant（MAIA）實施GraphRAG。MAIA是一款人工智能驅(qū)動的虛擬助手，可幫助用戶查找、理解并整合托管在亞馬遜云科技上的公司內(nèi)部數(shù)據(jù)資產(chǎn)。借助由Amazon Neptune支持的GraphRAG自動化圖形建模功能，寶馬集團(tuán)能夠依據(jù)數(shù)據(jù)使用情況，持續(xù)更新MAIA所需的知識圖譜，從其數(shù)據(jù)資產(chǎn)中提供更具相關(guān)且全面的洞察，進(jìn)而持續(xù)為數(shù)百萬車主打造優(yōu)質(zhì)體驗。

Amazon Bedrock Data Automation將非結(jié)構(gòu)化多模態(tài)數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)，用于生成式AI和分析

如今，大多數(shù)企業(yè)數(shù)據(jù)都是非結(jié)構(gòu)化的，這些數(shù)據(jù)包含在文檔、視頻、圖像以及音頻文件等內(nèi)容中。許多客戶希望利用這些數(shù)據(jù)挖掘見解或為客戶打造新體驗，但將其轉(zhuǎn)換為便于分析或RAG所需的格式往往是一個艱難的手動過程。例如，銀行在處理貸款業(yè)務(wù)時可能會接收多個PDF文檔，需要從每個文檔中提取詳細(xì)信息，對姓名、出生日期等特征進(jìn)行標(biāo)準(zhǔn)化以保證一致性，然后將結(jié)果轉(zhuǎn)換為文本格式，再輸入數(shù)據(jù)倉庫進(jìn)行分析。借助Amazon Bedrock Data Automation，客戶能夠使用單個API從非結(jié)構(gòu)化內(nèi)容中大規(guī)模自動提取、轉(zhuǎn)換并生成數(shù)據(jù)。

Amazon Bedrock Data Automation能夠快速且經(jīng)濟(jì)高效地從文檔、圖像、音頻以及視頻中提取信息，并將其轉(zhuǎn)換為結(jié)構(gòu)化格式，適用于智能文檔處理、視頻分析以及RAG等用例。該功能可以使用預(yù)定義的默認(rèn)設(shè)置生成內(nèi)容，例如視頻片段每個場景的描述或音頻的轉(zhuǎn)錄內(nèi)容，客戶也可以根據(jù)自身的數(shù)據(jù)架構(gòu)生成定制化的輸出內(nèi)容，并將其輕松加載到現(xiàn)有的數(shù)據(jù)庫或數(shù)據(jù)倉庫中。通過與Knowledge Bases的集成，Amazon Bedrock Data Automation還可以解析內(nèi)容以支持RAG應(yīng)用程序，通過整合嵌入在圖像和文本中的信息，提升結(jié)果的準(zhǔn)確性和相關(guān)性。同時，該功能提供置信度評分，并基于原始內(nèi)容生成響應(yīng)，有助于降低生成"幻覺"風(fēng)險并提高透明度。

Symbeo是一家隸屬于CorVel的公司，提供自動化應(yīng)付賬款解決方案。Symbeo計劃利用Amazon Bedrock Data Automation，從復(fù)雜的文檔（如保險理賠、醫(yī)療賬單等）中自動提取數(shù)據(jù)。這將幫助Symbeo的團(tuán)隊更快速地處理理賠事務(wù)，并縮短向客戶回復(fù)的周轉(zhuǎn)時間。數(shù)字資產(chǎn)管理平臺Tenovos正在使用Amazon Bedrock Data Automation在大規(guī)模語義搜索中提升內(nèi)容的復(fù)用率，復(fù)用率提高了50%以上，節(jié)省了數(shù)百萬美元的營銷費(fèi)用。

Amazon Bedrock Marketplace現(xiàn)已正式可用，同時Amazon Bedrock Knowledge Bases中的推理管理功能、結(jié)構(gòu)化數(shù)據(jù)檢索、GraphRAG以及Amazon Bedrock Data Automation均已預(yù)覽可用。此外，Luma AI、poolside和Stability AI的模型也即將上線。