1. 中國(guó)移動(dòng)輕量化邊緣AI,讓識(shí)別更準(zhǔn)更快
原文:http://szjj.china.com.cn/2023-09/14/content_42521336.html隨著各行各業(yè)對(duì)AI需求的井噴,邊緣AI成為炙手可熱的領(lǐng)域。邊緣AI能夠在靠近數(shù)據(jù)產(chǎn)生的邊緣側(cè),更高效、更低成本、更安全地進(jìn)行實(shí)時(shí)AI分析,已經(jīng)成為萬物互聯(lián)時(shí)代AI應(yīng)用的關(guān)鍵技術(shù)。在剛剛結(jié)束的第二屆光合組織解決方案大賽中,中國(guó)移動(dòng)智慧家庭運(yùn)營(yíng)中心研發(fā)的“基于邊緣云計(jì)算平臺(tái)的AI智能識(shí)別應(yīng)用”方案,獲得了光合組織AI解決方案大賽三等獎(jiǎng)。業(yè)內(nèi)人士認(rèn)為,該方案極大提升了邊緣AI的性能與靈活性,將推動(dòng)邊緣側(cè)AI人臉識(shí)別的規(guī)?;瘧?yīng)用。

1:N≤0.5S/人,實(shí)現(xiàn)邊緣AI性能突破
過去,受制于邊緣節(jié)點(diǎn)計(jì)算性能與成本的制約,AI人臉識(shí)別應(yīng)用廣泛部署在云端。但邊緣側(cè)數(shù)據(jù)的上傳和結(jié)果的下發(fā)受網(wǎng)絡(luò)狀況影響較大,往往面臨計(jì)算響應(yīng)延遲、網(wǎng)絡(luò)帶寬擁擠等挑戰(zhàn),同時(shí)也存在一定的數(shù)據(jù)安全風(fēng)險(xiǎn)。中國(guó)移動(dòng)智慧家庭運(yùn)營(yíng)中心的“基于邊緣云計(jì)算平臺(tái)的AI智能識(shí)別應(yīng)用”方案,將原本部署在平臺(tái)側(cè)的AI識(shí)別算法,下沉到以海光異構(gòu)加速卡算力資源和存儲(chǔ)資源為基礎(chǔ)設(shè)施的邊緣節(jié)點(diǎn),實(shí)現(xiàn)了實(shí)時(shí)的、高效的人臉識(shí)別功能,極大提升了AI人臉識(shí)別的性能,降低了帶寬成本。與市場(chǎng)已有的人臉識(shí)別方案相比,“基于邊緣云計(jì)算平臺(tái)的AI智能識(shí)別應(yīng)用”方案具備三大優(yōu)勢(shì):第一,更高的識(shí)別準(zhǔn)確度與更快的識(shí)別速度。方案精準(zhǔn)定位目標(biāo)人臉中360個(gè)以上關(guān)鍵點(diǎn)位置,并使用生成對(duì)抗網(wǎng)絡(luò)的側(cè)臉識(shí)別演進(jìn)算法降低對(duì)人臉角度的要求,識(shí)別率更高。方案還具備高識(shí)別比對(duì)速度,達(dá)到1:N比對(duì)時(shí)間(從N個(gè)人臉數(shù)據(jù)中找出1個(gè)目標(biāo)進(jìn)行匹配)≤0.5S/人的指標(biāo),滿足多人無感同行需求。第二,實(shí)現(xiàn)邊緣云平臺(tái)的統(tǒng)一管理,降本增效。通過輕量云平臺(tái)技術(shù)構(gòu)建了邊緣資源池,方案對(duì)AI所需資源統(tǒng)一編排管理,實(shí)現(xiàn)融合聯(lián)動(dòng),不僅能夠節(jié)約建設(shè)成本,還大幅降低了管理運(yùn)維成本。第三,全面的數(shù)據(jù)安全性。方案底層的海光異構(gòu)加速芯片通過擴(kuò)充安全算法指令、集成安全算法專用加速電路等方式,提升了整體方案的數(shù)據(jù)安全性。在邊緣側(cè)處理海量人臉圖像,保障了敏感數(shù)據(jù)不出網(wǎng),杜絕了隱私數(shù)據(jù)泄露等安全隱患。此外,基于海光芯片高兼容性、生態(tài)應(yīng)用豐富等特點(diǎn),該方案具備易于集成的優(yōu)勢(shì)。無論是對(duì)于固定的安防監(jiān)控系統(tǒng),還是移動(dòng)的智能設(shè)備,都可以實(shí)現(xiàn)輕松部署,因此在教育、安防、醫(yī)療、金融等行業(yè)均具有廣泛的應(yīng)用場(chǎng)景。比如,通過用高精度人臉識(shí)別系統(tǒng)構(gòu)建安全校園,解決傳統(tǒng)人力安保體系效率低、出錯(cuò)率高等問題。在機(jī)場(chǎng)、車站等人流密集的公共安防空間,方案可以在海量數(shù)據(jù)、高并發(fā)的場(chǎng)景中,實(shí)現(xiàn)更高效的人臉識(shí)別,提升智慧城市管理效率。生態(tài)賦能,助力產(chǎn)業(yè)鏈協(xié)同創(chuàng)新
“基于邊緣云計(jì)算平臺(tái)的AI智能識(shí)別應(yīng)用“方案的脫穎而出,離不開光合組織解決方案大賽的鼎力支持。“光合方案大賽在行業(yè)內(nèi)具有較強(qiáng)的影響力。大賽為我們提供了基于海光異構(gòu)加速卡的物理機(jī)設(shè)備、異構(gòu)算力資源、適配認(rèn)證以及技術(shù)支撐,為模型的訓(xùn)練、推理提供可靠、穩(wěn)定、高性能的加速能力,有效提升了圖像分類及目標(biāo)檢測(cè)精度和準(zhǔn)確率?!敝袊?guó)移動(dòng)智慧家庭運(yùn)營(yíng)中心一位技術(shù)負(fù)責(zé)人表示。目前,第三屆光合組織解決方案大賽已經(jīng)開啟,設(shè)置集智計(jì)劃(人工智能)、桃李計(jì)劃(教育信息化)、堡壘計(jì)劃(安全技術(shù)應(yīng)用)三大方向,并為獲獎(jiǎng)團(tuán)隊(duì)提供了1000萬的資金與資源支持。光合組織期待與創(chuàng)新企業(yè)、機(jī)構(gòu)共建開放、創(chuàng)新的信息技術(shù)產(chǎn)業(yè)生態(tài)!2. 騰訊健康公布醫(yī)療大模型 發(fā)布多場(chǎng)景AI產(chǎn)品矩陣
原文:http://science.china.com.cn/2023-09/11/content_42516411.htm9月8日,騰訊健康公布醫(yī)療大模型,全新發(fā)布智能問答、家庭醫(yī)生助手、數(shù)智醫(yī)療影像平臺(tái)等多場(chǎng)景AI產(chǎn)品矩陣,藥物發(fā)現(xiàn)平臺(tái)“云深”(iDrug)披露全新的蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)算法框架tFold。騰訊健康總裁吳文達(dá)指出,醫(yī)療健康的數(shù)智化升級(jí)已從“先行先試”,轉(zhuǎn)變?yōu)椤叭鎿肀А?人工智能及各類數(shù)智化工具的應(yīng)用將加速普及;騰訊將與合作伙伴共建“TRUST”模式,加強(qiáng)技術(shù)創(chuàng)新與數(shù)字基建,推動(dòng)“數(shù)智醫(yī)療”普惠普及。

讓大模型更懂醫(yī)療
騰訊杰出科學(xué)家、騰訊天衍實(shí)驗(yàn)室主任鄭冶楓公布了醫(yī)療大模型的研發(fā)進(jìn)程。騰訊全新發(fā)布的全鏈路自研混元大模型,擁有超千億參數(shù)規(guī)模和超2萬億tokens預(yù)訓(xùn)練語(yǔ)料,具備強(qiáng)大的中文創(chuàng)作能力、復(fù)雜語(yǔ)境下的邏輯推理能力以及可靠的任務(wù)執(zhí)行能力。以此為基座模型,持續(xù)加入涵蓋285萬醫(yī)學(xué)實(shí)體、1250萬醫(yī)學(xué)關(guān)系,覆蓋98%醫(yī)學(xué)知識(shí)的醫(yī)學(xué)知識(shí)圖譜和醫(yī)學(xué)文獻(xiàn),使大模型進(jìn)一步掌握專業(yè)的醫(yī)學(xué)知識(shí)。經(jīng)過3000萬覆蓋患者、醫(yī)生、藥廠等場(chǎng)景及醫(yī)療流程的問答對(duì)話進(jìn)行多任務(wù)微調(diào),以及36萬組專家醫(yī)生標(biāo)注數(shù)據(jù)的強(qiáng)化學(xué)習(xí),讓騰訊的醫(yī)療大模型在處理醫(yī)療需求時(shí)更專業(yè)、精準(zhǔn),同時(shí)也兼顧了患者關(guān)懷,更接近人類醫(yī)生。
就診全流程智能升級(jí)
騰訊健康用戶平臺(tái)總經(jīng)理吳志剛介紹,依托醫(yī)學(xué)知識(shí)圖譜及醫(yī)療大模型,AI導(dǎo)輔診應(yīng)用進(jìn)行了全面升級(jí),包括醫(yī)學(xué)智能問答、數(shù)字人就醫(yī)助手、智能自由問診、病歷自動(dòng)生成、AI合理用藥、智能化隨訪管理、患者全流程管理等應(yīng)用,為醫(yī)療決策全流程提供更精準(zhǔn)的輔助,助力患者就醫(yī)體驗(yàn)以及臨床醫(yī)生、藥劑師服務(wù)效率和質(zhì)量的雙向提升。診前階段的應(yīng)用除了醫(yī)學(xué)智能問答,還升級(jí)了數(shù)字人就醫(yī)助手,能提供7*24h的智能客服及專業(yè)科普服務(wù);診中環(huán)節(jié),基于大模型的能力學(xué)習(xí)百萬級(jí)醫(yī)患對(duì)話及3000多疾病推演解析,升級(jí)了模擬自由對(duì)話真實(shí)度更強(qiáng)的輔助問診、更符合書寫規(guī)范的病歷自動(dòng)生成以及能給出可解釋性依據(jù)的輔助診療等應(yīng)用;診后階段采用人工智能+互聯(lián)網(wǎng)醫(yī)療的新型模式升級(jí)了智能化隨訪管理和患者全流程管理等應(yīng)用。目前,上海仁濟(jì)醫(yī)院已經(jīng)率先運(yùn)用騰訊醫(yī)療大模型,以互聯(lián)網(wǎng)醫(yī)院適老化服務(wù)為重點(diǎn),打造高度擬人化的虛擬數(shù)字形象“小威護(hù)士”,為老年患者提供更溫暖、便捷的醫(yī)療服務(wù)。多場(chǎng)景推動(dòng)AI應(yīng)用普及
在AI驅(qū)動(dòng)藥物發(fā)現(xiàn)方面,騰訊“云深”(iDrug)平臺(tái)已同時(shí)具備了小分子藥物與大分子藥物的加速發(fā)現(xiàn)能力。據(jù)騰訊AIDD技術(shù)負(fù)責(zé)人劉偉介紹,在蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)方面,“云深”(iDrug)平臺(tái)開發(fā)了全新的算法框架tFold,其先進(jìn)性多次獲得國(guó)際的蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)評(píng)估平臺(tái)證明;在藥物的ADMET屬性的預(yù)測(cè)方面已研發(fā)并上線70+個(gè)ADMET性質(zhì),并通過結(jié)合物理學(xué)特征和藥企合作等數(shù)據(jù)訓(xùn)練證明能夠超越主流軟件;開發(fā)了兩個(gè)骨架躍遷分子生成算法發(fā)現(xiàn)nM級(jí)先導(dǎo)化合物,并在3-4個(gè)項(xiàng)目中得到了有效證明,同時(shí)還引入了強(qiáng)化學(xué)習(xí)技術(shù)在藥物小分子生成方面達(dá)成97%的生成分子滿足要求。在助力基層服務(wù)能力提升方面,騰訊健康還發(fā)布了全新的家庭醫(yī)生助手。騰訊健康戰(zhàn)略及醫(yī)療產(chǎn)品總經(jīng)理王倩怡指出,利用微信、企業(yè)微信打通醫(yī)患的溝通渠道,以及醫(yī)療大模型的助力,將為醫(yī)生提供更加智能的簽約、咨詢、隨訪、宣教能力?;卺t(yī)療大模型的能力,家庭醫(yī)生助手能夠化身“基層AI百事通”,為居民提供精細(xì)化的健康管理。在醫(yī)學(xué)影像科研及應(yīng)用方面,騰訊覓影全面升級(jí)了數(shù)智醫(yī)療影像平臺(tái),專注于數(shù)字醫(yī)療影像云端應(yīng)用、科研及管理,同時(shí)搭載人工智能分析能力,提供產(chǎn)、學(xué)、研、管一體化醫(yī)療影像解決方案,為醫(yī)療機(jī)構(gòu)、科研院校、科創(chuàng)企業(yè)提供醫(yī)療影像領(lǐng)域的全面支持。平臺(tái)還將進(jìn)一步開放20多個(gè)騰訊自研的AI引擎,助力科研機(jī)構(gòu)AI模型自主研發(fā)及訓(xùn)練。構(gòu)建數(shù)智醫(yī)療的“TRUST”模式
目前,騰訊健康小程序已連接超3000家可掛號(hào)公立醫(yī)院、超5000家體檢機(jī)構(gòu),以及超200個(gè)城市的疫苗服務(wù);醫(yī)保電子憑證覆蓋超80萬家兩定機(jī)構(gòu)及超20000家醫(yī)院;微信渠道的電子健康卡用戶超6億,接入5000多家醫(yī)院。騰訊健康進(jìn)一步加強(qiáng)用戶與醫(yī)療服務(wù)的連接效用。騰訊健康總裁吳文達(dá)指出,在技術(shù)創(chuàng)新上,騰訊健康持續(xù)投入醫(yī)療AI相關(guān)技術(shù)研究,累計(jì)專利1000多件,并加速轉(zhuǎn)化前沿技術(shù)應(yīng)用到醫(yī)療場(chǎng)景;同時(shí),騰訊在算力供給、數(shù)據(jù)存儲(chǔ)、安全防護(hù)等數(shù)字基礎(chǔ)設(shè)施方面的積累,將為醫(yī)療行業(yè)提供可靠的底層保障;此外,借助微信、騰訊會(huì)議等廣泛的用戶能力,人工智能應(yīng)用可以廣泛助力醫(yī)療普惠;為此,騰訊健康將進(jìn)一步推動(dòng)自身能力、技術(shù)和產(chǎn)品開放,與行業(yè)共建規(guī)范一致的數(shù)字醫(yī)療標(biāo)準(zhǔn),打造可復(fù)制的創(chuàng)新標(biāo)桿。3. 人工智能爆火導(dǎo)致用水量飆升:?jiǎn)朇hatGPT 50個(gè)問題,耗水500毫升
原文:https://new.qq.com/rain/a/20230911A00Z0E00聯(lián)合國(guó)環(huán)境規(guī)劃署曾發(fā)布報(bào)告稱,世界上約三分之二的人口每年至少經(jīng)歷1個(gè)月的嚴(yán)重缺水。到2030年,情況預(yù)計(jì)將更加惡化,世界上近半人口將面臨嚴(yán)重的水資源短缺。除了農(nóng)業(yè)和工業(yè)用水增長(zhǎng)外,人工智能熱潮導(dǎo)致的用水量也在飆升,而科技巨頭們正因此變得更“饑渴”。 到目前為止,研究人員和開發(fā)人員主要關(guān)注減少人工智能模型的碳足跡,而經(jīng)常忽視它們的水足跡。在數(shù)據(jù)中心培訓(xùn)和部署人工智能模型需要消耗大量的水。舉例來說,在微軟最先進(jìn)的美國(guó)數(shù)據(jù)中心培訓(xùn)GPT-3可能直接消耗70萬升清潔淡水,這些淡水可用于生產(chǎn)370輛寶馬汽車或320輛特斯拉電動(dòng)汽車。此外,ChatGPT每次涉及20到50個(gè)問題的簡(jiǎn)單對(duì)話中,消耗的水量約為500毫升。這乍看起來不算多,但考慮到這款聊天機(jī)器人有超過1億的活躍用戶,每個(gè)人都參與了多個(gè)對(duì)話,其用水量相當(dāng)驚人。不僅僅是微軟和OpenAI,在用水量方面,谷歌更是大戶。2021年,僅其在美國(guó)的數(shù)據(jù)中心就將消耗127億升淡水用于冷卻,其中約90%都是可飲用水。總體而言,2014年美國(guó)數(shù)據(jù)中心的總用水量估計(jì)高達(dá)6260億升。值得稱贊的是,大型科技公司都在采取措施來幫助解決這個(gè)問題。其中,亞馬遜、Meta、谷歌和微軟等科技巨頭,都承諾到2030年變得“積極用水”,這意味著他們補(bǔ)充的水將超過他們消耗的水。
01 與ChatGPT每次交互耗水500毫升
構(gòu)建像ChatGPT這類人工智能產(chǎn)品的成本可能很難衡量,其中包括用水成本。訓(xùn)練和部署OpenAI的技術(shù)需要大量的水,該公司需要從愛荷華州中部的浣熊河(Raccoon)和得梅因河(Des Moines)的交匯處抽水,為強(qiáng)大的超級(jí)計(jì)算機(jī)降溫。這臺(tái)超算正幫助OpenAI的人工智能系統(tǒng)學(xué)習(xí)如何模仿人類書寫。隨著微軟、OpenAI和谷歌等領(lǐng)先的科技開發(fā)商競(jìng)相利用生成式人工智能的熱潮,他們都承認(rèn),對(duì)其人工智能工具日益增長(zhǎng)的需求帶來了高昂的成本,從訂購(gòu)昂貴的半導(dǎo)體到用水量激增都在推動(dòng)成本上漲。 但這些科技公司通常對(duì)細(xì)節(jié)守口如瓶。在愛荷華州,很少有人知道該州是OpenAI最先進(jìn)大語(yǔ)言模型GPT-4的誕生地,直到一位微軟高管在一次演講中說漏了嘴,它“實(shí)際上是在得梅因以西的玉米地旁邊構(gòu)建的”。構(gòu)建大語(yǔ)言模型需要分析大量人類書寫文本的模式,所有這些計(jì)算都需要大量的電力,并會(huì)產(chǎn)生大量的熱量。為了在炎熱的天氣里保持涼爽,數(shù)據(jù)中心需要抽入大量的水,通常需要降水送入倉(cāng)庫(kù)大小、位于建筑外的冷卻塔中。任何在公司服務(wù)器機(jī)房待過的人都知道,你需要先帶上毛衣。服務(wù)器機(jī)房要時(shí)刻保持涼爽,溫度通常在10攝氏度左右,以防止設(shè)備出現(xiàn)故障。保持這一理想溫度是一個(gè)持續(xù)的挑戰(zhàn),因?yàn)榉?wù)器本身會(huì)將電能轉(zhuǎn)化為熱量。而冷卻塔通常被用來消耗熱量,并通過蒸發(fā)冷水來保持房間的理想溫度。冷卻塔可以完成這項(xiàng)工作,但它們需要大量的水。研究人員估計(jì),數(shù)據(jù)中心平均每千瓦時(shí)消耗大約一加侖的水。也不是任何類型的水都可以使用。數(shù)據(jù)中心使用清潔的淡水來源,以避免海水可能帶來的腐蝕或細(xì)菌生長(zhǎng)。淡水對(duì)于控制房間內(nèi)的濕度也是必不可少的。此外,數(shù)據(jù)中心也需要大量由水力發(fā)電的能源支持,科學(xué)家們將這種情況稱為“非現(xiàn)場(chǎng)間接用水量”。加州大學(xué)河濱分校的研究員任少雷一直在試圖計(jì)算ChatGPT等生成式人工智能產(chǎn)品對(duì)環(huán)境的影響。在一篇將于今年晚些時(shí)候發(fā)表的論文中,任少雷的團(tuán)隊(duì)估計(jì),每次你問ChatGPT 5到50個(gè)提示或問題時(shí),它就會(huì)消耗500毫升的水。當(dāng)然,其用水量取決于服務(wù)器所在的位置和季節(jié)。這一估計(jì)包括了這些公司沒有測(cè)量的間接用水,比如為數(shù)據(jù)中心供電的發(fā)電廠降溫用水。“大多數(shù)人都沒有意識(shí)到ChatGPT背后的資源消耗情況,”任說。“如果你不知道資源的使用情況,那么我們就無法幫助保護(hù)資源?!?/span>OpenAI在其聲明中回應(yīng)了這些評(píng)論,稱該公司正在“充分考慮”如何最好地利用計(jì)算能力?!拔覀冋J(rèn)識(shí)到,培訓(xùn)大型模型可能是能源和水密集型的,為此會(huì)努力提高效率,”該公司表示。02 微軟因訓(xùn)練和部署AI用水量飆升34%
微軟在其最新的環(huán)境報(bào)告中披露,從2021年到2022年,該公司全球用水量飆升了34%(達(dá)到近17億加侖,或超過2500個(gè)奧運(yùn)會(huì)游泳池儲(chǔ)水量)。與外部研究人員對(duì)微軟人工智能研究相關(guān)用水情況相比,這一數(shù)字有了大幅增長(zhǎng)。


03 谷歌用水量飆升20%,AI競(jìng)賽讓情況變得更糟
谷歌于7月份發(fā)布的2023年環(huán)境報(bào)告顯示,該公司的用水量飆升20%,這在很大程度上也歸功于其人工智能工作。這家互聯(lián)網(wǎng)巨頭表示,其2022年消耗了56億加侖的水,相當(dāng)于37個(gè)高爾夫球場(chǎng)的用水量,其中52億加侖用于支持其龐大的數(shù)據(jù)中心運(yùn)營(yíng),比上一年增加了20%。谷歌的用水量上漲幅度并不一致:在俄勒岡州,其用水量很穩(wěn)定,因?yàn)樗斯姷淖⒁猓欢诶咕S加斯以外,它的用水量翻了一番。在愛荷華州,谷歌同樣很饑渴,其Council Bluffs數(shù)據(jù)中心用水量比其他任何地方都多。谷歌的報(bào)告詳細(xì)介紹了保持大型數(shù)據(jù)中心運(yùn)行所需要的環(huán)境成本,這些數(shù)據(jù)中心通常需要大量的水才能保持涼爽。數(shù)據(jù)顯示,隨著谷歌和人工智能競(jìng)賽中的所有其他科技公司加快建設(shè)新的數(shù)據(jù)中心,它們的用水量很可能會(huì)繼續(xù)上升。2019年,谷歌僅在三個(gè)州就為數(shù)據(jù)中心申請(qǐng)了超過23億加侖的水。該公司目前在北美擁有14個(gè)數(shù)據(jù)中心,用于支持其產(chǎn)品套件Google Search,以及最近推出的Lamda和Bard等大語(yǔ)言模型。數(shù)據(jù)顯示,僅Lamda就可能需要數(shù)百萬升水來進(jìn)行培訓(xùn),比GPT-3還要多,因?yàn)楣雀璧膸讉€(gè)干渴的數(shù)據(jù)中心都位于得克薩斯州等炎熱的州。

4. Nvidia發(fā)布TensorRT-LLM開源軟件 提升高端GPU芯片上的AI模型性能
原文:https://new.qq.com/rain/a/20230911A075ZW00Nvidia近日宣布推出一款名為TensorRT-LLM的新開源軟件套件,擴(kuò)展了Nvidia GPU上大型語(yǔ)言模型優(yōu)化的功能,并突破了部署之后人工智能推理性能的極限。

應(yīng)對(duì)動(dòng)態(tài)工作負(fù)載的“運(yùn)行中批處理”機(jī)制
由于大型語(yǔ)言模型本身的性質(zhì),模型的工作負(fù)載可能是高度動(dòng)態(tài)的,工作負(fù)載的需求和任務(wù)使用情況也可能會(huì)隨著時(shí)間的推移而發(fā)生變化,單個(gè)模型可以同時(shí)用作聊天機(jī)器人來提問和回答,也可以用于總結(jié)大型文檔和簡(jiǎn)短文檔。因此,輸出大小可能會(huì)出現(xiàn)完全不同的數(shù)量級(jí)。為了應(yīng)對(duì)這些不同的工作負(fù)載,TensorRT-LLM引入了一種稱為“運(yùn)行中批處理”的機(jī)制,這是一個(gè)優(yōu)化調(diào)度的過程,把文本生成過程分解為多個(gè)片段,以便可以將移入或者移出GPU,這樣在開始新一批之前就不需要完成整批工作負(fù)載了。以前,如果有大型請(qǐng)求的話,例如對(duì)非常大的文檔進(jìn)行摘要提取,那么后面所有的內(nèi)容都必須等待該過程完成才能使隊(duì)列繼續(xù)前進(jìn)。Nvidia一直在與眾多廠商合作優(yōu)化TensorRT-LLM,包括Meta、Cohere、Grammarly、Databricks和Tabnine。在他們的幫助下,Nvidia不斷簡(jiǎn)化軟件套件中的功能和工具集,包括開源Python應(yīng)用用戶界面,用于定義和優(yōu)化新架構(gòu)以定制大型語(yǔ)言模型。例如,MosaicML在將TensorRT-LLM與其現(xiàn)有軟件堆棧集成時(shí)在TensorRT-LLM之上添加額外的功能。Databricks公司工程副總裁Naveen Rao表示,這是一個(gè)簡(jiǎn)單的過程。“TensorRT-LLM易于使用,功能豐富,包括令牌流、動(dòng)態(tài)批處理、分頁(yè)注意力、量化等,而且效率很高,為使用 NVIDIA GPU的大型語(yǔ)言模型服務(wù)提供了最佳性能,并使我們能夠?qū)⒐?jié)省的成本回饋給我們的客戶?!?/span>Nvidia稱,TensorRT-LLM及其帶來的好處(包括運(yùn)行中批處理功能)可以讓使用Nvidia H100提取文章摘要的推理性能提高1倍多。在使用GPT-J-6B模型進(jìn)行對(duì)CNN/每日郵報(bào)文章摘要的A100測(cè)試中,僅H100就要比A100快4倍,啟用TensorRT-LLM優(yōu)化后,速度快了8倍。TensorRT-LLM為開發(fā)人員和工程師提供了深度學(xué)習(xí)編譯器、優(yōu)化的大型語(yǔ)言模型內(nèi)核、預(yù)處理和后處理、多GPU/多節(jié)點(diǎn)通信功能、以及簡(jiǎn)單的開源API,使他們能夠快速優(yōu)化和執(zhí)行大型語(yǔ)言模型生產(chǎn)的推理。隨著大型語(yǔ)言模型繼續(xù)重塑數(shù)據(jù)中心,企業(yè)需要更高的性能就意味著開發(fā)人員比以往任何時(shí)候都更需要能夠?yàn)樗麄兲峁┚邆涔δ芎驮L問權(quán)限的工具,以提供更高性能的結(jié)果。TensorRT-LLM軟件套件現(xiàn)已可供Nvidia開發(fā)人員計(jì)劃中的開發(fā)人員搶先體驗(yàn),并將于下個(gè)月集成到用于生產(chǎn)型AI端到端軟件平臺(tái)Nvidia AI Enterprise的NeMo框架中。5. 魔法打敗魔法,AI數(shù)據(jù)需要AI解決方案
原文:https://new.qq.com/rain/a/20230914A07W7X00根據(jù)Kompprise委托進(jìn)行的“非結(jié)構(gòu)化數(shù)據(jù)管理狀況”調(diào)查 顯示,人工智能正成為IT和商業(yè)領(lǐng)袖面臨的主要數(shù)據(jù)管理挑戰(zhàn)。研究顯示,公司在很大程度上允許員工使用生成型人工智能,但三分之二(66%)的公司擔(dān)心它可能帶來的數(shù)據(jù)治理風(fēng)險(xiǎn),包括隱私、安全以及供應(yīng)商解決方案中缺乏數(shù)據(jù)源透明度。這項(xiàng)由數(shù)據(jù)管理供應(yīng)商Kompprise委托進(jìn)行的“非結(jié)構(gòu)化數(shù)據(jù)管理狀況”調(diào)查收集了美國(guó)和英國(guó)擁有1000多名員工的公司的300名企業(yè)存儲(chǔ)IT和業(yè)務(wù)決策者的回復(fù)。雖然只有10%的組織不允許員工使用生成人工智能,但大多數(shù)組織擔(dān)心不道德、有偏見或不準(zhǔn)確的輸出,以及公司數(shù)據(jù)泄露到供應(yīng)商的人工智能系統(tǒng)中。為了應(yīng)對(duì)這些挑戰(zhàn),同時(shí)也從人工智能中尋找競(jìng)爭(zhēng)優(yōu)勢(shì),研究發(fā)現(xiàn),40%的領(lǐng)導(dǎo)者正在采取多管齊下的方法來降低人工智能中非結(jié)構(gòu)化數(shù)據(jù)的風(fēng)險(xiǎn),包括存儲(chǔ)、數(shù)據(jù)管理和安全工具,以及使用內(nèi)部工作組來監(jiān)督人工智能的使用。領(lǐng)導(dǎo)者面臨的最大非結(jié)構(gòu)化數(shù)據(jù)管理挑戰(zhàn)是“在不干擾用戶和應(yīng)用程序的情況下移動(dòng)數(shù)據(jù)”(47%),但緊隨其后的是“為人工智能和云服務(wù)做準(zhǔn)備”(46%)。“生成式人工智能對(duì)數(shù)據(jù)治理和保護(hù)提出了新的問題,” NAND Research首席分析師Steve McDowell表示,“研究顯示,IT領(lǐng)導(dǎo)者正在努力在快速推出生成式人工智能解決方案的同時(shí),負(fù)責(zé)平衡企業(yè)數(shù)據(jù)的保護(hù),但這是一個(gè)困難的挑戰(zhàn),需要采用智能工具?!?/span>“IT領(lǐng)導(dǎo)者正在將重點(diǎn)轉(zhuǎn)移到利用生成性人工智能解決方案上,但他們希望在這樣做時(shí)有所限制, ” Kompprise首席執(zhí)行官Kumar Goswami補(bǔ)充道,“人工智能的數(shù)據(jù)治理需要正確的數(shù)據(jù)管理策略,包括跨數(shù)據(jù)存儲(chǔ)孤島的可見性、數(shù)據(jù)來源的透明度、高性能的數(shù)據(jù)移動(dòng)性和安全的數(shù)據(jù)訪問?!?/span>
6. 俄IT巨頭Yandex開發(fā)GPT大模型,稱與ChatGPT抗衡“只是時(shí)間問題”
原文:https://www.163.com/dy/article/IE9Q30M00511B8LM.html俄媒 Russia Today 當(dāng)?shù)貢r(shí)間 9 日?qǐng)?bào)道,當(dāng)?shù)乜萍季揞^ Yandex 在采訪中表示,該公司開發(fā)的 YandexGPT 相比于美國(guó)競(jìng)爭(zhēng)對(duì)手 OpenAI 開發(fā)的 ChatGPT 而言,具有更大的前途。 andex 的搜索和廣告技術(shù)業(yè)務(wù)部主管 Dmitry Masyuk 表示,YandexGPT 在生成俄語(yǔ)內(nèi)容時(shí)的表現(xiàn)已經(jīng)能夠“穩(wěn)步超越”ChatGPT 3.5 版本,甚至在許多情況下提供了優(yōu)于 ChatGPT 4.0 的回答,更表示 YandexGPT 與其美國(guó)對(duì)手抗衡將“只是時(shí)間問題”。而跟 Meta 公司開發(fā)的 Llama-2-7b 相比,YandexGPT 也能夠生成“更好的回答”,包括生成英語(yǔ)內(nèi)容的情況。Dmitry Masyuk 也稱,公司正在不斷評(píng)估其生成式 AI 與 ChatGPT 的技術(shù)進(jìn)展情況。很難對(duì)這兩個(gè)系統(tǒng)進(jìn)行比較,它們可能各有所長(zhǎng)。比如說,一個(gè)能夠解決物理學(xué)問題、撰寫童話故事、給 CEO 寫信的神經(jīng)網(wǎng)絡(luò)在某些方面做得更好,而在其他方面稍顯遜色,那么總體來看,這個(gè)系統(tǒng)該說它“更好”,還是“更差”呢?IT之家注:Yandex 的大模型產(chǎn)品于今年 5 月首發(fā)亮相,包含聊天機(jī)器人、AI 助手,能夠生成、重構(gòu)或匯總基于文本內(nèi)容的信息,并可解決其他業(yè)務(wù)有關(guān)問題。今年 9 月,該公司推出了這款大模型產(chǎn)品的升級(jí)版 ——YandexGPT 2,號(hào)稱能夠解決更多問題,用于更多場(chǎng)景,提供更加精確的答案。 ———————End——————— 點(diǎn)擊閱讀原文進(jìn)入官網(wǎng)
原文標(biāo)題:【AI簡(jiǎn)報(bào)20230915期】耗水量激增!AI競(jìng)賽變得更為困難,AI數(shù)據(jù)需要AI解決方案
文章出處:【微信公眾號(hào):RTThread物聯(lián)網(wǎng)操作系統(tǒng)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
-
RT-Thread
+關(guān)注
關(guān)注
32文章
1409瀏覽量
41958
原文標(biāo)題:【AI簡(jiǎn)報(bào)20230915期】耗水量激增!AI競(jìng)賽變得更為困難,AI數(shù)據(jù)需要AI解決方案
文章出處:【微信號(hào):RTThread,微信公眾號(hào):RTThread物聯(lián)網(wǎng)操作系統(tǒng)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
大家都在用什么AI軟件?有沒有好用的免費(fèi)的AI軟件推薦一下?
Nordic收購(gòu) Neuton.AI 關(guān)于產(chǎn)品技術(shù)的分析


無需聯(lián)網(wǎng)!AI眼鏡推出實(shí)時(shí)翻譯功能 #AI眼鏡 #智能眼鏡 #黑科技 #晶揚(yáng)電子
首創(chuàng)開源架構(gòu),天璣AI開發(fā)套件讓端側(cè)AI模型接入得心應(yīng)手

適用于數(shù)據(jù)中心和AI時(shí)代的800G網(wǎng)絡(luò)
Banana Pi 發(fā)布 BPI-AI2N & BPI-AI2N Carrier,助力 AI 計(jì)算與嵌入式開發(fā)
《AI Agent 應(yīng)用與項(xiàng)目實(shí)戰(zhàn)》----- 學(xué)習(xí)如何開發(fā)視頻應(yīng)用
當(dāng)我問DeepSeek AI爆發(fā)時(shí)代的FPGA是否重要?答案是......
AI賦能邊緣網(wǎng)關(guān):開啟智能時(shí)代的新藍(lán)海
HarmonyOS NEXT 應(yīng)用開發(fā)練習(xí):AI智能對(duì)話框
AI for Science:人工智能驅(qū)動(dòng)科學(xué)創(chuàng)新》第4章-AI與生命科學(xué)讀后感
《AI for Science:人工智能驅(qū)動(dòng)科學(xué)創(chuàng)新》第二章AI for Science的技術(shù)支撐學(xué)習(xí)心得

評(píng)論