99精品伊人亚洲|最近国产中文炮友|九草在线视频支援|AV网站大全最新|美女黄片免费观看|国产精品资源视频|精彩无码视频一区|91大神在线后入|伊人终合在线播放|久草综合久久中文

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

AI大模型瘋長(zhǎng),存儲(chǔ)扛住了嗎?

科技云報(bào)到 ? 來源:jf_60444065 ? 作者:jf_60444065 ? 2024-04-15 14:31 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

科技云報(bào)道原創(chuàng)。

AI大模型正在倒逼數(shù)字基礎(chǔ)設(shè)施產(chǎn)業(yè)加速升級(jí)。

過去一年半,AI大模型標(biāo)志性的應(yīng)用相繼出現(xiàn),從ChatGPT到Sora一次次刷新人們的認(rèn)知。震撼的背后,是大模型參數(shù)指數(shù)級(jí)的增長(zhǎng)。

這種數(shù)據(jù)暴漲的壓力,快速傳導(dǎo)到了大模型的底層基礎(chǔ)設(shè)施。作為支撐大模型的底座“三大件”——算力、網(wǎng)絡(luò)、存儲(chǔ),都在快速的迭代。

算力方面,英偉達(dá)用了兩年的時(shí)間就將GPU從H100升級(jí)到了H200,讓模型的訓(xùn)練性能提升了5倍。

網(wǎng)絡(luò)方面,從之前的25G升級(jí)到現(xiàn)在的200G,網(wǎng)絡(luò)帶寬提升了6倍。隨著RDMA大規(guī)模的應(yīng)用,網(wǎng)絡(luò)延遲也降低了60%。

存儲(chǔ)方面,華為、阿里云、百度智能云、騰訊云等大廠,都相繼推出了面向AI大模型的存儲(chǔ)方案。

那么作為基礎(chǔ)設(shè)施的三大件之一的存儲(chǔ),在AI大模型的場(chǎng)景下到底發(fā)生了哪些變化?又有哪些新的技術(shù)挑戰(zhàn)?

AI大模型帶來的 存儲(chǔ)挑戰(zhàn)

算力、算法、數(shù)據(jù),在發(fā)展AI過程中的重要性早已為人所熟知,但是作為數(shù)據(jù)的承載,存儲(chǔ)卻往往被忽略。

在訓(xùn)練AI大模型的過程中,需要大量數(shù)據(jù)的交換,存儲(chǔ)作為數(shù)據(jù)的基礎(chǔ)硬件,并非僅僅只是簡(jiǎn)單地記錄數(shù)據(jù),而是深刻參與到了數(shù)據(jù)歸集、流轉(zhuǎn)、利用等大模型訓(xùn)練的全流程。

如果存儲(chǔ)性能不強(qiáng),那么可能需要耗費(fèi)大量時(shí)間才能完成一次訓(xùn)練,這就會(huì)嚴(yán)重制約大模型的發(fā)展迭代。

事實(shí)上,不少企業(yè)在開發(fā)及實(shí)施大模型應(yīng)用過程中,已經(jīng)開始意識(shí)到存儲(chǔ)系統(tǒng)所面臨的巨大挑戰(zhàn)。

從AI大模型的研發(fā)生產(chǎn)流程看,可分為數(shù)據(jù)采集、清洗、訓(xùn)練和應(yīng)用四個(gè)階段,各階段都對(duì)存儲(chǔ)提出了新的要求,比如:

在數(shù)據(jù)采集環(huán)節(jié),由于原始訓(xùn)練數(shù)據(jù)規(guī)模海量,且來源多樣,企業(yè)希望能夠有一個(gè)大容量、低成本、高可靠的數(shù)據(jù)存儲(chǔ)底座。

在數(shù)據(jù)清洗階段,網(wǎng)絡(luò)上收集的原始數(shù)據(jù)是不能直接用于AI模型訓(xùn)練的,需要將多格式、多協(xié)議的數(shù)據(jù)進(jìn)行清洗、去重、過濾、加工,行業(yè)內(nèi)稱其為“數(shù)據(jù)預(yù)處理”。

與傳統(tǒng)單模態(tài)小模型訓(xùn)練相比,多模態(tài)大模型所需的訓(xùn)練數(shù)據(jù)量是其1000倍以上,一個(gè)典型的百TB級(jí)大模型數(shù)據(jù)集,預(yù)處理時(shí)長(zhǎng)超過10天,占比AI數(shù)據(jù)挖掘全流程的30%。

同時(shí),數(shù)據(jù)預(yù)處理伴隨高并發(fā)處理,對(duì)算力消耗巨大。這就要求存儲(chǔ)能夠提供多協(xié)議、高性能的支持,用標(biāo)準(zhǔn)文件的方式完成海量數(shù)據(jù)的清洗和轉(zhuǎn)換,以縮短數(shù)據(jù)預(yù)處理的時(shí)長(zhǎng)。

在模型訓(xùn)練環(huán)節(jié),通常會(huì)出現(xiàn)訓(xùn)練集加載慢、易中斷、數(shù)據(jù)恢復(fù)時(shí)間長(zhǎng)等問題。

相較于傳統(tǒng)學(xué)習(xí)模型,大模型訓(xùn)練參數(shù)、訓(xùn)練數(shù)據(jù)集指數(shù)級(jí)增加,如何實(shí)現(xiàn)海量小文件數(shù)據(jù)集快速加載,降低 GPU等待時(shí)間是關(guān)鍵。

目前,主流預(yù)訓(xùn)練模型已經(jīng)有千億級(jí)參數(shù),而頻繁的參數(shù)調(diào)優(yōu)、網(wǎng)絡(luò)不穩(wěn)定、服務(wù)器故障等多種因素帶來訓(xùn)練過程不穩(wěn)定,易中斷返工,需要Checkpoints機(jī)制來確保訓(xùn)練回退到還原點(diǎn),而不是初始點(diǎn)。

當(dāng)前,由于Checkpoints需要天級(jí)的恢復(fù)時(shí)長(zhǎng),導(dǎo)致大模型整體訓(xùn)練周期陡增,而面對(duì)單次超大的數(shù)據(jù)量和未來小時(shí)級(jí)的頻度要求,需要認(rèn)真考慮如何降低Checkpoints恢復(fù)時(shí)長(zhǎng)。

因此,存儲(chǔ)能否快速地讀寫checkpoint(檢查點(diǎn))文件,也成了能否高效利用算力資源、提高訓(xùn)練效率的關(guān)鍵。

在應(yīng)用階段,存儲(chǔ)需要提供比較豐富的數(shù)據(jù)審核的能力,來滿足鑒黃鑒暴安全合規(guī)的訴求,保證大模型生成的內(nèi)容是合法、合規(guī)的方式去使用。

總的來說,AI大模型訓(xùn)練的效率要達(dá)到極致,減少不必要的浪費(fèi),必須在數(shù)據(jù)上下功夫。準(zhǔn)確地說,必須要在數(shù)據(jù)存儲(chǔ)技術(shù)上進(jìn)行創(chuàng)新。

AI倒逼存儲(chǔ)技術(shù)創(chuàng)新

根據(jù)投資機(jī)構(gòu)ARK Invest預(yù)算,到2030年,產(chǎn)業(yè)有望訓(xùn)練出比GPT-3多57倍參數(shù)、多720倍Token的AI模型,成本將從今天的170億美元降至60萬美元。隨著計(jì)算價(jià)格降低,數(shù)據(jù)將成為大模型生產(chǎn)的主要限制因素。

面對(duì)數(shù)據(jù)桎梏問題,不少企業(yè)已經(jīng)開始進(jìn)行前瞻性布局。

比如百川智能、智譜、元象等大模型企業(yè),都已采用騰訊云AIGC云存儲(chǔ)解決方案來提升效率。

數(shù)據(jù)顯示,騰訊云AIGC云存儲(chǔ)解決方案,可將大模型的數(shù)據(jù)清洗和訓(xùn)練效率均提升一倍,需要的時(shí)間縮短一半。

科大訊飛、中科院等大模型企業(yè)和機(jī)構(gòu),則采用了華為AI存儲(chǔ)相關(guān)產(chǎn)品。

數(shù)據(jù)顯示,華為OceanStor A310可實(shí)現(xiàn)從數(shù)據(jù)歸集、預(yù)處理到模型訓(xùn)練、推理應(yīng)用的AI全流程海量數(shù)據(jù)管理,簡(jiǎn)化數(shù)據(jù)歸集流程,減少數(shù)據(jù)搬移,預(yù)處理效率提升30%。

目前,國內(nèi)各大廠商也相繼發(fā)布了面向AI大模型場(chǎng)景的存儲(chǔ)方案。

2023年7月,華為發(fā)布兩款面向AI大模型的存儲(chǔ)產(chǎn)品——OceanStor A310深度學(xué)習(xí)數(shù)據(jù)湖存儲(chǔ)和FusionCube A3000訓(xùn)/推超融合一體機(jī)。

2023年11月云棲大會(huì)上,阿里云推出一系列針對(duì)大模型場(chǎng)景的存儲(chǔ)產(chǎn)品創(chuàng)新,用AI技術(shù)賦能AI業(yè)務(wù),幫助用戶更輕松地管理大規(guī)模多模態(tài)數(shù)據(jù)集,提高模型訓(xùn)練、推理的效率和準(zhǔn)確性。

2023年12月,百度智能云發(fā)布了“百度滄海·存儲(chǔ)”統(tǒng)一技術(shù)底座,同時(shí)面向數(shù)據(jù)湖存儲(chǔ)和AI存儲(chǔ)能力進(jìn)行了全面增強(qiáng)。

2024年4月,騰訊云宣布云存儲(chǔ)解決方案面向AIGC場(chǎng)景全面升級(jí),針對(duì)AI大模型數(shù)據(jù)采集清洗、訓(xùn)練、推理、數(shù)據(jù)治理全流程提供全面、高效的云存儲(chǔ)支持。

綜合各大廠商的存儲(chǔ)技術(shù)創(chuàng)新,可以發(fā)現(xiàn)技術(shù)方向較為統(tǒng)一,都是基于AI大模型生產(chǎn)研發(fā)的全流程,對(duì)存儲(chǔ)產(chǎn)品進(jìn)行有針對(duì)性的性能優(yōu)化。

以騰訊云為例,在數(shù)據(jù)采集與清洗環(huán)節(jié),首先需要存儲(chǔ)能夠支持多協(xié)議、高性能、大帶寬。

因此,騰訊云對(duì)象存儲(chǔ)COS能夠支持單集群管理百 EB 級(jí)別存儲(chǔ)規(guī)模,提供便捷、高效的數(shù)據(jù)公網(wǎng)接入能力,并支持多種協(xié)議,充分支持大模型PB級(jí)別的海量數(shù)據(jù)采集。

同時(shí),數(shù)據(jù)清洗時(shí),大數(shù)據(jù)引擎需要快速地讀取并過濾出有效數(shù)據(jù)。騰訊云對(duì)象存儲(chǔ)COS通過自研數(shù)據(jù)加速器GooseFS提升數(shù)據(jù)訪問性能,實(shí)現(xiàn)了高達(dá)數(shù)TBps的讀取帶寬,支撐計(jì)算高速運(yùn)行,大大提升數(shù)據(jù)清洗效率。

在模型訓(xùn)練環(huán)節(jié),通常需要每2-4小時(shí)保存一次訓(xùn)練成果,以便能在GPU故障時(shí)時(shí)能回滾。

騰訊云自主研發(fā)并行文件存儲(chǔ)CFS Turbo ,面向AIGC訓(xùn)練場(chǎng)景的進(jìn)行了專門優(yōu)化,每秒總讀寫吞吐達(dá)到TiB/s級(jí)別,每秒元數(shù)據(jù)性能高達(dá)百萬OPS,均為業(yè)界第一。3TB checkpoint 寫入時(shí)間從10分鐘,縮短至10秒內(nèi),使大模型訓(xùn)練效率大幅提升。

大模型推理場(chǎng)景對(duì)數(shù)據(jù)安全與可追溯性提出更高要求。

騰訊云數(shù)據(jù)萬象CI為此提供圖片隱式水印、AIGC內(nèi)容審核、智能數(shù)據(jù)檢索MetaInsight等能力,為數(shù)據(jù)生產(chǎn)從“用戶輸入——預(yù)處理——內(nèi)容審核——版權(quán)保護(hù)——安全分發(fā)——信息檢索”業(yè)務(wù)全流程提供有力支撐,優(yōu)化AIGC內(nèi)容生產(chǎn)與管理模式,順應(yīng)監(jiān)管導(dǎo)向,拓寬存儲(chǔ)邊界。

同時(shí),隨著訓(xùn)練數(shù)據(jù)和推理數(shù)據(jù)的增長(zhǎng),需要提供低成本的存儲(chǔ)能力,減少存儲(chǔ)開銷。騰訊云對(duì)象存儲(chǔ)服務(wù)提供了高達(dá)12個(gè)9的數(shù)據(jù)持久性和99.995%的數(shù)據(jù)可用性,能夠?yàn)闃I(yè)務(wù)提供持續(xù)可用的存儲(chǔ)服務(wù)。

總的來說,隨著AI大模型的推進(jìn),數(shù)據(jù)存儲(chǔ)出現(xiàn)了新的趨勢(shì)。市場(chǎng)渴望更高性能、大容量、低成本的存儲(chǔ)產(chǎn)品,并加速大模型各個(gè)環(huán)節(jié)的融合和效率提升。

而各大廠商也在通過技術(shù)創(chuàng)新不斷滿足大模型各環(huán)節(jié)的需求,為企業(yè)實(shí)施大模型降低門檻。

在AI大模型的倒逼下,存儲(chǔ)創(chuàng)新已在路上。

【關(guān)于科技云報(bào)道】

專注于原創(chuàng)的企業(yè)級(jí)內(nèi)容行家——科技云報(bào)道。成立于2015年,是前沿企業(yè)級(jí)IT領(lǐng)域Top10媒體。獲工信部權(quán)威認(rèn)可,可信云、全球云計(jì)算大會(huì)官方指定傳播媒體之一。深入原創(chuàng)報(bào)道云計(jì)算、大數(shù)據(jù)、人工智能、區(qū)塊鏈等領(lǐng)域。

審核編輯 黃宇

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 存儲(chǔ)
    +關(guān)注

    關(guān)注

    13

    文章

    4533

    瀏覽量

    87469
  • AI
    AI
    +關(guān)注

    關(guān)注

    88

    文章

    35165

    瀏覽量

    280084
  • 騰訊云
    +關(guān)注

    關(guān)注

    0

    文章

    221

    瀏覽量

    17116
  • AIGC
    +關(guān)注

    關(guān)注

    1

    文章

    388

    瀏覽量

    2482
  • 大模型
    +關(guān)注

    關(guān)注

    2

    文章

    3146

    瀏覽量

    4076
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    群暉發(fā)布AI模型全流程存儲(chǔ)解決方案,破局訓(xùn)練效率與數(shù)據(jù)孤島難題

    兼容數(shù)據(jù)歸集、高速訓(xùn)練、高可用部署全場(chǎng)景,支持?Llama2?等千億參數(shù)模型,讀寫效率提升?90% 上海?2025年6月24日?/美通社/ -- 當(dāng)算力狂奔時(shí),數(shù)據(jù)存儲(chǔ)正成為AI進(jìn)化的新瓶頸。 據(jù)
    的頭像 發(fā)表于 06-25 16:03 ?132次閱讀
    群暉發(fā)布<b class='flag-5'>AI</b><b class='flag-5'>模型</b>全流程<b class='flag-5'>存儲(chǔ)</b>解決方案,破局訓(xùn)練效率與數(shù)據(jù)孤島難題

    【「零基礎(chǔ)開發(fā)AI Agent」閱讀體驗(yàn)】+ 入門篇學(xué)習(xí)

    很高興又有機(jī)會(huì)學(xué)習(xí)ai技術(shù),這次試讀的是「零基礎(chǔ)開發(fā)AI Agent」,作者葉濤、管鍇、張心雨。 大模型的普及是近三年來的一件大事,萬物皆可大模型已成為趨勢(shì)。作為大
    發(fā)表于 05-02 09:26

    部署image_classification模型住了怎么解決?

    我按照如下教程部署,然后編譯卡住了,誰能幫忙看看是咋回事。 https://github.com/STMicroelectronics/stm32ai-modelzoo-services/blob
    發(fā)表于 04-27 06:29

    首創(chuàng)開源架構(gòu),天璣AI開發(fā)套件讓端側(cè)AI模型接入得心應(yīng)手

    AI的演進(jìn)正在逼近“終端智能涌現(xiàn)”的拐點(diǎn),從通用模型向場(chǎng)景落地遷移成為關(guān)鍵議題。聯(lián)發(fā)科以“AI隨芯,應(yīng)用無界”為主題召開天璣開發(fā)者大會(huì)2025(MDDC 2025),不僅聚合了全球生態(tài)資源,還
    發(fā)表于 04-13 19:52

    曙光存儲(chǔ)全新升級(jí)AI存儲(chǔ)方案

    近日,曙光存儲(chǔ)全新升級(jí)AI存儲(chǔ)方案,秉持“AI加速”理念,面向AI訓(xùn)練、AI推理和
    的頭像 發(fā)表于 03-31 11:27 ?502次閱讀

    存力接棒算力,慧榮科技以主控技術(shù)突破AI存儲(chǔ)極限

    電子發(fā)燒友網(wǎng)報(bào)道(文/黃山明)在AI的高速增長(zhǎng)下,尤其是以DeepSeek為代表的AI模型推動(dòng)存儲(chǔ)需求激增,算力增長(zhǎng)倒逼存力升級(jí)。而存儲(chǔ)
    的頭像 發(fā)表于 03-19 01:29 ?1797次閱讀
    存力接棒算力,慧榮科技以主控技術(shù)突破<b class='flag-5'>AI</b><b class='flag-5'>存儲(chǔ)</b>極限

    利用RAKsmart服務(wù)器托管AI模型訓(xùn)練的優(yōu)勢(shì)

    AI模型訓(xùn)練需要強(qiáng)大的計(jì)算資源、高效的存儲(chǔ)和穩(wěn)定的網(wǎng)絡(luò)支持,這對(duì)服務(wù)器的性能提出了較高要求。而RAKsmart服務(wù)器憑借其核心優(yōu)勢(shì),成為托管AI模型
    的頭像 發(fā)表于 03-18 10:08 ?268次閱讀

    訓(xùn)練好的ai模型導(dǎo)入cubemx不成功怎么處理?

    訓(xùn)練好的ai模型導(dǎo)入cubemx不成功咋辦,試了好幾個(gè)模型壓縮了也不行,ram占用過大,有無解決方案?
    發(fā)表于 03-11 07:18

    霍爾電流傳感器的原邊端如何接入AI模型?

    霍爾電流傳感器的原邊端如何接入AI模型,以便AI分析問題解決問題?話題會(huì)不會(huì)太超前?現(xiàn)在正式AI風(fēng)口啊,豬都要起飛了
    發(fā)表于 03-03 15:18

    AI模型托管原理

    AI模型托管的核心在于將訓(xùn)練好的AI模型部署在云端或邊緣服務(wù)器上,由第三方平臺(tái)提供模型運(yùn)行、管理和優(yōu)化等服務(wù)。下面,
    的頭像 發(fā)表于 02-26 10:31 ?619次閱讀

    企業(yè)AI模型部署攻略

    當(dāng)下,越來越多的企業(yè)開始探索和實(shí)施AI模型,以提升業(yè)務(wù)效率和競(jìng)爭(zhēng)力。然而,AI模型的部署并非易事,需要企業(yè)在多個(gè)層面進(jìn)行細(xì)致的規(guī)劃和準(zhǔn)備。下面,AI
    的頭像 發(fā)表于 12-23 10:31 ?797次閱讀

    AI模型托管原理分析

    AI模型托管是指將訓(xùn)練好的AI模型部署在云端或邊緣服務(wù)器上,由第三方平臺(tái)提供模型運(yùn)行、管理和優(yōu)化等服務(wù)。以下,
    的頭像 發(fā)表于 11-07 09:33 ?792次閱讀

    AI模型市場(chǎng)分析

    隨著人工智能技術(shù)的快速發(fā)展,AI模型已成為全球科技競(jìng)爭(zhēng)的新高地、未來產(chǎn)業(yè)的新賽道以及經(jīng)濟(jì)發(fā)展的新引擎。下面,AI部落小編分析了當(dāng)前AI模型
    的頭像 發(fā)表于 11-01 09:51 ?561次閱讀

    AI模型與深度學(xué)習(xí)的關(guān)系

    AI模型與深度學(xué)習(xí)之間存在著密不可分的關(guān)系,它們互為促進(jìn),相輔相成。以下是對(duì)兩者關(guān)系的介紹: 一、深度學(xué)習(xí)是AI模型的基礎(chǔ) 技術(shù)支撐 :深度學(xué)習(xí)是一種機(jī)器學(xué)習(xí)的方法,通過多層神經(jīng)網(wǎng)
    的頭像 發(fā)表于 10-23 15:25 ?2900次閱讀

    AI模型的最新研究進(jìn)展

    AI模型的最新研究進(jìn)展體現(xiàn)在多個(gè)方面,以下是對(duì)其最新進(jìn)展的介紹: 一、技術(shù)創(chuàng)新與突破 生成式AI技術(shù)的爆發(fā) : 生成式AI技術(shù)正在迅速發(fā)展,其強(qiáng)大的生成能力使得
    的頭像 發(fā)表于 10-23 15:19 ?1538次閱讀