99精品伊人亚洲|最近国产中文炮友|九草在线视频支援|AV网站大全最新|美女黄片免费观看|国产精品资源视频|精彩无码视频一区|91大神在线后入|伊人终合在线播放|久草综合久久中文

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

NVIDIA RAPIDS加速器可將工作分配集群中各節(jié)點(diǎn)

科技綠洲 ? 來源:NVIDIA ? 作者:NVIDIA ? 2022-04-01 14:15 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

借助適用于 Apache Spark 的 NVIDIA RAPIDS 加速器,團(tuán)隊(duì)能夠更快處理數(shù)萬億條記錄,在降低成本的同時(shí)優(yōu)化網(wǎng)絡(luò)并提高客戶滿意度。

AT&T 通過無線網(wǎng)絡(luò)連接了從阿留申群島到佛羅里達(dá)礁島群的 1 億多名用戶,催生出一片大數(shù)據(jù)海洋。

Abhay Dabholkar 管理著一個(gè)研究小組,他們?nèi)缤W耀的燈塔,在數(shù)據(jù)海洋中尋找最佳導(dǎo)航工具。

作為在 AT&T 工作十余年的杰出 AI 架構(gòu)師,Dabholkar 表示:“我們可以使用新工具來改變?cè)?AT&T 的日常工作,這一過程十分有趣,并且當(dāng)我們?yōu)閱T工提供最新的核心工具時(shí),他們會(huì)對(duì)自己的工作感到更滿意?!?/p>

近期,該團(tuán)隊(duì)在 GPU 助力的服務(wù)器上測(cè)試了適用于 Apache Spark 的 NVIDIA RAPIDS 加速器,該軟件可將工作分配到集群中的各節(jié)點(diǎn)。

在本次測(cè)試中,僅 5 小時(shí)便處理完一個(gè)月的移動(dòng)數(shù)據(jù) - 2.8 萬億行信息。相較于先前的測(cè)試,速度提升 3.3 倍,而成本則降低 60%。

驚嘆時(shí)刻

Dabholkar 表示:“這真是令人驚嘆,因?yàn)樵?CPU 集群上,僅處理 7 天的數(shù)據(jù)我們就需要耗費(fèi)超過 48 小時(shí)的時(shí)間。過去盡管我們擁有數(shù)據(jù),但卻無法充分利用,因?yàn)樘幚磉@些數(shù)據(jù)需要很長(zhǎng)時(shí)間。”

具體而言,該測(cè)試對(duì)所謂的 ETL(即提取、轉(zhuǎn)換和加載流程)進(jìn)行了基準(zhǔn)測(cè)試,以便篩選出無用數(shù)據(jù),然后再用篩選后的數(shù)據(jù)訓(xùn)練 AI 模型,發(fā)現(xiàn)全新見解。

他還表示:“目前我們認(rèn)為 GPU 可用于 ETL 以及我們?cè)?Spark 中執(zhí)行的所有批處理工作負(fù)載,因此我們正在探索其他 RAPIDS 庫,將工作從特征工程擴(kuò)展到 ETL 和機(jī)器學(xué)習(xí)?!?/p>

目前 AT&T 在 CPU 服務(wù)器上運(yùn)行 ETL,然后將數(shù)據(jù)轉(zhuǎn)移至 GPU 服務(wù)器進(jìn)行訓(xùn)練。他補(bǔ)充道,在單個(gè) GPU 工作流中完成所有工作可以節(jié)省時(shí)間和成本。

提高客戶滿意度,加速網(wǎng)絡(luò)設(shè)計(jì)

時(shí)間和成本的節(jié)省在眾多用例中都有所體現(xiàn)。

例如,用戶可以更快獲取最佳連接,從而提高客戶滿意度并減少客戶流失率。Dabholkar 表示:“我們還能更快確定 5G 信號(hào)塔和天線的參數(shù)。”

負(fù)責(zé)監(jiān)督 RAPIDS 測(cè)試的團(tuán)隊(duì)高級(jí)成員 Chris Vo 表示,要確定在哪些 AT&T 光纖覆蓋區(qū)域推出支持卡車,需要進(jìn)行耗時(shí)的地理空間計(jì)算,而 RAPIDS 和 GPU 可以加速這一過程。

Dabholkar 說:“這項(xiàng)技術(shù)給我們帶來極大影響,我們每天可能會(huì)收到 300-400TB 的新數(shù)據(jù),先前需要耗費(fèi)兩三周以上的時(shí)間制作報(bào)告,而現(xiàn)在只需幾小時(shí)便可完成?!?/p>

三個(gè)用例和統(tǒng)計(jì)結(jié)果

研究人員正在與 AT&T 數(shù)據(jù)平臺(tái)團(tuán)隊(duì)成員分享他們的研究成果。

他說:“如果作業(yè)時(shí)間過長(zhǎng),且您擁有大量數(shù)據(jù),我們建議您開啟 GPU ,并借助 Spark,讓在 CPU 上運(yùn)行的代碼也可以在 GPU 上運(yùn)行?!?/p>

目前為止,各個(gè)團(tuán)隊(duì)在三個(gè)不同的用例中各有收獲;其他團(tuán)隊(duì)也計(jì)劃著測(cè)試其工作負(fù)載。

Dabholkar 樂觀地表示,業(yè)務(wù)部門會(huì)將其測(cè)試結(jié)果引入生產(chǎn)系統(tǒng)中。

他說:“我們是一家擁有各類數(shù)據(jù)集的電信公司,每天都需要處理 PB 級(jí)數(shù)的數(shù)據(jù),這種方法可以大大節(jié)省我們的時(shí)間和成本。”

此外,包括美國(guó)國(guó)家稅務(wù)局在內(nèi)的其他企業(yè)用戶也紛紛選擇使用這項(xiàng)技術(shù)。現(xiàn)有超過 13000 家公司(包括 400 家《財(cái)富》500 強(qiáng)公司)使用 Apache Spark,這表明大多數(shù)公司都愿意選擇這種方式。

審核編輯:彭菁
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 加速器
    +關(guān)注

    關(guān)注

    2

    文章

    827

    瀏覽量

    39100
  • NVIDIA
    +關(guān)注

    關(guān)注

    14

    文章

    5304

    瀏覽量

    106329
  • 無線網(wǎng)絡(luò)
    +關(guān)注

    關(guān)注

    6

    文章

    1467

    瀏覽量

    67071
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    高壓放大器在粒子加速器研究的應(yīng)用

    粒子加速器是現(xiàn)代科學(xué)研究不可或缺的大型實(shí)驗(yàn)裝置,廣泛應(yīng)用于物理學(xué)、化學(xué)、材料科學(xué)、生物學(xué)等多個(gè)領(lǐng)域。其核心原理是利用電場(chǎng)和磁場(chǎng)對(duì)帶電粒子進(jìn)行加速和約束,使粒子達(dá)到極高的能量,從而為研究微觀世界
    的頭像 發(fā)表于 06-19 17:09 ?195次閱讀
    高壓放大器在粒子<b class='flag-5'>加速器</b>研究<b class='flag-5'>中</b>的應(yīng)用

    粒子加速器?——?科技前沿的核心裝置

    粒子加速器全稱“荷電粒子加速器”,是一種利用電磁場(chǎng)在高真空環(huán)境對(duì)帶電粒子(如電子、質(zhì)子、離子)進(jìn)行加速和控制,使其獲得高能量的特種裝置。粒子加速器
    的頭像 發(fā)表于 06-19 12:05 ?449次閱讀
    粒子<b class='flag-5'>加速器</b>?——?科技前沿的核心裝置

    云電競(jìng)服務(wù) 工作原理

    云電競(jìng)服務(wù)工作原理詳解 一、核心架構(gòu)原理 虛擬化資源池? 通過 ?KVM/VMware? 等虛擬化技術(shù)將物理服務(wù)(含NVIDIA GPU集群
    的頭像 發(fā)表于 05-14 07:44 ?189次閱讀
    云電競(jìng)服務(wù)<b class='flag-5'>器</b> <b class='flag-5'>工作</b>原理

    小型加速器中子源監(jiān)測(cè)系統(tǒng)解決方案

    檢測(cè)的無損探傷,亦或是科研的材料分析,小型加速器中子源都能提供高效、可靠的解決方案。為了確保中子束流的穩(wěn)定性、安全性和精準(zhǔn)性,對(duì)中子特性和加速器束流參數(shù)的精確測(cè)量至關(guān)重要。
    的頭像 發(fā)表于 03-13 11:19 ?646次閱讀
    小型<b class='flag-5'>加速器</b>中子源監(jiān)測(cè)系統(tǒng)解決方案

    Sapphire Rapids與OpenVINO?工具套件是否兼容?

    無法確定 Sapphire Rapids 與 OpenVINO? 工具套件的兼容性
    發(fā)表于 03-05 06:55

    NVIDIA助力FinCatch開發(fā)智能投資輔助系統(tǒng)

    本案例通過 NVIDIA GPU 和 RAPIDS 加速平臺(tái),F(xiàn)inCatch 實(shí)現(xiàn)了投資研究流程的全面智能化,提升數(shù)據(jù)分析速度和準(zhǔn)確性,幫助投資者快速獲取可操作的投資洞察。
    的頭像 發(fā)表于 01-07 09:23 ?506次閱讀

    重新分配pod節(jié)點(diǎn)

    和kube-proxy; 由于apiserver被nginx代理,所以在升級(jí)的時(shí)候需要操作操作nginx注釋升級(jí)節(jié)點(diǎn),避免帶來無法訪問的情況; 我們的master節(jié)點(diǎn)和node都是在同一個(gè)集群服務(wù)
    的頭像 發(fā)表于 01-02 09:17 ?471次閱讀
    重新<b class='flag-5'>分配</b>pod<b class='flag-5'>節(jié)點(diǎn)</b>

    從版本控制到全流程支持:揭秘Helix Core如何成為您的創(chuàng)意加速器

    加速器
    龍智DevSecOps
    發(fā)布于 :2024年11月26日 13:42:47

    NVIDIA加速計(jì)算引入Polars

    Polars 近日發(fā)布了一款由 RAPIDS cuDF 驅(qū)動(dòng)的全新 GPU 引擎,該引擎可將 NVIDIA GPU 上的 Polars 工作流速度最高提速 13 倍,使數(shù)據(jù)科學(xué)家僅在一
    的頭像 發(fā)表于 11-20 10:03 ?725次閱讀
    將<b class='flag-5'>NVIDIA</b><b class='flag-5'>加速</b>計(jì)算引入Polars

    RAPIDS cuDF將pandas提速近150倍

    NVIDIA GTC 2024 上,NVIDIA 宣布,RAPIDS cuDF 當(dāng)前已能夠?yàn)?950 萬 pandas 用戶帶來 GPU 加速,且無需修改代碼。
    的頭像 發(fā)表于 11-20 09:52 ?654次閱讀
    <b class='flag-5'>RAPIDS</b> cuDF將pandas提速近150倍

    磁調(diào)制式電流傳感在粒子加速器的應(yīng)用

    粒子加速器是一種利用電磁場(chǎng)加速帶電粒子(如質(zhì)子、電子、離子等)至極高速度的裝置。其工作原理基于洛倫茲力定律,即當(dāng)帶電粒子在電磁場(chǎng)運(yùn)動(dòng)時(shí),會(huì)受到垂直于其速度方向的力作用,從而改變其運(yùn)動(dòng)
    的頭像 發(fā)表于 11-14 11:43 ?548次閱讀

    利用NVIDIA RAPIDS加速DolphinDB Shark平臺(tái)提升計(jì)算性能

    DolphinDB 是一家高性能數(shù)據(jù)庫研發(fā)企業(yè),也是 NVIDIA 初創(chuàng)加速計(jì)劃成員,其開發(fā)的產(chǎn)品基于高性能分布式時(shí)序數(shù)據(jù)庫,是支持復(fù)雜計(jì)算和流數(shù)據(jù)分析的實(shí)時(shí)計(jì)算平臺(tái),適用于金融、電力、物聯(lián)網(wǎng)和零售等行業(yè)。
    的頭像 發(fā)表于 09-09 09:57 ?885次閱讀
    利用<b class='flag-5'>NVIDIA</b> <b class='flag-5'>RAPIDS</b><b class='flag-5'>加速</b>DolphinDB Shark平臺(tái)提升計(jì)算性能

    適用于數(shù)據(jù)中心應(yīng)用的硬件加速器的直流/直流轉(zhuǎn)換解決方案

    電子發(fā)燒友網(wǎng)站提供《適用于數(shù)據(jù)中心應(yīng)用的硬件加速器的直流/直流轉(zhuǎn)換解決方案.pdf》資料免費(fèi)下載
    發(fā)表于 08-26 09:38 ?0次下載
    適用于數(shù)據(jù)中心應(yīng)用<b class='flag-5'>中</b>的硬件<b class='flag-5'>加速器</b>的直流/直流轉(zhuǎn)換<b class='flag-5'>器</b>解決方案

    服務(wù)集群 IP 地址管理混亂

    ,共同工作以提供更高的性能、可用性和可擴(kuò)展性。IP 地址則是服務(wù)在網(wǎng)絡(luò)的標(biāo)識(shí)符,用于數(shù)據(jù)的傳輸和通信。 在服務(wù)集群
    的頭像 發(fā)表于 08-01 14:45 ?524次閱讀

    ESP-MESH里面組網(wǎng)成功后各節(jié)點(diǎn)的softAP支持手機(jī)或者電腦等非MESH終端接入嗎?

    請(qǐng)問一下ESP-MESH里面組網(wǎng)成功后各節(jié)點(diǎn)的softAP支持手機(jī)或者電腦等非MESH終端接入嗎?
    發(fā)表于 07-23 06:13