99精品伊人亚洲|最近国产中文炮友|九草在线视频支援|AV网站大全最新|美女黄片免费观看|国产精品资源视频|精彩无码视频一区|91大神在线后入|伊人终合在线播放|久草综合久久中文

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

海量數(shù)據(jù)的高效管理

lhl545545 ? 來源:ssdfans ? 作者:ssdfans ? 2020-06-14 09:53 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

新型基礎(chǔ)設(shè)施是以新發(fā)展理念為引領(lǐng),以技術(shù)創(chuàng)新為驅(qū)動,以信息網(wǎng)絡(luò)為基礎(chǔ),面向高質(zhì)量發(fā)展需要,提供數(shù)字轉(zhuǎn)型、智能升級、融合創(chuàng)新等服務的基礎(chǔ)設(shè)施體系。

——國家發(fā)改委創(chuàng)新和高新技術(shù)發(fā)展司司長 伍浩

新基建涵蓋了眾多的數(shù)字化基礎(chǔ)設(shè)施:云計算人工智能、工業(yè)互聯(lián)網(wǎng)、5G、物聯(lián)網(wǎng)、數(shù)據(jù)中心、智能計算中心等信息基礎(chǔ)設(shè)施,以智能交通、智慧能源為代表的融合基礎(chǔ)設(shè)施??梢钥闯?,新基建技術(shù)中最核心的資產(chǎn)便是數(shù)據(jù)。物聯(lián)網(wǎng)讓采集的數(shù)據(jù)種類和數(shù)量越來越多,5G讓數(shù)據(jù)傳輸?shù)乃俾试絹碓娇?,云計算在不斷地對?shù)據(jù)進行計算處理,AI在不斷地挖掘數(shù)據(jù)的價值,這些技術(shù)連接的關(guān)鍵紐帶便是存儲。在新基建推動的當下,存儲可以說是推動產(chǎn)業(yè)向高端化發(fā)展的剛需。

根據(jù)國際咨詢機構(gòu)IDC的預測,到2025年智能終端數(shù)量將達到400億個,全球數(shù)據(jù)總量也將從2020年的44ZB躍升到180ZB,其中30%屬于實時數(shù)據(jù),75%來自邊緣和終端,而這些數(shù)據(jù)中,將會有80%的數(shù)據(jù)是非結(jié)構(gòu)化數(shù)據(jù)。

數(shù)據(jù)不僅總量巨大,增長速度也十分驚人。舉個例子,一個大型三甲醫(yī)院每天生成數(shù)TB數(shù)據(jù);一個智能質(zhì)檢的生產(chǎn)線每天生成數(shù)百TB數(shù)據(jù);一座智慧城市每天產(chǎn)生的數(shù)據(jù)量更是高達數(shù)百PB?;诖耍琁T技術(shù)人員不得不重新考慮存儲的效率以及架構(gòu)問題,“新基建”需要以數(shù)據(jù)為核心的“新存儲”。

1新存儲特質(zhì)之一:海量數(shù)據(jù)的可持續(xù)高效存儲

面對如此龐大的數(shù)據(jù)存儲量以及可預見性的數(shù)據(jù)增長量,新的存儲架構(gòu)必須要考慮的第一個點就是如何以更高擴展性、更高吞吐/低時延以及更高性價比實現(xiàn)容量管理。首先要有高擴展性,滿足因為業(yè)務量、數(shù)據(jù)精細度提升導致的數(shù)據(jù)量增加的隨時擴容需求;其次要有高吞吐/低時延,保障在海量數(shù)據(jù)、海量小文件場景下,數(shù)據(jù)可以快速地讀取和調(diào)用;當然用戶也很看重整體方案的性價比。

數(shù)據(jù)存儲到公有云是一種可選解決方案,租用公有云廠商的存儲空間節(jié)省自建存儲的硬件采購成本,根據(jù)數(shù)據(jù)存儲量采購相應存儲空間。不過,數(shù)據(jù)調(diào)用的成本也在隨著數(shù)據(jù)量的增加而增加,數(shù)據(jù)使用成本甚至超過了原有的硬件采購成本,比如美國國家航天局(NASA)也不得不因為每個月上百萬美元的數(shù)據(jù)訪問費用,而開始考慮將數(shù)據(jù)從亞馬遜云平臺遷回自建數(shù)據(jù)中心。

以分布式技術(shù)為核心架構(gòu)的新存儲,擺脫了傳統(tǒng)存儲數(shù)據(jù)共享困難、擴容受控制器性能限制等問題,通過將軟件部署于通用服務器,用去中心化架構(gòu)支持彈性擴展和高并發(fā)訪問,消除了容量和性能的約束,實現(xiàn)更優(yōu)秀的存儲能力,可以輕松支撐EB級存儲規(guī)模;千萬級IOPS和TB級聚合帶寬能夠滿足高并發(fā)訪問需求,加之部署簡單、靈活擴展的特點,為當下日益增長的海量數(shù)據(jù)提供極致容量、極致性能、極致可靠和極致性價比的存儲系統(tǒng)底層支撐。

2新存儲特質(zhì)之二:海量數(shù)據(jù)的高效管理

僅解決了數(shù)據(jù)存儲的問題,對于新基建的需求來說遠遠不夠,還要進一步解決存儲數(shù)據(jù)的管理問題。

數(shù)據(jù)就像我們?nèi)艘粯樱灿兄纳芷?,從產(chǎn)生到消亡,有很多個階段。舉個例子:一個病人去醫(yī)院就診拍攝X光片,剛產(chǎn)生的結(jié)果數(shù)據(jù)我們稱之為熱數(shù)據(jù),這類數(shù)據(jù)對于數(shù)據(jù)的讀寫效率和即時性有很高的要求。就診結(jié)束之后的一至兩年內(nèi),病人會進行復診,診斷數(shù)據(jù)不需要實時讀取但也需要能夠快速獲得,這類數(shù)據(jù)稱之為溫數(shù)據(jù);病人康復后,根據(jù)醫(yī)療行業(yè)就診數(shù)據(jù)需要至少保存20年的要求,就診數(shù)據(jù)可以保存到成本相對較低的存儲介質(zhì)中,待有需要時再調(diào)取,這類數(shù)據(jù)我們稱之為冷數(shù)據(jù)。因此,新基建所需的新存儲系統(tǒng)需要具備數(shù)據(jù)生命周期管理的能力。

另外不得不提的一個數(shù)據(jù)管理場景便是邊緣計算和中心計算,云邊協(xié)同的數(shù)據(jù)管理能力對存儲系統(tǒng)支撐數(shù)據(jù)中心與邊緣之間的數(shù)據(jù)匯聚和分發(fā)至關(guān)重要。特別是5G的發(fā)展,工業(yè)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)技術(shù)的應用,數(shù)據(jù)更多會從攝像頭、傳感器、移動設(shè)備等不同的邊緣端產(chǎn)生,而傳統(tǒng)的SAN/NAS存儲只能在局域網(wǎng)內(nèi)訪問,無法提供云邊協(xié)同統(tǒng)一的數(shù)據(jù)管理能力。新存儲需要打破傳統(tǒng)存儲訪問協(xié)議的限制,能夠基于互聯(lián)網(wǎng)協(xié)議實現(xiàn)數(shù)據(jù)跨網(wǎng)絡(luò)的統(tǒng)一管理和訪問,從而能夠直接與數(shù)據(jù)中心之外的物聯(lián)網(wǎng)設(shè)備、智能終端直接交互數(shù)據(jù),滿足當前和未來數(shù)據(jù)交互的需求。

當下應用度較高的混合云場景數(shù)據(jù)也需要進行數(shù)據(jù)管理。眾多公有云大廠都已經(jīng)推出了相應的部署模式,出于安全和成本的考量,部分企業(yè)選擇將互聯(lián)網(wǎng)相關(guān)業(yè)務部署在公有云,同時將重要數(shù)據(jù)存放在私有云,以兼顧業(yè)務靈活和數(shù)據(jù)安全。企業(yè)私有云存儲需要和公有云存儲結(jié)合起來,實現(xiàn)業(yè)務無感知的數(shù)據(jù)上云、下云的融合和流動。在這樣的發(fā)展趨勢下,需要新存儲能夠提供與公有云存儲相兼容的協(xié)議,以及可跨互聯(lián)網(wǎng)數(shù)據(jù)傳輸?shù)哪芰?。將公有云存儲與私有云存儲打通,形成混合云存儲的共同底座來構(gòu)建企業(yè)數(shù)據(jù)湖,這也是發(fā)展的必然。

任何技術(shù)的變革都需要一個過渡階段,新存儲的部署越來越多,傳統(tǒng)存儲也還會長期存在并在其生命周期中繼續(xù)發(fā)揮作用。因此,通過對異構(gòu)存儲的整合實現(xiàn)數(shù)據(jù)統(tǒng)一管理,不僅有效保護客戶既有投資,也應該是新基建趨勢下對新存儲系統(tǒng)的要求。

3新存儲特質(zhì)之三:海量數(shù)據(jù)的價值挖掘

數(shù)據(jù)最終的價值呈現(xiàn)一定是為應用服務的,人工智能和大數(shù)據(jù)分析技術(shù)的發(fā)展,驅(qū)動數(shù)據(jù)產(chǎn)生更多的應用價值。所以在數(shù)據(jù)的價值挖掘,我認為新存儲系統(tǒng)的終極需求必須能夠更好地利用人工智能、服務于人工智能,賦能大數(shù)據(jù)價值挖掘。

在利用人工智能方面,傳統(tǒng)SAN/NAS系統(tǒng)因為受限于訪問協(xié)議的限制,無法感知數(shù)據(jù),只能在存儲底層利用數(shù)據(jù)訪問IO分類、使用容量統(tǒng)計、存儲硬件錯誤碼等信息進行統(tǒng)計分析,來實現(xiàn)存儲系統(tǒng)自動化運維與管理等維度,以存儲系統(tǒng)自身管理效率改進為目標的 “基礎(chǔ)智能”。

而真正的智能存儲,我認為最重要的核心價值應該是基于數(shù)據(jù)感知,能夠?qū)?shù)據(jù)進行加工和處理,進而賦能應用對數(shù)據(jù)的價值挖掘和價值呈現(xiàn)。所以新存儲系統(tǒng)需要能夠預集成一些通用的、面向業(yè)務場景的數(shù)據(jù)預處理功能和算法(如亞馬遜的S3 Select),然后通過與業(yè)務系統(tǒng)進行數(shù)據(jù)感知,充分利用存儲系統(tǒng)閑置的計算能力,實現(xiàn)某種程度上的數(shù)據(jù)處理功能卸載和垂直優(yōu)化,降低業(yè)務對存儲的訪問壓力,從而大幅提升應用系統(tǒng)數(shù)據(jù)處理和分析效率。

另外,基于海量非結(jié)構(gòu)化數(shù)據(jù)的價值挖掘分析,基本都要依賴機器學習、深度學習等人工智能技術(shù)。在人工智能場景中,數(shù)據(jù)要經(jīng)歷采集、清洗、訓練、推理、歸檔等過程。人工智能各個階段對存儲系統(tǒng)要求差異非常大,比如在采集階段,需要存儲系統(tǒng)支持互聯(lián)網(wǎng)遠程訪問協(xié)議、吞吐量要大;在數(shù)據(jù)清洗階段,需要存儲系統(tǒng)支持基于標簽的檢索,最好能支持視頻自動抽幀等能力;而在訓練階段,則要求存儲系統(tǒng)具備高并發(fā)低時延的高性能能力;最后在歸檔階段,則需要低成本的存儲系統(tǒng)。如果采用傳統(tǒng)存儲產(chǎn)品,一般需要不同類型存儲系統(tǒng)來搭配使用,以滿足成本、性能、檢索等多方面要求,但這又勢必造成數(shù)據(jù)在不同存儲系統(tǒng)之間的孤島。因此,新智能存儲應該具有基于標簽的數(shù)據(jù)檢索、多種訪問協(xié)議接口互通能力、滿足高性能、低延時,以及低成本歸檔能力,從而實現(xiàn)機器學習不同AI管道階段數(shù)據(jù)的統(tǒng)一存儲,避免產(chǎn)生數(shù)據(jù)孤島,并且提高數(shù)據(jù)在各個AI管道的流轉(zhuǎn)效率。

總而言之,新基建為中國的產(chǎn)業(yè)升級清晰地指明了方向,數(shù)字化基礎(chǔ)設(shè)施的廣泛建設(shè)以及隨之產(chǎn)生的新型應用需求將帶來數(shù)據(jù)爆發(fā)式的增長。海量數(shù)據(jù)蘊含著巨大的價值,存儲必將是新基建堅實的底座。更多樣化的數(shù)據(jù)模式、日益復雜的數(shù)據(jù)管理以及高效的數(shù)據(jù)利用對存儲提出了更高的要求,無論是對于傳統(tǒng)存儲廠商還是創(chuàng)新型存儲廠商,是挑戰(zhàn),更是機遇。

高端微信群介紹

創(chuàng)業(yè)投資群

AI、IOT、芯片創(chuàng)始人、投資人、分析師、券商

閃存群

覆蓋5000多位全球華人閃存、存儲芯片精英

云計算群

全閃存、軟件定義存儲SDS、超融合等公有云和私有云討論

AI芯片群

討論AI芯片和GPU、FPGACPU異構(gòu)計算

5G群

物聯(lián)網(wǎng)、5G芯片討論

第三代半導體氮化鎵、碳化硅等化合物半導體討論

存儲芯片群DRAM、NAND、3D XPoint等各類存儲介質(zhì)和主控討論

汽車電子MCU、電源、傳感器等汽車電子討論

光電器件群光通信、激光器、ToF、AR、VCSEL等光電器件討論

渠道群存儲和芯片產(chǎn)品報價、行情、渠道、供應鏈
責任編輯:pj

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 人工智能
    +關(guān)注

    關(guān)注

    1806

    文章

    49011

    瀏覽量

    249355
  • 存儲數(shù)據(jù)
    +關(guān)注

    關(guān)注

    0

    文章

    90

    瀏覽量

    14326
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    智慧水廠物聯(lián)網(wǎng)解決方案:高效數(shù)據(jù)采集與智能管理

    隨著城市化進程的加速和水資源管理需求的提升,傳統(tǒng)水廠在數(shù)據(jù)采集、監(jiān)控和管理方面面臨諸多挑戰(zhàn)。水的流量、壓力、水浸等關(guān)鍵參數(shù)的實時精準采集與高效管理
    的頭像 發(fā)表于 06-27 09:22 ?136次閱讀

    博鼎彈簧發(fā)布數(shù)字目錄實現(xiàn)穩(wěn)定高效且易于操作的技術(shù)數(shù)據(jù)管理

    在提供用于產(chǎn)品編目、可視化和發(fā)布的先進工具方面擁有豐富的經(jīng)驗,能夠讓用戶高效、直觀地管理技術(shù)數(shù)據(jù)。此外,CADENAS的解決方案具有高度可定制性,可以與企業(yè)所使用的其他系統(tǒng)完美集成,從而能夠根據(jù)公司
    發(fā)表于 05-23 10:52

    光伏運維管理系統(tǒng)助力電站高效運行

    光伏運維管理系統(tǒng)助力電站高效運行 隨著光伏發(fā)電技術(shù)的快速發(fā)展,光伏電站規(guī)模不斷擴大,如何保障電站長期穩(wěn)定運行、提升發(fā)電效率成為行業(yè)關(guān)注的重點。光伏運維管理系統(tǒng)作為智能化管理工具,通過
    的頭像 發(fā)表于 04-08 16:30 ?316次閱讀
    光伏運維<b class='flag-5'>管理</b>系統(tǒng)助力電站<b class='flag-5'>高效</b>運行

    光伏運維管理系統(tǒng):智能管理光伏電站的高效之選

    ?????? 光伏運維管理系統(tǒng):智能管理光伏電站的高效之選 ?????? 隨著光伏產(chǎn)業(yè)的快速發(fā)展,光伏電站的規(guī)模和數(shù)量持續(xù)增長,傳統(tǒng)的運維模式已難以滿足高效、安全、低成本的
    的頭像 發(fā)表于 04-07 16:22 ?334次閱讀
    光伏運維<b class='flag-5'>管理</b>系統(tǒng):智能<b class='flag-5'>管理</b>光伏電站的<b class='flag-5'>高效</b>之選

    智慧路燈的數(shù)據(jù)如何管理和應用?

    引言 在智慧城市建設(shè)的大背景下,叁仟智慧路燈作為重要的信息采集與服務節(jié)點,每天都會產(chǎn)生海量數(shù)據(jù)。這些數(shù)據(jù)涵蓋照明狀態(tài)、能耗、環(huán)境監(jiān)測、交通流量等多方面信息。如何對叁仟智慧路燈的數(shù)據(jù)進行
    的頭像 發(fā)表于 03-20 11:38 ?315次閱讀
    智慧路燈的<b class='flag-5'>數(shù)據(jù)</b>如何<b class='flag-5'>管理</b>和應用?

    高效能SCADA系統(tǒng) 重塑工廠管理未來

    全方位的精細化管理。它擁有強大的實時數(shù)據(jù)采集能力,可實時收集生產(chǎn)線上各類設(shè)備的運行數(shù)據(jù),如溫度、壓力、尺寸、速度等,事無巨細,準確無誤。并且可對這些海量
    發(fā)表于 03-13 15:22

    應對海量數(shù)據(jù)挑戰(zhàn),如何基于Euro NCAP標準開展高效智駕測試與評估?

    自動駕駛技術(shù)快速發(fā)展,海量數(shù)據(jù)和復雜場景帶來性能與安全評估挑戰(zhàn)。如何高效管理數(shù)據(jù)、挖掘關(guān)鍵場景并滿足以Euro NCAP為代表的嚴格評估標準
    的頭像 發(fā)表于 02-12 10:09 ?4060次閱讀
    應對<b class='flag-5'>海量</b><b class='flag-5'>數(shù)據(jù)</b>挑戰(zhàn),如何基于Euro NCAP標準開展<b class='flag-5'>高效</b>智駕測試與評估?

    hyper-v 文件,Hyper-V文件管理高效操作指南

    在日常辦公中,我們常常需要對大量文件或數(shù)據(jù)進行重復性操作,比如批量修改文件名、批量更新數(shù)據(jù)等。這些任務不僅耗時費力,還容易出錯。幸運的是,批量管理工具的出現(xiàn)為我們提供了一種高效的解決方
    的頭像 發(fā)表于 02-06 10:27 ?725次閱讀
    hyper-v 文件,Hyper-V文件<b class='flag-5'>管理</b>:<b class='flag-5'>高效</b>操作指南

    康謀分享 | 如何應對ADAS/AD海量數(shù)據(jù)處理挑戰(zhàn)?

    如何有效處理ADAS/AD海量數(shù)據(jù)并從中獲得見解?IVEX數(shù)據(jù)處理流程可自動從原始傳感器數(shù)據(jù)等輸入中識別出值得關(guān)注的事件和場景,推動數(shù)據(jù)
    的頭像 發(fā)表于 12-25 10:05 ?3981次閱讀
    康謀分享 | 如何應對ADAS/AD<b class='flag-5'>海量</b><b class='flag-5'>數(shù)據(jù)</b>處理挑戰(zhàn)?

    群暉PB級高密度存儲,滿足海量數(shù)據(jù)存儲、備份與存檔

    很多大型企業(yè),或是有海量數(shù)據(jù)存儲需求的企業(yè),對于PB級數(shù)據(jù)存儲一直尋求運行穩(wěn)定、安全高效且高性價比的解決方案。PB級存儲服務器主要應用于冷數(shù)據(jù)
    的頭像 發(fā)表于 12-07 18:08 ?1350次閱讀
    群暉PB級高密度存儲,滿足<b class='flag-5'>海量</b><b class='flag-5'>數(shù)據(jù)</b>存儲、備份與存檔

    WDS分布式存儲系統(tǒng)軟件助力電信工程海量數(shù)據(jù)存儲項目

    WDS分布式存儲系統(tǒng)軟件助力電信工程海量數(shù)據(jù)存儲項目
    的頭像 發(fā)表于 11-11 09:59 ?507次閱讀
    WDS分布式存儲系統(tǒng)軟件助力電信工程<b class='flag-5'>海量</b><b class='flag-5'>數(shù)據(jù)</b>存儲項目

    海量數(shù)據(jù)處理需要多少RAM內(nèi)存

    海量數(shù)據(jù)處理所需的RAM(隨機存取存儲器)內(nèi)存量取決于多個因素,包括數(shù)據(jù)的具體規(guī)模、處理任務的復雜性、數(shù)據(jù)管理系統(tǒng)的效率以及所使用軟件的優(yōu)
    的頭像 發(fā)表于 11-11 09:56 ?1283次閱讀

    盛顯科技:拼接處理器如何實現(xiàn)高效數(shù)據(jù)拼接操作?

    眾所周知,高效數(shù)據(jù)拼接操作無疑是數(shù)據(jù)處理領(lǐng)域的核心優(yōu)勢,它能極大地縮短了處理時間,讓拼接處理器能夠迅速應對海量數(shù)據(jù)的挑戰(zhàn),實現(xiàn)
    的頭像 發(fā)表于 10-23 10:58 ?581次閱讀
    盛顯科技:拼接處理器如何實現(xiàn)<b class='flag-5'>高效</b><b class='flag-5'>數(shù)據(jù)</b>拼接操作?

    數(shù)據(jù)驅(qū)動,漫途能耗管理系統(tǒng)打造高效節(jié)能新生態(tài)!

    在我國能源消耗結(jié)構(gòu)中,工業(yè)企業(yè)所占能耗比例相對較大。為實現(xiàn)碳達峰、碳中和目標,工廠需強化能效管理,減少能耗與成本。高效的能耗管理系統(tǒng)通過數(shù)據(jù)采集與分析,能實時監(jiān)控工廠能源使用及報警情況
    的頭像 發(fā)表于 10-15 11:58 ?478次閱讀
    <b class='flag-5'>數(shù)據(jù)</b>驅(qū)動,漫途能耗<b class='flag-5'>管理</b>系統(tǒng)打造<b class='flag-5'>高效</b>節(jié)能新生態(tài)!

    數(shù)據(jù)分析在提高灌區(qū)管理水平中的作用

    數(shù)據(jù)分析在提升灌區(qū)管理水平中扮演著至關(guān)重要的角色,它通過深度挖掘海量信息,為灌溉系統(tǒng)的高效運作、資源優(yōu)化配置及可持續(xù)發(fā)展提供了科學決策的基礎(chǔ)。這一過程不僅涉及
    的頭像 發(fā)表于 08-28 17:23 ?529次閱讀
    <b class='flag-5'>數(shù)據(jù)</b>分析在提高灌區(qū)<b class='flag-5'>管理</b>水平中的作用