99精品伊人亚洲|最近国产中文炮友|九草在线视频支援|AV网站大全最新|美女黄片免费观看|国产精品资源视频|精彩无码视频一区|91大神在线后入|伊人终合在线播放|久草综合久久中文

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

分布式存儲技術(shù)有哪些

工程師 ? 來源:網(wǎng)絡(luò)整理 ? 作者:h1654155205.5246 ? 2019-01-04 16:39 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

分布式存儲技術(shù)有哪些

1、元數(shù)據(jù)管理

在大數(shù)據(jù)環(huán)境下,元數(shù)據(jù)的體量也非常大,元數(shù)據(jù)的存取性能是整個分布式文件系統(tǒng)性能的關(guān)鍵。常見的元數(shù)據(jù)管理可以分為集中式和分布式元數(shù)據(jù)管理架構(gòu)。集中式元數(shù)據(jù)管理架構(gòu)采用單一的元數(shù)據(jù)服務(wù)器,實(shí)現(xiàn)簡單.但是存在單點(diǎn)故障等問題。分布式元數(shù)據(jù)管理架構(gòu)則將元數(shù)據(jù)分散在多個結(jié)點(diǎn)上.進(jìn)而解決了元數(shù)據(jù)服務(wù)器的性能瓶頸等問題.并提高了元數(shù)據(jù)管理架構(gòu)的可擴(kuò)展性,但實(shí)現(xiàn)較為復(fù)雜,并引入了元數(shù)據(jù)一致性的問題。另外,還有一種無元數(shù)據(jù)服務(wù)器的分布式架構(gòu),通過在線算法組織數(shù)據(jù),不需要專用的元數(shù)據(jù)服務(wù)器。但是該架構(gòu)對數(shù)據(jù)一致性的保障很困難.實(shí)現(xiàn)較為復(fù)雜。文件目錄遍歷操作效率低下,并且缺乏文件系統(tǒng)全局監(jiān)控管理功能。

分布式存儲技術(shù)有哪些

2、系統(tǒng)彈性擴(kuò)展技術(shù)

在大數(shù)據(jù)環(huán)境下,數(shù)據(jù)規(guī)模和復(fù)雜度的增加往往非常迅速,對系統(tǒng)的擴(kuò)展性能要求較高。實(shí)現(xiàn)存儲系統(tǒng)的高可擴(kuò)展性首先要解決兩個方面的重要問題,包含元數(shù)據(jù)的分配和數(shù)據(jù)的透明遷移。元數(shù)據(jù)的分配主要通過靜態(tài)子樹劃分技術(shù)實(shí)現(xiàn),后者則側(cè)重?cái)?shù)據(jù)遷移算法的優(yōu)化。此外,大數(shù)據(jù)存儲體系規(guī)模龐大.結(jié)點(diǎn)失效率高,因此還需要完成一定的自適應(yīng)管理功能。系統(tǒng)必須能夠根據(jù)數(shù)據(jù)量和計(jì)算的工作量估算所需要的結(jié)點(diǎn)個數(shù),并動態(tài)地將數(shù)據(jù)在結(jié)點(diǎn)間遷移。以實(shí)現(xiàn)負(fù)載均衡;同時.結(jié)點(diǎn)失效時,數(shù)據(jù)必須可以通過副本等機(jī)制進(jìn)行恢復(fù),不能對上層應(yīng)用產(chǎn)生影響。

3、存儲層級內(nèi)的優(yōu)化技術(shù)

構(gòu)建存儲系統(tǒng)時.需要基于成本和性能來考慮,因此存儲系統(tǒng)通常采用多層不同性價(jià)比的存儲器件組成存儲層次結(jié)構(gòu)。大數(shù)據(jù)的規(guī)模大,因此構(gòu)建高效合理的存儲層次結(jié)構(gòu),可以在保證系統(tǒng)性能的前提下,降低系統(tǒng)能耗和構(gòu)建成本,利用數(shù)據(jù)訪問局部性原理.可以從兩個方面對存儲層次結(jié)構(gòu)進(jìn)行優(yōu)化。從提高性能的角度,可以通過分析應(yīng)用特征,識別熱點(diǎn)數(shù)據(jù)并對其進(jìn)行緩存或預(yù)取,通過高效的緩存預(yù)取算法和合理的緩存容量配比,以提高訪問性能。從降低成本的角度,采用信息生命周期管理方法,將訪問頻率低的冷數(shù)據(jù)遷移到低速廉價(jià)存儲設(shè)備上,可以在小幅犧牲系統(tǒng)整體性能的基礎(chǔ)上,大幅降低系統(tǒng)的構(gòu)建成本和能耗。

4、針對應(yīng)用和負(fù)載的存儲優(yōu)化技術(shù)

傳統(tǒng)數(shù)據(jù)存儲模型需要支持盡可能多的應(yīng)用,因此需要具備較好的通用性。大數(shù)據(jù)具有大規(guī)模、高動態(tài)及快速處理等特性,通用的數(shù)據(jù)存儲模型通常并不是最能提高應(yīng)用性能的模型.而大數(shù)據(jù)存儲系統(tǒng)對上層應(yīng)用性能的關(guān)注遠(yuǎn)遠(yuǎn)超過對通用性的追求。針對應(yīng)用和負(fù)載來優(yōu)化存儲,就是將數(shù)據(jù)存儲與應(yīng)用耦合。簡化或擴(kuò)展分布式文件系統(tǒng)的功能,根據(jù)特定應(yīng)用、特定負(fù)載、特定的計(jì)算模型對文件系統(tǒng)進(jìn)行定制和深度優(yōu)化,使應(yīng)用達(dá)到最佳性能。這類優(yōu)化技術(shù)在谷歌、Facebook等互聯(lián)網(wǎng)公司的內(nèi)部存儲系統(tǒng)上,管理超過千萬億字節(jié)級別的大數(shù)據(jù),能夠達(dá)到非常高的性能。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • 存儲技術(shù)
    +關(guān)注

    關(guān)注

    6

    文章

    756

    瀏覽量

    46430
  • 分布式存儲
    +關(guān)注

    關(guān)注

    4

    文章

    181

    瀏覽量

    19874
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    Ceph分布式存儲系統(tǒng)解析

    在當(dāng)今數(shù)據(jù)爆炸的時代,企業(yè)對存儲系統(tǒng)的需求日益增長,傳統(tǒng)的集中式存儲已經(jīng)無法滿足大規(guī)模數(shù)據(jù)處理的要求。分布式存儲系統(tǒng)應(yīng)運(yùn)而生,而Ceph作為開源分布
    的頭像 發(fā)表于 07-14 11:15 ?172次閱讀

    曙光存儲領(lǐng)跑中國分布式存儲市場

    近日,賽迪顧問發(fā)布《中國分布式存儲市場研究報(bào)告(2025)》,指出2024 年中國分布式存儲市場首次超過集中式存儲,規(guī)模達(dá) 198.2 億元
    的頭像 發(fā)表于 05-19 16:50 ?484次閱讀

    兆芯+圖云創(chuàng)智—可信分布式存儲系統(tǒng)解決方案

    圖云創(chuàng)智分布式存儲系統(tǒng)采用全分布式設(shè)計(jì)與先進(jìn)的存儲虛擬化技術(shù)相結(jié)合,由多個獨(dú)立的兆芯 x86 服務(wù)器作為
    的頭像 發(fā)表于 04-23 10:29 ?221次閱讀
    兆芯+圖云創(chuàng)智—可信<b class='flag-5'>分布式</b><b class='flag-5'>存儲</b>系統(tǒng)解決方案

    分布式存儲和集中式存儲何區(qū)別

    存儲產(chǎn)品千千萬,選來選去怎么辦? 戴小編來獻(xiàn)妙策,匹配需求不為難!分布式存儲和集中式儲是存儲系統(tǒng)中十分重要的兩種架構(gòu)類型,但這兩者何區(qū)別?
    的頭像 發(fā)表于 02-28 10:56 ?1185次閱讀

    分布式存儲哪幾種類型?

    分布式存儲哪幾種類型?分布式存儲系統(tǒng)是一種將數(shù)據(jù)分散存儲在多臺獨(dú)立節(jié)點(diǎn)上的
    的頭像 發(fā)表于 02-20 11:00 ?584次閱讀

    分布式云化數(shù)據(jù)庫哪些類型

    分布式云化數(shù)據(jù)庫哪些類型?分布式云化數(shù)據(jù)庫主要類型包括:關(guān)系型分布式數(shù)據(jù)庫、非關(guān)系型分布式數(shù)據(jù)庫、新SQL
    的頭像 發(fā)表于 01-15 09:43 ?482次閱讀

    淺談屋頂分布式光伏發(fā)電技術(shù)的設(shè)計(jì)與應(yīng)用

    【摘要】為了緩解城市用電緊張?jiān)档腿藗兊挠秒姵杀荆梢栽诠I(yè)園區(qū)、辦公樓屋頂?shù)葓鏊鶓?yīng)用屋頂分布式光伏發(fā)電技術(shù)進(jìn)行就近轉(zhuǎn)換、并網(wǎng)發(fā)電袁充分利用建筑物屋頂?shù)奶栙Y源。概述屋頂分布式光伏發(fā)電技術(shù)
    的頭像 發(fā)表于 11-11 15:10 ?1852次閱讀
    淺談屋頂<b class='flag-5'>分布式</b>光伏發(fā)電<b class='flag-5'>技術(shù)</b>的設(shè)計(jì)與應(yīng)用

    WDS分布式存儲系統(tǒng)軟件助力電信工程海量數(shù)據(jù)存儲項(xiàng)目

    WDS分布式存儲系統(tǒng)軟件助力電信工程海量數(shù)據(jù)存儲項(xiàng)目
    的頭像 發(fā)表于 11-11 09:59 ?507次閱讀
    WDS<b class='flag-5'>分布式</b><b class='flag-5'>存儲</b>系統(tǒng)軟件助力電信工程海量數(shù)據(jù)<b class='flag-5'>存儲</b>項(xiàng)目

    分布式光纖聲波傳感技術(shù)的工作原理

    分布式光纖聲波傳感技術(shù)(Distributed Acoustic Sensing,DAS)是一種利用光纖作為傳感元件,實(shí)現(xiàn)對沿光纖路徑上的環(huán)境參數(shù)進(jìn)行連續(xù)分布式測量的技術(shù)。
    的頭像 發(fā)表于 10-18 14:50 ?2937次閱讀
    <b class='flag-5'>分布式</b>光纖聲波傳感<b class='flag-5'>技術(shù)</b>的工作原理

    某證券公司智能云投資交易云集群高性能分布式存儲應(yīng)用

    某證券公司智能云投資交易云集群高性能分布式存儲應(yīng)用
    的頭像 發(fā)表于 09-27 09:57 ?587次閱讀
    某證券公司智能云投資交易云集群高性能<b class='flag-5'>分布式</b><b class='flag-5'>存儲</b>應(yīng)用

    分布式存儲費(fèi)用高嗎?大概需要多少錢

    分布式存儲的費(fèi)用是否高,取決于多個因素,包括存儲容量、性能要求、服務(wù)提供商、計(jì)費(fèi)模式等。因此,無法簡單地給出一個“高”或“不高”的答案。通常分布式
    的頭像 發(fā)表于 09-24 10:41 ?589次閱讀

    基于分布式存儲系統(tǒng)醫(yī)療影像數(shù)據(jù)存儲解決方案

    基于分布式存儲系統(tǒng)醫(yī)療影像數(shù)據(jù)存儲解決方案
    的頭像 發(fā)表于 09-14 09:53 ?693次閱讀
    基于<b class='flag-5'>分布式</b><b class='flag-5'>存儲</b>系統(tǒng)醫(yī)療影像數(shù)據(jù)<b class='flag-5'>存儲</b>解決方案

    基于分布式對象存儲WDS的信托非結(jié)構(gòu)化數(shù)據(jù)整合平臺

    基于分布式對象存儲WDS的信托非結(jié)構(gòu)化數(shù)據(jù)整合平臺
    的頭像 發(fā)表于 08-28 09:56 ?648次閱讀
    基于<b class='flag-5'>分布式</b>對象<b class='flag-5'>存儲</b>WDS的信托非結(jié)構(gòu)化數(shù)據(jù)整合平臺

    醫(yī)療PACS影像數(shù)據(jù)的極速分布式存儲解決方案

    醫(yī)療PACS影像數(shù)據(jù)的極速分布式存儲解決方案
    的頭像 發(fā)表于 08-23 10:13 ?745次閱讀
    醫(yī)療PACS影像數(shù)據(jù)的極速<b class='flag-5'>分布式</b>塊<b class='flag-5'>存儲</b>解決方案

    基于分布式存儲WDS的金融信創(chuàng)云承載數(shù)據(jù)庫類關(guān)鍵應(yīng)用

    基于分布式存儲WDS的金融信創(chuàng)云承載數(shù)據(jù)庫類關(guān)鍵應(yīng)用
    的頭像 發(fā)表于 08-16 09:42 ?575次閱讀
    基于<b class='flag-5'>分布式</b><b class='flag-5'>存儲</b>WDS的金融信創(chuàng)云承載數(shù)據(jù)庫類關(guān)鍵應(yīng)用