完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>
標(biāo)簽 > 存儲(chǔ)系統(tǒng)
存儲(chǔ)系統(tǒng)是存放程序和數(shù)據(jù)的重要系統(tǒng),存儲(chǔ)這個(gè)詞非常平凡,存儲(chǔ) + 計(jì)算(操作)就構(gòu)成了一個(gè)樸素的計(jì)算機(jī)模型。簡(jiǎn)單來(lái)說(shuō),存儲(chǔ)就是負(fù)責(zé)維持計(jì)算系統(tǒng)的狀態(tài)的單元。從維持狀態(tài)的角度,我們會(huì)有最樸素的可靠性要求。
存儲(chǔ)系統(tǒng)是指計(jì)算機(jī)中由存放程序和數(shù)據(jù)的各種存儲(chǔ)設(shè)備、控制部件及管理信息調(diào)度的設(shè)備(硬件)和算法(軟件)所組成的系統(tǒng)。計(jì)算機(jī)的主存儲(chǔ)器不能同時(shí)滿足存取速度快、存儲(chǔ)容量大和成本低的要求,在計(jì)算機(jī)中必須有速度由慢到快、容量由大到小的多級(jí)層次存儲(chǔ)器,以最優(yōu)的控制調(diào)度算法和合理的成本,構(gòu)成具有性能可接受的存儲(chǔ)系統(tǒng)。
存儲(chǔ)系統(tǒng)
存儲(chǔ)系統(tǒng)的性能在計(jì)算機(jī)中的地位日趨重要,主要原因是:①馮諾伊曼體系結(jié)構(gòu)是建筑在存儲(chǔ)程序概念的基礎(chǔ)上,訪存操作約占中央處理器(CPU)時(shí)間的70%左右。②存儲(chǔ)管理與組織的好壞影響到整機(jī)效率。③現(xiàn)代的信息處理,如圖像處理、數(shù)據(jù)庫(kù)、知識(shí)庫(kù)、語(yǔ)音識(shí)別、多媒體等對(duì)存儲(chǔ)系統(tǒng)的要求很高。
存儲(chǔ)系統(tǒng)是指計(jì)算機(jī)中由存放程序和數(shù)據(jù)的各種存儲(chǔ)設(shè)備、控制部件及管理信息調(diào)度的設(shè)備(硬件)和算法(軟件)所組成的系統(tǒng)。計(jì)算機(jī)的主存儲(chǔ)器不能同時(shí)滿足存取速度快、存儲(chǔ)容量大和成本低的要求,在計(jì)算機(jī)中必須有速度由慢到快、容量由大到小的多級(jí)層次存儲(chǔ)器,以最優(yōu)的控制調(diào)度算法和合理的成本,構(gòu)成具有性能可接受的存儲(chǔ)系統(tǒng)。
存儲(chǔ)系統(tǒng)
存儲(chǔ)系統(tǒng)的性能在計(jì)算機(jī)中的地位日趨重要,主要原因是:①馮諾伊曼體系結(jié)構(gòu)是建筑在存儲(chǔ)程序概念的基礎(chǔ)上,訪存操作約占中央處理器(CPU)時(shí)間的70%左右。②存儲(chǔ)管理與組織的好壞影響到整機(jī)效率。③現(xiàn)代的信息處理,如圖像處理、數(shù)據(jù)庫(kù)、知識(shí)庫(kù)、語(yǔ)音識(shí)別、多媒體等對(duì)存儲(chǔ)系統(tǒng)的要求很高。
存儲(chǔ)器的那些事
存儲(chǔ)系統(tǒng)從其與生俱來(lái)的使命來(lái)說(shuō),就難以擺脫復(fù)雜系統(tǒng)的魔咒。無(wú)論是從單機(jī)時(shí)代的文件系統(tǒng),還是后來(lái)C/S或B/S結(jié)構(gòu)下數(shù)據(jù)庫(kù)這樣的存儲(chǔ)中間件興起,還是如今炙手可熱的云存儲(chǔ)服務(wù)來(lái)說(shuō),存儲(chǔ)都很復(fù)雜,而且是越來(lái)越復(fù)雜。存儲(chǔ)為什么會(huì)復(fù)雜,要從什么是存儲(chǔ)談起。存儲(chǔ)這個(gè)詞非常平凡,存儲(chǔ) + 計(jì)算(操作)就構(gòu)成了一個(gè)樸素的計(jì)算機(jī)模型。簡(jiǎn)單來(lái)說(shuō),存儲(chǔ)就是負(fù)責(zé)維持計(jì)算系統(tǒng)的狀態(tài)的單元。從維持狀態(tài)的角度,我們會(huì)有最樸素的可靠性要求。比如單機(jī)時(shí)代的文件系統(tǒng),機(jī)器斷電、程序故障、系統(tǒng)重啟等常規(guī)的異常,文件系統(tǒng)必須可以正確地應(yīng)對(duì),甚至對(duì)于磁盤扇區(qū)損壞,文件系統(tǒng)也需要考慮盡量將損失降到最低。對(duì)于大部分的業(yè)務(wù)程序而言,你只需要重點(diǎn)關(guān)注業(yè)務(wù)的正常分支流程就行,對(duì)于出乎意料的情況,通常只需拋出一個(gè)錯(cuò)誤,告訴用戶你不該這么玩。但是對(duì)于存儲(chǔ)系統(tǒng),你需要花費(fèi)絕大部分精力在各種異常情況的處理上,甚至你應(yīng)該認(rèn)為,這些龐雜的、多樣的錯(cuò)誤分支處理,才是存儲(chǔ)系統(tǒng)的“正常業(yè)務(wù)邏輯”。到了互聯(lián)網(wǎng)時(shí)代,有了C/S或B/S結(jié)構(gòu),存儲(chǔ)系統(tǒng)又有了新指標(biāo):可用性。為了保證服務(wù)質(zhì)量,那些用戶看不見的服務(wù)器程序必須時(shí)時(shí)保持在線,最好做到邏輯上是不宕機(jī)的(可用性100%)。服務(wù)器程序怎么才能做到高可用性?答案是存儲(chǔ)中間件。沒有存儲(chǔ)中間件,意味著所有的業(yè)務(wù)程序,都必須考慮每做一步就對(duì)狀態(tài)進(jìn)行持久化,以便自己掛掉后另一臺(tái)服務(wù)器(或者自己重啟后),知道之前工作到哪里了,接下去應(yīng)該做些什么。但是對(duì)狀態(tài)進(jìn)行持久化(也就是存儲(chǔ))會(huì)非常繁瑣,如果每個(gè)業(yè)務(wù)都自己實(shí)現(xiàn),負(fù)擔(dān)無(wú)疑非常沉重。但如果有了高可用的存儲(chǔ)中間件,服務(wù)器端的業(yè)務(wù)程序就只需操作存儲(chǔ)中間件來(lái)更新狀態(tài),通過(guò)同時(shí)啟動(dòng)多份業(yè)務(wù)程序的實(shí)例做互備和負(fù)載均衡,很容易實(shí)現(xiàn)業(yè)務(wù)邏輯上不宕機(jī)。相關(guān)廠商內(nèi)容QCon北京2018全新開啟深度學(xué)習(xí)框架演進(jìn)漫談-by老師木智能寫手——智能文本生成在雙十一的應(yīng)用深度學(xué)習(xí)在紅豆Live直播推薦系統(tǒng)中的應(yīng)用美團(tuán)騎手智能助手的技術(shù)與實(shí)踐相關(guān)贊助商
所以,數(shù)據(jù)庫(kù)這樣的存儲(chǔ)中間件出現(xiàn)基本上是歷史必然。盡管數(shù)據(jù)庫(kù)很通用,但它決不會(huì)是唯一的存儲(chǔ)中間件。比如業(yè)務(wù)中用到的富媒體(圖片、音視頻、Office文檔等),我們很少會(huì)去存儲(chǔ)到數(shù)據(jù)庫(kù)中,更多的時(shí)候我們會(huì)把它們放在文件系統(tǒng)里。但是單機(jī)時(shí)代誕生的文件系統(tǒng),真的是最適合存儲(chǔ)這些富媒體數(shù)據(jù)的么?不,文件系統(tǒng)需要改變,因?yàn)椋荷炜s性。單機(jī)文件系統(tǒng)的第一個(gè)問(wèn)題是單機(jī)容量有限,在存儲(chǔ)規(guī)模超過(guò)一臺(tái)機(jī)器可管理的時(shí)候,應(yīng)該怎么辦。
性能瓶頸。通常,單機(jī)文件系統(tǒng)在文件數(shù)目達(dá)到臨界點(diǎn)后,性能會(huì)快速下降。在4TB的大容量磁盤越來(lái)越普及的今天,這個(gè)臨界點(diǎn)相當(dāng)容易到達(dá)。
可靠性要求。單機(jī)文件系統(tǒng)通常只是單副本的方案,但是今天單副本的存儲(chǔ)早已無(wú)法滿足業(yè)務(wù)的可靠性要求。數(shù)據(jù)需要有冗余(比較經(jīng)典的做法是3副本),并且在磁盤損壞時(shí)及早修復(fù)丟失的數(shù)據(jù),以避免所有的副本損壞造成數(shù)據(jù)丟失。
可用性要求。單機(jī)文件系統(tǒng)通常只是單副本的方案,在該機(jī)器宕機(jī)后,數(shù)據(jù)就不可讀取,也不可寫入。
在分布式存儲(chǔ)系統(tǒng)出現(xiàn)前,有一些基于單機(jī)文件系統(tǒng)的改良版本被一些應(yīng)用采納。比如在單機(jī)文件系統(tǒng)上加 RAID5 做數(shù)據(jù)冗余,來(lái)解決單機(jī)文件系統(tǒng)的可靠性問(wèn)題。假設(shè) RAID5 的數(shù)據(jù)修復(fù)時(shí)間是1天(實(shí)際上往往做不到,尤其是業(yè)務(wù)系統(tǒng)本身壓力比較大的情況下,留給 RAID 修復(fù)用的磁盤讀寫帶寬很有限),這種方案單機(jī)的可靠性大概是100年丟失一次數(shù)據(jù)(即可靠性是2個(gè)9)??雌饋?lái)尚可?但是你得小心兩種情況。一種是你的集群規(guī)模變大,你仍然沿用這個(gè)土方法,比如你現(xiàn)在有 100 臺(tái)這樣的機(jī)器,那么就會(huì)變成1年就丟失一次數(shù)據(jù)。另一種情況是如果實(shí)際數(shù)據(jù)修復(fù)時(shí)間是 3 天,那么單機(jī)的可靠性就直降至4年丟失一次數(shù)據(jù),100臺(tái)就會(huì)是15天丟失一次數(shù)據(jù)。這個(gè)數(shù)字顯然無(wú)法讓人接受。Google GFS 是很多人閱讀的第一份分布式存儲(chǔ)的論文,這篇論文奠定了 3 副本在分布式存儲(chǔ)系統(tǒng)里的地位。隨后 Hadoop 參考此論文實(shí)現(xiàn)了開源版的 GFS —— HDFS。但關(guān)于 Hadoop 的 HDFS 實(shí)際上業(yè)界有不少誤區(qū)。GFS 的設(shè)計(jì)有很強(qiáng)的業(yè)務(wù)背景特征,本身是用來(lái)做搜索引擎的。HDFS 更適合做日志存儲(chǔ)和日志分析(數(shù)據(jù)挖掘),而不是存儲(chǔ)海量的富媒體文件。因?yàn)椋篐DFS 的 block 大小為 64M,如果文件不足 64M 也會(huì)占用 64M。而富媒體文件大部分仍然很小,比如圖片常規(guī)尺寸在 100K 左右。有人可能會(huì)說(shuō)我可以調(diào)小 block 的尺寸來(lái)適應(yīng),但這是不正確的做法,HDFS 的架構(gòu)是為大文件而設(shè)計(jì)的,不可能簡(jiǎn)單通過(guò)調(diào)整 block 大小就可以滿足海量小文件存儲(chǔ)的需求。
HDFS 是單 Master 結(jié)構(gòu),這決定了它能夠存儲(chǔ)的元數(shù)據(jù)條目數(shù)有限,伸縮性存在問(wèn)題。當(dāng)然作為大文件日志型存儲(chǔ),這個(gè)瓶頸會(huì)非常晚才遇到;但是如果作為海量小文件的存儲(chǔ),這個(gè)瓶頸很快就會(huì)碰上。
HDFS 仍然沿用文件系統(tǒng)的 API 形式,比如它有目錄這樣的概念。在分布式系統(tǒng)中維護(hù)文件系統(tǒng)的目錄樹結(jié)構(gòu),會(huì)遭遇諸多難題。所以 HDFS 想把 Master 擴(kuò)展為分布式的元數(shù)據(jù)集群并不容易。
分布式存儲(chǔ)最容易處理的問(wèn)題域還是單鍵值的存儲(chǔ),也就是所謂的 Key-Value 存儲(chǔ)。只有一個(gè) Key,就意味著我們可以通過(guò)對(duì) Key 做 Hash,或者對(duì) Key 做分區(qū),都能夠讓請(qǐng)求快速定位到特定某一臺(tái)存儲(chǔ)機(jī)器上,從而轉(zhuǎn)化為單機(jī)問(wèn)題。這也是為什么在數(shù)據(jù)庫(kù)之后,會(huì)冒出來(lái)那么多 NoSQL 數(shù)據(jù)庫(kù)。因?yàn)閿?shù)據(jù)庫(kù)和文件系統(tǒng)一樣,最早都是單機(jī)的,在伸縮性、性能瓶頸(在單機(jī)數(shù)據(jù)量太大時(shí))、可靠性、可用性上遇到了相同的麻煩。NoSQL 數(shù)據(jù)庫(kù)的名字其實(shí)并不恰當(dāng),他們更多的不是去 SQL,而是去關(guān)系(我們知道數(shù)據(jù)庫(kù)更完整的稱呼是關(guān)系型數(shù)據(jù)庫(kù))。有關(guān)系意味著有多個(gè)索引,也就是有多個(gè) Key,而這對(duì)數(shù)據(jù)庫(kù)轉(zhuǎn)為分布式存儲(chǔ)系統(tǒng)來(lái)說(shuō)非常不利。七牛云存儲(chǔ)的設(shè)計(jì)目標(biāo)是針對(duì)海量小文件的存儲(chǔ),所以它對(duì)文件系統(tǒng)的第一個(gè)改變也是去關(guān)系,也就是去目錄結(jié)構(gòu)(有目錄意味著有父子關(guān)系)。所以七牛云存儲(chǔ)不是文件系統(tǒng)(File System),而是鍵值存儲(chǔ)(Key-Value Storage),用時(shí)髦點(diǎn)的話說(shuō)是對(duì)象存儲(chǔ)(Object Storage)。不過(guò)七牛自己喜歡把它叫做資源存儲(chǔ)(Resource Storage),因?yàn)樗怯脕?lái)存儲(chǔ)靜態(tài)資源文件的。蠻多七牛云存儲(chǔ)的新手會(huì)問(wèn),為什么我在七牛的 API 中找不到創(chuàng)建目錄這樣的 API,根本原因還是受文件系統(tǒng)這個(gè)經(jīng)典存儲(chǔ)系統(tǒng)的影響。七牛云存儲(chǔ)的第一個(gè)實(shí)現(xiàn)版本,從技術(shù)上來(lái)說(shuō)是經(jīng)典的 3 副本的鍵值存儲(chǔ)。它由元數(shù)據(jù)集群和數(shù)據(jù)塊集群組成。每個(gè)文件被切成了 4M 為單位的一個(gè)個(gè)數(shù)據(jù)塊,各個(gè)數(shù)據(jù)塊按 3 副本做冗余。但是作為云存儲(chǔ),它并不僅僅是一個(gè)分布式存儲(chǔ)集群,它需要額外考慮:網(wǎng)絡(luò)問(wèn)題,也就是文件的上傳下載問(wèn)題。文件上傳方面,我們得考慮在相對(duì)比較差的網(wǎng)絡(luò)條件下(比如2G/3G網(wǎng)絡(luò))如何確保文件能夠上傳成功,大文件(七牛云存儲(chǔ)的單文件大小理論極限是1TB)如何能夠上傳成功,如何能夠更快上傳。文件下載加速方面,考慮到 CDN 已經(jīng)發(fā)展了 10 多年的歷史,非常成熟,我們決定基于 CDN 來(lái)做下載加速。
數(shù)據(jù)處理。當(dāng)用戶文件托管到了七牛,那么針對(duì)文件內(nèi)容的數(shù)據(jù)處理需求也會(huì)自然衍生。比如我們第一個(gè)客戶就給我們提了圖片縮略圖相關(guān)的需求。在音視頻內(nèi)容越來(lái)越多的時(shí)候,自然就有了音視頻轉(zhuǎn)碼的需求??梢灶A(yù)見在Office文檔多了后,也就會(huì)有 Office 文檔轉(zhuǎn)換的需求。
所以從技術(shù)上來(lái)說(shuō),七牛云存儲(chǔ)是這樣的:七牛云存儲(chǔ) = 分布式存儲(chǔ)集群 + 上傳加速網(wǎng)絡(luò)(下載外包給CDN) + 數(shù)據(jù)處理集群網(wǎng)絡(luò)問(wèn)題并不是七牛要解決的核心問(wèn)題,只是我們要面對(duì)的現(xiàn)實(shí)困難。所以在這個(gè)問(wèn)題上如果能夠有足夠?qū)I(yè)的供應(yīng)商,能夠外包我們會(huì)盡可能外包。而分布式存儲(chǔ)集群的演進(jìn)和優(yōu)化,才是我們最核心的事情。早在 2012 年 2 月,我們就啟動(dòng)了新一代基于糾刪碼算術(shù)冗余的存儲(chǔ)系統(tǒng)的研發(fā)。新存儲(chǔ)系統(tǒng)的關(guān)注焦點(diǎn)在:成本。經(jīng)典的 3 副本存儲(chǔ)系統(tǒng)雖然經(jīng)典,但是代價(jià)也是高昂的,需要我們投入 3 倍的存儲(chǔ)成本。那么有沒有保證高可靠和高可用的前提下把成本做下來(lái)?
可靠性。如何進(jìn)一步提升存儲(chǔ)系統(tǒng)的可靠性?答案是更高的容錯(cuò)能力(從允許同時(shí)損壞2塊盤到允許同時(shí)損壞4塊盤),更快的修復(fù)速度(從原先3小時(shí)修復(fù)一塊壞盤到30分鐘修復(fù)一塊壞盤)。
伸縮性。如何從系統(tǒng)設(shè)計(jì)容量、IO吞吐能力、網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)等角度,讓系統(tǒng)能夠支持EB級(jí)別的數(shù)據(jù)存儲(chǔ)規(guī)模?關(guān)于伸縮性這個(gè)話題,涉及的點(diǎn)是全方位的,本文不展開討論,后面我們另外獨(dú)立探討這個(gè)話題(讓我們把焦點(diǎn)放在成本和可靠性上)。
在經(jīng)過(guò)了四個(gè)大的版本迭代,七牛新一代云存儲(chǔ)(v2)終于上線。新存儲(chǔ)的第一大亮點(diǎn)是引入了糾刪碼(EC)這樣的算術(shù)冗余方案,而不再是經(jīng)典的 3 副本冗余方案。我們的 EC 采用的是 28 + 4,也就是把文件切分為 28 份,然后再根據(jù)這 28 份數(shù)據(jù)計(jì)算出 4 份冗余數(shù)據(jù),最后把這 32 份數(shù)據(jù)存儲(chǔ)在 32 臺(tái)不同的機(jī)器上。這樣做的好處是既便宜,又提升了可靠性和可用性。從成本角度,同樣是要存儲(chǔ) 1PB 的數(shù)據(jù),要買的存儲(chǔ)服務(wù)器只需 3 副本存儲(chǔ)的 36.5%,經(jīng)濟(jì)效益相當(dāng)好。從可靠性方面,以前 3 副本只能允許同時(shí)損壞2塊盤,現(xiàn)在能夠允許同時(shí)損壞4塊盤,直觀來(lái)說(shuō)這大大改善了可靠性(后面討論可靠性的時(shí)候我們給出具體的數(shù)據(jù))。從可用性角度,以前能夠接受 2 臺(tái)服務(wù)器下線,現(xiàn)在能夠同時(shí)允許 4 臺(tái)服務(wù)器下線。新存儲(chǔ)的第二大亮點(diǎn)是修復(fù)速度,我們把單盤修復(fù)時(shí)間從 3 小時(shí)提升到了 30 分鐘以內(nèi)。修復(fù)時(shí)間同樣對(duì)提升可靠性有著重要意義(后面討論可靠性的時(shí)候我們給出具體的數(shù)據(jù))。這個(gè)原因是比較容易理解的。假設(shè)我們的存儲(chǔ)允許同時(shí)壞 M 塊盤而不丟失數(shù)據(jù),那么集群可靠性,就是看在單位修復(fù)時(shí)間內(nèi),同時(shí)損壞 M+1 塊盤的概率。例如,假設(shè)我們修復(fù)時(shí)間是 3 小時(shí),那么 3 副本集群的可靠性就是看 3 小時(shí)內(nèi)同時(shí)損壞 3 塊盤的概率(也就是丟數(shù)據(jù)的概率)。讓我們回到存儲(chǔ)系統(tǒng)最核心的指標(biāo) —— 可靠性。首先,可靠性和集群規(guī)模是相關(guān)的。假設(shè)我們有 1000 塊磁盤的集群,對(duì)于 3 副本存儲(chǔ)系統(tǒng)來(lái)說(shuō),這 1000 塊盤同時(shí)壞 3 塊就會(huì)發(fā)生數(shù)據(jù)丟失,這個(gè)概率顯然比 3 塊盤同時(shí)壞 3 塊要高很多。基于這一點(diǎn),有些人會(huì)想這樣的土方法:那我要不把集群分為 3 塊磁盤一組互為鏡像,1000 塊盤就是 333 組(不好意思多了1塊,我們忽略這個(gè)細(xì)節(jié)),是不是可以提升可靠性?這些同學(xué)忽略了這樣一些關(guān)鍵點(diǎn):3 塊盤同時(shí)壞 3 塊盤(從而丟失數(shù)據(jù))的概率為 p,那么 333 組這樣的集群,丟失數(shù)據(jù)的概率是 1-(1-p)^333 ≈ p * 333,而不是 p。
互為鏡像的麻煩之處是修復(fù)速度存在瓶頸。壞一塊盤后你需要找一個(gè)新盤進(jìn)行數(shù)據(jù)對(duì)拷,而一塊大容量磁盤數(shù)據(jù)對(duì)拷的典型時(shí)間是 15 小時(shí)(我們后面將給出 15 小時(shí)同時(shí)壞 3 塊盤的概率)。要想提升這個(gè)修復(fù)速度,第一步我們就需要打破鏡像帶來(lái)的束縛。
如果一個(gè)存儲(chǔ)系統(tǒng)的修復(fù)時(shí)間是恒定的,那么這個(gè)存儲(chǔ)集群在規(guī)模擴(kuò)大的時(shí)候,必然伴隨著可靠性的降低。所以最理想的情況是集群越大,修復(fù)速度越快。這樣才能抵消因集群增大導(dǎo)致壞盤概率增加帶來(lái)負(fù)面影響。計(jì)算表明,如果我們修復(fù)速度和集群規(guī)模成正比(線性關(guān)系),那么集群隨著規(guī)模增大,可靠性會(huì)越來(lái)越高。下表列出了1000塊硬盤的存儲(chǔ)集群在不同存儲(chǔ)方案、不同修復(fù)時(shí)間下的可靠性計(jì)算結(jié)果:副本存儲(chǔ)方案容錯(cuò)度(M)修復(fù)時(shí)間數(shù)據(jù)丟失概率(P)可靠性
3副本方案230分鐘1.00E-088個(gè)9
3小時(shí)1.00E-055個(gè)9
15小時(shí)1.00E-022個(gè)9
28+4算術(shù)冗余方案430分鐘1.00E-1616個(gè)9
3小時(shí)1.00E-1111個(gè)9
15小時(shí)1.00E-077個(gè)9
對(duì)于數(shù)據(jù)丟失概率具體的計(jì)算公式和計(jì)算方法,由于篇幅所限,本文中不做展開,我會(huì)另找機(jī)會(huì)討論。對(duì)我個(gè)人而言,七牛新一代云存儲(chǔ)(v2)的完成,了了我多年的夙愿。但七牛不會(huì)就此停止腳步。我們?cè)诖鎯?chǔ)系統(tǒng)上又有了一些好玩的想法。從長(zhǎng)遠(yuǎn)來(lái)說(shuō),單位存儲(chǔ)的成本會(huì)越來(lái)越廉價(jià)(硬件和軟件系統(tǒng)都會(huì)推動(dòng)這個(gè)發(fā)展趨勢(shì))。而存儲(chǔ)系統(tǒng)肯定會(huì)越來(lái)越復(fù)雜。例如,有賴于超高的容錯(cuò)能力,七牛對(duì)單塊磁盤的可靠性要求降低了很多,這就為未來(lái)我們采用桌面硬盤而不是企業(yè)硬盤作為存儲(chǔ)介質(zhì)打下基礎(chǔ)。但是單塊磁盤可靠性的降低,則會(huì)進(jìn)一步推動(dòng)存儲(chǔ)系統(tǒng)往復(fù)雜的方向發(fā)展。基于這個(gè)推理,我認(rèn)為存儲(chǔ)必然需要轉(zhuǎn)為云服務(wù),成為水電煤一樣的基礎(chǔ)設(shè)施。存儲(chǔ)系統(tǒng)越來(lái)越復(fù)雜,越來(lái)越專業(yè),這就導(dǎo)致自建存儲(chǔ)的難度和成本越來(lái)越高,自建存儲(chǔ)的必要性也越來(lái)越低。必然有那么一天,你會(huì)發(fā)現(xiàn)云存儲(chǔ)的成本遠(yuǎn)低于自建存儲(chǔ)的成本,到時(shí)自建存儲(chǔ)就會(huì)是純投入而無(wú)產(chǎn)出,也就沒有多少人會(huì)去熱衷于干這樣的事情了。
分布式存儲(chǔ)系統(tǒng)是大數(shù)據(jù)技術(shù)學(xué)習(xí)過(guò)程中會(huì)經(jīng)常接觸到的一個(gè)工具,而今天我們就一起來(lái)了解一下,常見的一些分布式存儲(chǔ)系統(tǒng)都有哪些類型。
2020-11-09 標(biāo)簽:存儲(chǔ)系統(tǒng)分布式存儲(chǔ)系統(tǒng) 2.9萬(wàn) 0
大數(shù)據(jù)時(shí)代下的三種存儲(chǔ)架構(gòu)
數(shù)據(jù)時(shí)代,移動(dòng)互聯(lián)、社交網(wǎng)絡(luò)、數(shù)據(jù)分析、云服務(wù)等應(yīng)用的迅速普及,對(duì)數(shù)據(jù)中心提出革命性的需求,存儲(chǔ)基礎(chǔ)架構(gòu)已經(jīng)成為IT核心之一。政府、軍隊(duì)軍工、科研院所、...
2015-04-15 標(biāo)簽:存儲(chǔ)系統(tǒng)移動(dòng)互聯(lián)大數(shù)據(jù) 2.2萬(wàn) 0
光存儲(chǔ)的基本原理!光存儲(chǔ)的主要特點(diǎn)
迄今為止,絕大部分商品化光盤存儲(chǔ)系統(tǒng)中所用的記錄介質(zhì)的記錄機(jī)理都是熱致效應(yīng)。利用從激光束吸收的能量,作為高度集中的、強(qiáng)大的熱源,促使介質(zhì)局部熔化或蒸發(fā),...
2019-05-05 標(biāo)簽:半導(dǎo)體激光器存儲(chǔ)系統(tǒng) 2.2萬(wàn) 0
一般普通存儲(chǔ)方案有:Rsync、DAS(IDE/SATA/SAS/SCSI等塊)、NAS(NFS、CIFS、SAMBA等文件系統(tǒng))、SAN(FibreC...
2020-09-29 標(biāo)簽:存儲(chǔ)系統(tǒng)分布式存儲(chǔ) 1.1萬(wàn) 0
常見的分布式文件存儲(chǔ)系統(tǒng)的優(yōu)缺點(diǎn)
分布式文件系統(tǒng),可以說(shuō)是分布式系統(tǒng)下的一個(gè)子集,這里我們選取市場(chǎng)應(yīng)用比較廣泛的幾款產(chǎn)品,HDFS、Ceph、FastDFS以及MooseFS來(lái)做簡(jiǎn)單的分析。
2021-01-15 標(biāo)簽:存儲(chǔ)系統(tǒng)分布式存儲(chǔ) 1.1萬(wàn) 0
雙向逆變器(Bidirectional Inverter)是一種電力轉(zhuǎn)換裝置,可將直流(DC)電能轉(zhuǎn)換為交流(AC)電能,同時(shí)也能將交流電能轉(zhuǎn)換為直流電...
2023-12-15 標(biāo)簽:太陽(yáng)能電池板存儲(chǔ)系統(tǒng)電力轉(zhuǎn)換器 1.0萬(wàn) 0
視視頻云存儲(chǔ)系統(tǒng)應(yīng)用方案,為安防監(jiān)控系統(tǒng)提供可靠數(shù)據(jù)存儲(chǔ)
這次由a&s發(fā)起的《??低曉拼鎯?chǔ)系統(tǒng)應(yīng)用方案測(cè)評(píng)》在??低曃錆h研發(fā)中心進(jìn)行,??低晫?duì)云存儲(chǔ)產(chǎn)品的功能、性能、特點(diǎn)以及應(yīng)用場(chǎng)景進(jìn)行了展示。a&s本著...
2017-11-22 標(biāo)簽:安防監(jiān)控存儲(chǔ)系統(tǒng)云存儲(chǔ) 1.0萬(wàn) 0
和現(xiàn)如今的智能手機(jī)相比,智能電視的硬件配置顯得非常“寒酸”,不僅處理器的性能弱,存儲(chǔ)配置還停留在智能手機(jī)剛剛興起那會(huì)兒的水平,比如一些入門級(jí)的機(jī)型僅配置...
2019-07-01 標(biāo)簽:存儲(chǔ)系統(tǒng)智能電視 9809 0
SD卡的基本結(jié)構(gòu)和原理是什么?結(jié)合S3C2410后有什么應(yīng)用?
SD總線是一個(gè)星型的總線結(jié)構(gòu),系統(tǒng)中允許有一個(gè)主控器,最多可達(dá)十個(gè)從設(shè)備( SD卡) 。在系統(tǒng)初始化時(shí),主控器分別為每一個(gè)設(shè)備分配一個(gè)設(shè)備地址,此后主控...
2018-08-12 標(biāo)簽:通信sd卡存儲(chǔ)系統(tǒng) 9446 0
圖像采集存儲(chǔ)系統(tǒng)的8種接口類型及特點(diǎn)介紹
本文就目前常見的相機(jī)輸出接口CVBS、VGA、DVI、HDMI、SDI、Camera Link、HS-LINK、CoaXPress這8種類型做出一一介紹...
2018-09-06 標(biāo)簽:圖像采集計(jì)算機(jī)存儲(chǔ)系統(tǒng) 8959 0
0
0
一種基于PCI Express接口的數(shù)據(jù)采集存儲(chǔ)系統(tǒng)設(shè)計(jì)
標(biāo)簽:總線接口存儲(chǔ)系統(tǒng)PCI Express 1996 0
如何使用OpenWRT路由器實(shí)現(xiàn)網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)的設(shè)計(jì)立即下載
類別:存儲(chǔ)器技術(shù) 2019-12-04 標(biāo)簽:路由器存儲(chǔ)系統(tǒng)OpenWRT
PEX8796交換機(jī)的數(shù)據(jù)手冊(cè)免費(fèi)下載立即下載
類別:IC datasheet pdf 2020-05-28 標(biāo)簽:PCI交換機(jī)存儲(chǔ)系統(tǒng)
如何進(jìn)行DDR4的設(shè)計(jì)資料概述及分析仿真案例概述立即下載
類別:存儲(chǔ)器技術(shù) 2018-12-19 標(biāo)簽:DRAM存儲(chǔ)系統(tǒng)DDR4
CCD圖像采集過(guò)程中如何進(jìn)行實(shí)時(shí)誤差校正兩種方法詳細(xì)說(shuō)明立即下載
類別:模擬數(shù)字 2019-11-22 標(biāo)簽:CCD圖像采集存儲(chǔ)系統(tǒng)
如何使用iSCSI技術(shù)構(gòu)建IP SAN網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)的方法概述立即下載
類別:存儲(chǔ)器技術(shù) 2018-12-10 標(biāo)簽:DASSAN存儲(chǔ)系統(tǒng)
基于ARM-Linux的GPS信號(hào)存儲(chǔ)轉(zhuǎn)發(fā)系統(tǒng)的設(shè)計(jì)立即下載
類別:嵌入式開發(fā) 2013-03-04 標(biāo)簽:ARMLinux存儲(chǔ)系統(tǒng)
如何使用FPGA設(shè)計(jì)高速實(shí)時(shí)數(shù)據(jù)采集存儲(chǔ)系統(tǒng)的資料概述立即下載
類別:FPGA/ASIC 2018-12-10 標(biāo)簽:FPGA數(shù)據(jù)采集存儲(chǔ)系統(tǒng)
基于CDMA網(wǎng)絡(luò)傳輸?shù)臒o(wú)線視頻監(jiān)控和視頻數(shù)據(jù)存儲(chǔ)系統(tǒng)立即下載
類別:DSP 2017-11-01 標(biāo)簽:dsp存儲(chǔ)系統(tǒng)無(wú)線視頻監(jiān)控系統(tǒng)
Tera-Store高速數(shù)據(jù)采集存儲(chǔ)系統(tǒng)立即下載
類別:嵌入式開發(fā) 2017-10-24 標(biāo)簽:存儲(chǔ)數(shù)據(jù)采集存儲(chǔ)系統(tǒng)
基于套接字的Flash存儲(chǔ)系統(tǒng)研究和實(shí)現(xiàn)立即下載
類別:DSP 2010-01-20 標(biāo)簽:Flash存儲(chǔ)系統(tǒng)
監(jiān)控?cái)z像頭有多少種類應(yīng)該如何選型
我們知道一個(gè)完整的監(jiān)控系統(tǒng)是由四部分組成,前端系統(tǒng)、傳輸系統(tǒng)、存儲(chǔ)系統(tǒng)、以及顯示系統(tǒng)。而前端系統(tǒng)主要是對(duì)圖像的采集,傳輸系統(tǒng)主要是傳輸數(shù)據(jù),存儲(chǔ)是對(duì)圖像...
2020-02-13 標(biāo)簽:圖像采集攝像頭存儲(chǔ)系統(tǒng) 4.8萬(wàn) 0
覆銅板是將電子玻纖布或其它增強(qiáng)材料浸以樹脂,一面或雙面覆以銅箔并經(jīng)熱壓而制成的一種板狀材料。相對(duì)于柔性覆銅板, 剛性覆銅板占據(jù)了市場(chǎng)一半以上的份額,其應(yīng)...
2020-06-28 標(biāo)簽:通信系統(tǒng)存儲(chǔ)系統(tǒng)覆銅板 2.1萬(wàn) 1
你見過(guò)1EB的存儲(chǔ)系統(tǒng)嗎?堪稱世界上最大的單一文件系統(tǒng)
近日,全球超級(jí)計(jì)算機(jī)領(lǐng)導(dǎo)者 Cray Inc. 宣布,F(xiàn)rontiersman Cray為“最大的單一文件系統(tǒng)”提供了5000萬(wàn)美元的存儲(chǔ)合同,為美國(guó)O...
2019-06-19 標(biāo)簽:處理器超級(jí)計(jì)算機(jī)存儲(chǔ)系統(tǒng) 2.0萬(wàn) 0
中科曙光基于區(qū)塊鏈存儲(chǔ)應(yīng)用的智能高效的專屬存儲(chǔ)系統(tǒng)—區(qū)塊鏈存儲(chǔ)系統(tǒng)ChainStor
近日,中科曙光在北京發(fā)布了基于區(qū)塊鏈存儲(chǔ)應(yīng)用打造的一款智能高效的專屬存儲(chǔ)系統(tǒng)——區(qū)塊鏈存儲(chǔ)系統(tǒng)ChainStor。ChainStor沿用了曙光多年技術(shù)積...
2020-12-31 標(biāo)簽:存儲(chǔ)存儲(chǔ)系統(tǒng)中科曙光 1.4萬(wàn) 0
DAS-Direct Attached Storag-存儲(chǔ)設(shè)備(通常為磁盤或磁帶)通過(guò)電纜直接與計(jì)算機(jī)相連。
2020-09-15 標(biāo)簽:存儲(chǔ)存儲(chǔ)系統(tǒng) 6851 0
英特爾傲騰+英特爾CAS 助力青云QingCloud打造高性能存儲(chǔ)系統(tǒng)
大數(shù)據(jù)時(shí)代,數(shù)據(jù)已經(jīng)成為企業(yè)重要的戰(zhàn)略資產(chǎn)。對(duì)大規(guī)模數(shù)據(jù)訪問(wèn)、處理、分析和存儲(chǔ)都日益成為企業(yè)不得不面臨和解決的問(wèn)題。而如何在安全可靠存儲(chǔ)的同時(shí),降低成本...
2019-06-26 標(biāo)簽:英特爾存儲(chǔ)系統(tǒng)大數(shù)據(jù) 6537 0
ThinkSystem DM7000是一款可擴(kuò)展 統(tǒng)一的全閃存中端存儲(chǔ)系統(tǒng)
聯(lián)想最近更新了由NetApp公司的ONTAP軟件提供支持的ThinkSystem DM7000F統(tǒng)一閃存存儲(chǔ)陣列。
2018-12-04 標(biāo)簽:閃存存儲(chǔ)系統(tǒng) 6249 0
羅德與施瓦茨發(fā)布了其名為R&S SpycerNode的新一代媒體存儲(chǔ)系統(tǒng)
在研發(fā)R&S SpycerNode上,羅德與施瓦茨的工程師考慮到了很多會(huì)影響高性能視頻編輯環(huán)境下媒體存儲(chǔ)系統(tǒng)維護(hù)需求的重要事項(xiàng),比如碎片整理,包括磁盤驅(qū)...
2018-12-19 標(biāo)簽:RAID存儲(chǔ)系統(tǒng) 5880 0
企業(yè)存儲(chǔ)系統(tǒng)市場(chǎng)的廠商結(jié)果
該季度戴爾是最大的外部企業(yè)存儲(chǔ)系統(tǒng)供應(yīng)商,占全球收入的29.2%,NetApp以13.5%的收入份額排名第二,HPE/新華三排名第三,收入份額為10.6...
2018-09-12 標(biāo)簽:存儲(chǔ)系統(tǒng)數(shù)據(jù)驅(qū)動(dòng) 5769 0
新型永磁技術(shù)-怒海中的超導(dǎo)風(fēng)力渦輪機(jī)
風(fēng)力渦輪機(jī)非常復(fù)雜。它們通過(guò)機(jī)械、磁力和電力過(guò)程相互作用而運(yùn)行,每個(gè)參數(shù)的微調(diào)都會(huì)使整個(gè)過(guò)程發(fā)生復(fù)雜變化。然而,它們基本上都有相同的基礎(chǔ)條件與組件。當(dāng)葉...
2018-11-14 標(biāo)簽:存儲(chǔ)系統(tǒng)風(fēng)力發(fā)電機(jī)恒溫器 5688 0
編輯推薦廠商產(chǎn)品技術(shù)軟件/工具OS/語(yǔ)言教程專題
電機(jī)控制 | DSP | 氮化鎵 | 功率放大器 | ChatGPT | 自動(dòng)駕駛 | TI | 瑞薩電子 |
BLDC | PLC | 碳化硅 | 二極管 | OpenAI | 元宇宙 | 安森美 | ADI |
無(wú)刷電機(jī) | FOC | IGBT | 逆變器 | 文心一言 | 5G | 英飛凌 | 羅姆 |
直流電機(jī) | PID | MOSFET | 傳感器 | 人工智能 | 物聯(lián)網(wǎng) | NXP | 賽靈思 |
步進(jìn)電機(jī) | SPWM | 充電樁 | IPM | 機(jī)器視覺 | 無(wú)人機(jī) | 三菱電機(jī) | ST |
伺服電機(jī) | SVPWM | 光伏發(fā)電 | UPS | AR | 智能電網(wǎng) | 國(guó)民技術(shù) | Microchip |
Arduino | BeagleBone | 樹莓派 | STM32 | MSP430 | EFM32 | ARM mbed | EDA |
示波器 | LPC | imx8 | PSoC | Altium Designer | Allegro | Mentor | Pads |
OrCAD | Cadence | AutoCAD | 華秋DFM | Keil | MATLAB | MPLAB | Quartus |
C++ | Java | Python | JavaScript | node.js | RISC-V | verilog | Tensorflow |
Android | iOS | linux | RTOS | FreeRTOS | LiteOS | RT-THread | uCOS |
DuerOS | Brillo | Windows11 | HarmonyOS |