GFS、AFS分布式文件系統(tǒng)

隨著云計算在全球范圍內(nèi)的高速發(fā)展，谷歌、亞馬遜等企業(yè)的崛起，特別是"互聯(lián)網(wǎng)+"深入融合背景下的業(yè)務(wù)云化需求，傳統(tǒng)企業(yè)在數(shù)據(jù)中心建設(shè)中被動地徘徊在傳統(tǒng)存儲陣列與分布式存儲兩種體系存儲架構(gòu)之間。這兩種存儲結(jié)構(gòu)并沒有絕對的優(yōu)劣之分，而大數(shù)據(jù)的繁盛讓分布式存儲架構(gòu)近幾年中獲得了前所未有的關(guān)注。

傳統(tǒng)存儲于分布式系統(tǒng)

傳統(tǒng)SAN以高度的可靠性、穩(wěn)定性和功能豐富性，在應(yīng)用實(shí)踐中獲得了廣泛認(rèn)可。隨著數(shù)據(jù)量不斷增加，企業(yè)對于數(shù)據(jù)存儲可擴(kuò)展性提出要求，分布式存儲系統(tǒng)逐步成為擴(kuò)展性強(qiáng)、價格低廉的選擇。

考量分布式存儲的關(guān)鍵技術(shù)主要包括：全局名字空間、緩存一致性、安全性、可用性和可擴(kuò)展性。從數(shù)據(jù)形態(tài)來劃分，主要有：結(jié)構(gòu)化數(shù)據(jù)、非機(jī)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)。

GFS、AFS和Lustre成為主流的三種分布式存儲文件系統(tǒng)。其中，GFS（Google file system）被稱為谷歌文件系統(tǒng)，其性能、可擴(kuò)展性、可靠性和可用性都收到了肯定，主要部件包括一個Master和n個chunkserver，和Chunk Server（數(shù)據(jù)塊服務(wù)器）同時可以被多個客戶Client訪問。

GFS架構(gòu)

不同于傳統(tǒng)的文件系統(tǒng)，GFS不再將組建錯誤當(dāng)成異常，而是將其看做一種常見情況予以處理。對待文件的大小一直是文件系統(tǒng)要考慮的問題，對于任何一種文件系統(tǒng)，成千上萬的幾KB的系統(tǒng)，總會壓死內(nèi)存，所以，對于大型的文件，管理要高效，對于小型文件也要支持，但是并沒有進(jìn)行優(yōu)化。

在GFS中chunk server大小被固定為64MB，這樣的塊規(guī)模比一般的文件系統(tǒng)的塊規(guī)模要大得多，可以減少元數(shù)據(jù)metadata開銷，減少M(fèi)aster的交互，但太大的塊規(guī)模也會產(chǎn)生內(nèi)部碎片，或者同一個Chunk中存在多個小文件可能產(chǎn)生訪問熱點(diǎn)。

GFS主要運(yùn)行在大量運(yùn)行Linux系統(tǒng)的普通機(jī)器上，從而降低了其硬件成本。但一系列冗余備份、快速恢復(fù)等技術(shù)保證其正常和高效運(yùn)行，GFS也是實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)的主要技術(shù)和文件系統(tǒng)。

AFS是Andrew File System的簡稱。AFS將文件系統(tǒng)的可擴(kuò)展性放在了設(shè)計和實(shí)踐的首要位置，因此AFS擁有過很好的擴(kuò)展性，能夠輕松支持?jǐn)?shù)百個節(jié)點(diǎn)，甚至數(shù)千個節(jié)點(diǎn)的分布式環(huán)境。AFS由卡內(nèi)基美隆大學(xué)最初設(shè)計開發(fā)，目前已經(jīng)相當(dāng)成熟，用于研究和部分大型網(wǎng)絡(luò)之上。

AFS概況

AFS主要組建包括：Cells、AFS clients、基本存儲單元Volumes、AFS servers和Volume replication。AFS實(shí)現(xiàn)的是模塊化的，并不要求在每臺服務(wù)器上運(yùn)行所有服務(wù)器進(jìn)程。AFS擁有良好可擴(kuò)展性，客戶端華村能夠帶來性能的提升和可用性的提高、AFS的缺點(diǎn)在于管理員界面友好性不足，需要更多的專業(yè)知識來支持AFS。

Lustre平行分布式文件系統(tǒng)

Lustre是HP，Intel，Cluster File System公司聯(lián)合美國能源部開發(fā)的Linux集群并行文件系統(tǒng)，名稱來源于Linux和Clusters。同時Lustre也是一個遵循GPL許可協(xié)議的開源軟件，Lustre也被稱為平行分布式文件系統(tǒng)，常用于大型計算機(jī)集群和超級電腦中。

Lustre架構(gòu)圖

Lustre的主要組建包括：元數(shù)據(jù)服務(wù)器（Metadataservers， MDSs）、對象存儲服務(wù)器（objectstorage servers， OSSs）和客戶端。其中MDSs提供元數(shù)據(jù)服務(wù)，MGS管理服務(wù)器提供Lustre文件系統(tǒng)配置信息，OSS對象存儲服務(wù)器expose塊設(shè)備提供數(shù)據(jù)。

Lustre文件系統(tǒng)針對大文件讀寫進(jìn)行了優(yōu)化，能夠提高性能的IO能力；在源數(shù)據(jù)獨(dú)立存儲、服務(wù)和網(wǎng)絡(luò)失效的快速恢復(fù)、基于意圖的分布式鎖管理和系統(tǒng)可快速配置方面優(yōu)異。