其他HBase的特性:
1)沒(méi)有真正的索引,行順序存儲(chǔ),也沒(méi)有所謂的索引膨脹問(wèn)題。
2) 自動(dòng)分區(qū),表增長(zhǎng)時(shí),自動(dòng)分區(qū)到新的節(jié)點(diǎn)上。
3) 線性擴(kuò)展和區(qū)域會(huì)自動(dòng)重新平衡,運(yùn)行RegionServer,達(dá)到負(fù)載均衡的目的。
4)容錯(cuò)和普通商用的硬件支持。這點(diǎn)同hadoop類似。
HBase與RDBMS的區(qū)別?
1) 表的設(shè)計(jì):HBase的表可以很高,很寬,可伸縮性很強(qiáng)。而且表的模式是物理存儲(chǔ)的直接反映。
2) 拓?fù)洌?HBase能水平分區(qū)并在上千個(gè)節(jié)點(diǎn)上自動(dòng)復(fù)制。
3) 應(yīng)用形式: 開(kāi)發(fā)者必須承擔(dān)更多的責(zé)任來(lái)正確地利用HBase的檢索和存儲(chǔ)方式。
4) RDBMS 遵循固定的模式,如“codd 12 規(guī)則”,強(qiáng)調(diào)事務(wù)的“強(qiáng)一致性”、參照完整性、SQL支持、數(shù)據(jù)的邏輯與物理形式相對(duì)獨(dú)立。等等。適用于中小規(guī)模的數(shù)據(jù),但對(duì)于數(shù)據(jù)的規(guī)模和并發(fā)讀寫方面進(jìn)行大規(guī)模擴(kuò)展時(shí),RDBMS會(huì)性能大大降低,分布式更為困難,因?yàn)槠湫枰艞壓芏郣DBMS的易用的特性。
HBase適用于上億、上千億級(jí)的數(shù)據(jù),如果是只有上千、上百萬(wàn)級(jí)別是數(shù)據(jù),傳統(tǒng)的RDBMS是更好的選擇。
HBase需要更多硬件,如果硬件較少,如5個(gè),干不成什么好事。
如果從RDBMS移植到HBase,需要消除RDBMS的很多額外特性,如列數(shù)據(jù)類型、第二索引、事務(wù)、高級(jí)查詢等。
HBase的數(shù)據(jù)模式是怎么樣的?即有哪些元素?如何存儲(chǔ)?
1) 數(shù)據(jù)模式
如下列三個(gè)表:
第一個(gè)是一個(gè)稀疏的表,實(shí)際上它是一個(gè)虛表,僅是一個(gè)概念視圖,不是真實(shí)的存儲(chǔ)形式,它來(lái)源于后兩個(gè)表。
而后兩個(gè)表才是真正的表,物理視圖,他們是實(shí)際的存儲(chǔ)形式,而且它們是按列族進(jìn)行存儲(chǔ)的。
2) HBase的基本元素:
表、行、列、單元格: 表的基本要素
鍵:一般是指行的鍵,即唯一標(biāo)識(shí)某行的元素。表中的行,可以根據(jù)鍵進(jìn)行排序,而對(duì)表的訪問(wèn),也通過(guò)鍵。
列族:所有列族成員擁有相同的前綴,某列族的成員,需要預(yù)先定義,但也可以直接進(jìn)行追加。
列族成員會(huì)一起放進(jìn)存儲(chǔ)器。而HBase面向列的存儲(chǔ),是面向列族的數(shù)據(jù)存儲(chǔ)(這個(gè)通過(guò)上面那個(gè)表的示例可以看出來(lái)),數(shù)據(jù)存儲(chǔ)與調(diào)優(yōu)都在這個(gè)層次,HBase表與RDBMS中表類似,行是排序的,客戶端可以把列添加到列族中去。
單元格cell: 單元格中存放的是不可分割的字節(jié)數(shù)組。并且每個(gè)單元格擁有版本信息。HBase的是按版本信息倒序排列。
區(qū)域region:將表水平劃分,是HBase集群分布數(shù)據(jù)的最小單位。在線的所有區(qū)域就構(gòu)成了表的內(nèi)容。
加鎖:對(duì)數(shù)據(jù)行進(jìn)行更新,都需加鎖。保持原子性。
3) 數(shù)據(jù)模型有哪些操作?
Get、Scan、Put、Delete,即返回特定行的屬性,多行屬性、插入、刪除數(shù)據(jù)。
這些都需要一個(gè)HTable實(shí)例來(lái)操作。分別有Get、Scan、Put、Delete類來(lái)指定相應(yīng)的參數(shù)、屬性。
4) 返回結(jié)果的排序方式是什么?
先是行、再是列族、再是列修飾符,最后是時(shí)間戳(反向排序,最新的在前面)。
5)最后,HBase不支持聯(lián)合查詢
6)mapreduce與HBase表配合使用,默認(rèn)mapreduce的任務(wù)分割是根據(jù)HBase表中region的多少來(lái)分割,一個(gè)region就有一個(gè)map。
HBase的模式Schema設(shè)計(jì)的一些概念和原則
1)模式的創(chuàng)建與更新
可以使用HBase Shell或HBase Admin來(lái)創(chuàng)建和編輯HBase的模式。
在0.90.x 版本,只能先禁用表,再修改列族,而0.92.x版本以后,支持在線修改。
而且表和列族修改后,如size, region, block size等,在下次 主緊縮 或 存儲(chǔ)文件時(shí) 起作用。
2)列族的數(shù)量
-列族數(shù)量越少越好,即使同時(shí)有兩個(gè)列族,查詢的時(shí)候總是訪問(wèn)其中一個(gè)列族,不會(huì)同時(shí)訪問(wèn)。
-當(dāng)一個(gè)表存在多個(gè)列族,當(dāng)基數(shù)差距很大時(shí),如A族有100萬(wàn)行,B族10億行,A族可能會(huì)被分散到很多區(qū)域region,導(dǎo)致掃描A的效率降低。
-另外,多個(gè)列族在flush和compaction時(shí),會(huì)造成很多I/O負(fù)擔(dān)。
3)行鍵設(shè)計(jì)RowKey
a. 不要將RowKey設(shè)計(jì)成有序的形式,因?yàn)檫@樣容易阻塞并行性,將負(fù)載壓都在一臺(tái)機(jī)器上
b. 定位一個(gè)單元,需要行,列名和時(shí)間戳。如果一個(gè)單元格的坐標(biāo)很大,會(huì)占用內(nèi)存,索引用光。所以,解決方法:列族名盡量小,如一個(gè)字符a,短屬性名,而行鍵長(zhǎng)度可讀即可(行鍵長(zhǎng)度對(duì)數(shù)據(jù)訪問(wèn)無(wú)太大影響),將數(shù)字字符轉(zhuǎn)換為數(shù)字字節(jié)模式(節(jié)省空間)。
c. 倒序時(shí)間戳有助于找到找到最近版本值
d. 行鍵是在列族范圍內(nèi)有效,不同列族中可以擁有同樣的行鍵
e. 行鍵永遠(yuǎn)不能變
4)HBase支持所有能轉(zhuǎn)換為字節(jié)數(shù)組的東西,如字符串、數(shù)字、復(fù)雜對(duì)象、計(jì)數(shù)器、甚至圖像。
5)列族可以設(shè)置存活時(shí)間TTL,超時(shí)后,HBase自動(dòng)刪除數(shù)據(jù)
6)第二索引和查詢: 這里面有很多東西,需要查看對(duì)應(yīng)版本官方的文檔更好些。
HBase的拓?fù)浣Y(jié)構(gòu)是什么?
1)拓?fù)浣Y(jié)構(gòu): 類似于HDFS的mast與slave,mapreduce的tasktracker與jobtracker的關(guān)系,HBase也有master和RegionServer
2)HBase與ZooKeeper的關(guān)系是什么?
HBase必須管理一個(gè)ZooKeeper實(shí)例,它依賴ZooKeeper,主要目的是,通過(guò)ZooKeeper來(lái)協(xié)調(diào)區(qū)域內(nèi)的服務(wù)器,它負(fù)責(zé)目錄表、主控機(jī)地址等重要信息,若有服務(wù)器崩潰,HBase就可以通過(guò)ZooKeeper來(lái)協(xié)調(diào)分配。
RegionServer在HBase的配置文件conf/regionservers文件中,而HBase集群的站點(diǎn)配置在conf/hbase-site.xml和conf/hbase-env.sh中配置。HBase盡量遵循了Hadoop的規(guī)則。
3)HBase的內(nèi)部結(jié)構(gòu)管理狀況:
其內(nèi)部有-ROOT, -META的特殊目錄表,用于維護(hù)當(dāng)前集群上所有區(qū)域的列表、位置和狀態(tài)。
-ROOT表包含 -META表的區(qū)域列表,而-META表示包含用戶的的區(qū)域列表。
所以,HBase管理的流程是:
Client -- 鏈接到ZooKeeper -- 查找-ROOT表的位置 -- 查找-META表的位置 -- 查找用戶的區(qū)域所在的節(jié)點(diǎn)、位置及其狀態(tài)等 -- 直接管理指定區(qū)域的RegionServer并進(jìn)行交互。
HBase支持Java及MapReduce的開(kāi)發(fā)。
HBase提供了Thrift、REST及Avro的接口。HBase需要有一個(gè)相應(yīng)的接口客戶端負(fù)責(zé)與這些接口的交互。但是這些需要代理進(jìn)行處理請(qǐng)求和響應(yīng),所以比java更慢。
%hbase-daemon.sh start/stop rest/thrift/avro //啟動(dòng)或終止對(duì)應(yīng)的客戶端
評(píng)論