hadoop異構存儲怎么實現(xiàn)

這篇文章主要講解了“hadoop異構存儲怎么實現(xiàn)”，文中的講解內(nèi)容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“hadoop異構存儲怎么實現(xiàn)”吧！

1.       什么是hadoop的異構存儲

Hadoop在2.6.0版本中引入了一個新特性——異構存儲。異構存儲關鍵在于異構2個字，異構存儲可以根據(jù)各個存儲介質(zhì)讀寫特性的不同發(fā)揮各自的優(yōu)勢，比如最普通的Disk磁盤；而對于熱數(shù)據(jù)而言，可以采用SSD的方式進行存儲，這樣就能保證高效的讀性能，在速率上甚至能做到十倍于或百倍于普通磁盤讀寫的速度。

2.       目前hadoop支持的存儲類型如下：

* RAM_DISK存儲在內(nèi)存

* SSD  存儲在固態(tài)硬盤
* DISK(default)  存儲在普通磁盤（默認）
* ARCHIVE

按照RAM_DISK->SSD->DISK->ARCHIVE的順序，存取速度由快到慢，單bit存儲成本由高到低。

2.1 命令的使用

0. hdfs storagepolicies  -listPolicies（查看支持的存儲策略）

1.hadoop fs -mkdir /data/ssddata（創(chuàng)建目錄）

2.hdfs storagepolicies -setStoragePolicy -path /data/ssddata –policy One_SSD

（將目錄設置為一份存在ssd上面，其他的副本存在普通的磁盤上面，以后存儲在該文件夾下面的文件的塊副本都會存一份在ssd上面）

3.hdfs storagepolicies -getStoragePolicy -path /data/ssddata(查看該目錄的存儲策略，結(jié)果如下圖)

4.取消設置的存儲策略，創(chuàng)建文件的時候默認為unspecified，那么該命令可以將其修改為默認值

hdfs storagepolicies -unsetStoragePolicy -path /data/normal/ip2.txt

hdfs mover [-p <files/dirs> | -f <local file name>],

3.       索引

在數(shù)據(jù)檢索中，給數(shù)據(jù)添加索引是一個重要環(huán)節(jié)，傳統(tǒng)中關系型數(shù)據(jù)庫大多通過建索引來達到快速檢索的效果，OLTP數(shù)據(jù)庫大多是B或者B+樹索引。想必大家都知道lucene,它的索引是倒排索引（該概念不再這里敘述），不同的分詞使它的全文檢索功能很強大。諸如大家熟知的Elasticsearch也是在以lucene做索引引擎。但遺憾的是ES并不支持異構存儲，且ES在面臨單個分片數(shù)據(jù)量超大時也會存在瓶頸問題。

感謝各位的閱讀，以上就是“hadoop異構存儲怎么實現(xiàn)”的內(nèi)容了，經(jīng)過本文的學習后，相信大家對hadoop異構存儲怎么實現(xiàn)這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關知識點的文章，歡迎關注！