hbase集群間如何實(shí)現(xiàn)數(shù)據(jù)遷移

小編給大家分享一下hbase集群間如何實(shí)現(xiàn)數(shù)據(jù)遷移，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

HBase遷移數(shù)據(jù)
一、需要在hbase集群停掉的情況下遷移

步驟：
(1)執(zhí)行Hadoop distcp -f filelist "hdfs://new cluster ip:9000/hbasetest"

(2)在new cluster執(zhí)行./hbase org.jruby.Main add_table.rb /hbase/table20111222，將拷貝來的表加入到.MEAT.中（會出現(xiàn)region的數(shù)目不一致的問題，這個(gè)需要重啟hase才能解決）

說明：(1)filelist為hdfs上的列表文件，內(nèi)容如下：

/hbase/table20111222

/hbase/table20120131

(2)如果兩個(gè)集群的hadoop版本不一致，需要在new cluster上執(zhí)行hadoop distcp，否則會出現(xiàn)讀寫異常；

二、在集群運(yùn)行的時(shí)候進(jìn)行數(shù)據(jù)遷移

1、Replication：
這個(gè)是動態(tài)的備份（可以理解為實(shí)時(shí)備份）

步驟：
(1)在old cluster將需要遷移的表屬性進(jìn)行修改：

disable 'your_table'

alter 'your_table', {NAME => 'family_name', REPLICATION_SCOPE => '1'}

enable 'your_table'

(2)打開new cluster集群的replication，修改hbase-site.xml

<property>

<name>hbase.replication</name>

<value>true</value>

</property>

(3)添加peer，在new cluster的hbase shell中執(zhí)行：add_peer '1','old cluster ip:2181:/hbase'，啟動replication，執(zhí)行start_replication

說明：需要兩個(gè)集群的hadoop版本一致，否則出現(xiàn)讀寫錯(cuò)誤

2、CopyTable：
可以在本集群中拷貝一張表，也可以將表拷貝到其他的集群中。

命令：./hbase org.apache.hadoop.hbase.mapreduce.CopyTable --peer.adr=new cluster ip:2181:/hbase zy_test

說明：(1)拷貝完成，不需要重啟機(jī)器，在new cluster中就可以看到該表;

(2)穩(wěn)定性還需要考慮，測試過程中遇到一個(gè)問題，拷貝過程中始終都停留在這里L(fēng)ookedup root region location, 查看日志沒有什么錯(cuò)誤和相關(guān)的信息。


3、Export and Import

步驟：
(1)在old cluster上執(zhí)行：./hbase org.apache.hadoop.hbase.mapreduce.Export test hdfs://new cluster ip:9000/zhuangyang/test

(2)在new cluster上執(zhí)行：./hbase org.apache.hadoop.hbase.mapreduce.Import test hdfs://new cluster ip:9000/zhuangyang/test

說明：
(1)一定要寫全路徑，不能寫相對路勁;

(2)在import前，需要將表事先在new cluster中創(chuàng)建好.

以上都是在old cluster和new cluster網(wǎng)絡(luò)相通的情況下實(shí)現(xiàn)數(shù)據(jù)遷移的辦法。



HBase遷移數(shù)據(jù)方案二（兩個(gè)集群不能通信）

兩個(gè)可以直接通信的集群之間很容易拷貝數(shù)據(jù)從而遷移HBase數(shù)據(jù)。

但是如果兩個(gè)集群在不同的網(wǎng)絡(luò)，沒法通信呢？

今天測試了一個(gè)方案：

把某個(gè)表(table1)從集群1遷移到集群2（兩個(gè)集群互相看不見），步驟如下

1、拷貝集群1的表文件到本地磁盤 :

/app/cloud/Hadoop/bin/hadoop fs -copyToLocal /hbase/table1 /data0/hbase-backup/table1  

2、對于文件操作，很簡單吧，隨便你怎么去拷貝來拷貝去

3、如果集群2中也有對應(yīng)的表文件，那么刪除掉，然后拷貝

/app/cloud/hadoop/bin/hadoop fs -rmr /hbase/table1   
/app/cloud/hadoop/bin/hadoop fs -copyFromLocal /data0/hbase-backup/table1 /hbase/table1  

4、重置該表在.META.表中的分區(qū)信息
bin/hbase org.jruby.Main bin/add_table.rb /hbase/table1  
另外：
1、如果表的數(shù)據(jù)量過大呢？ 那么按照該表在HDFS中的文件夾數(shù)據(jù)，分批拷貝。
2、如果兩個(gè)集群可以互相通信呢？采用第一種方案即可

以上是“hbase集群間如何實(shí)現(xiàn)數(shù)據(jù)遷移”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識，歡迎關(guān)注億速云行業(yè)資訊頻道！