Hbase 無(wú)法創(chuàng)建帶有snappy壓縮屬性的表

一、要求

在Hbase 數(shù)據(jù)庫(kù)中創(chuàng)建帶有snappy壓縮屬性的表。

二、登陸到hbase 數(shù)據(jù)庫(kù)執(zhí)行建表操作

hbase(main):016:0> create 'dcs:t_dev_history',{NAME => 'f', DATA_BLOCK_ENCODING => 'PREFIX_TREE', BLOOMFILTER => 'ROW', REPLICATION_SCOPE => '0', VERSIONS => '1', COMPRESSION => 'SNAPPY', MIN_VERSIONS => '0', TTL => '2678400', KEEP_DELETED_CELLS => 'FALSE', BLOCKSIZE => '65536', IN_MEMORY => 'false', BLOCKCACHE => 'true'}

channel 6: open failed: administratively prohibited: open failed

之前創(chuàng)建的表都沒(méi)有使用snappy壓縮，懷疑是snappy沒(méi)有安裝

三、檢查所有hbase節(jié)點(diǎn)

Master1節(jié)點(diǎn)snappy安裝正確

[hadoop@hadoop-test-Master1 lib]$ cd $HBASE_HOME/lib/native/Linux-amd64-64/

[hadoop@hadoop-test-Master1 Linux-amd64-64]$ ls

libhadoop.a         libhadoopsnappy.so.0      libhadoop.so.1.0.0  libhdfs.so        libpython2.7.so      libsnappy.so.1

libhadooppipes.a    libhadoopsnappy.so.0.0.1  libhadooputils.a    libhdfs.so.0.0.0  libpython2.7.so.1.0  libsnappy.so.1.2.0

libhadoopsnappy.so  libhadoop.so              libhdfs.a           libjvm.so         libsnappy.so

Master2節(jié)點(diǎn)snappy安裝錯(cuò)誤，猜測(cè)當(dāng)時(shí)安裝的時(shí)候scp的路徑錯(cuò)誤

[hadoop@hadoop-test-Master2 ~]$ cd /var/lib/hbase/lib/native/ --發(fā)現(xiàn)沒(méi)有Linux-amd64-64 目錄

[hadoop@hadoop-test-Master2 native]$ ls

libhadoop.a         libhadoopsnappy.so.0      libhadoop.so.1.0.0  libhdfs.so        libpython2.7.so      libsnappy.so.1

libhadooppipes.a    libhadoopsnappy.so.0.0.1  libhadooputils.a    libhdfs.so.0.0.0  libpython2.7.so.1.0  libsnappy.so.1.2.0

libhadoopsnappy.so  libhadoop.so              libhdfs.a           libjvm.so  

       libsnappy.so        

四、處理過(guò)程

1.把文件傳輸?shù)街付ü?jié)點(diǎn)

 scp -rp Linux-amd64-64 hadoop-test-Master2:/var/lib/hbase/lib/native/

 scp -rp Linux-amd64-64 hadoop-test-Node1:/var/lib/hbase/lib/native/

2.然后重啟hbase集群

./stop-hbase.sh 

./start-hbase.sh 

3.重新創(chuàng)建表成功。

五、小結(jié)

1. 作為一名dba，做完相關(guān)的操作一定要驗(yàn)證，一定要驗(yàn)證，要有嚴(yán)謹(jǐn)?shù)膽B(tài)度。

2. 遇到很多問(wèn)題根本不是技術(shù)問(wèn)題，而是有些人從來(lái)都不用心，得過(guò)且過(guò)。

3. 壓縮在hadoop和hbase中是一個(gè)很好的節(jié)約空間的方式，值得提倡，尤其是在經(jīng)費(fèi)緊張的情況下。

4. snappy需要單獨(dú)安裝，并不是安裝hadoop自帶的，需要注意。