Sqoop架構(gòu)和常用命令是什么

這篇文章將為大家詳細(xì)講解有關(guān)Sqoop架構(gòu)和常用命令是什么，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

Sqoop簡介
Sqoop是一個用來將Hadoop和關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)相互轉(zhuǎn)移的工具，可以將一個關(guān)系型數(shù)據(jù)庫（例如 ： MySQL ,Oracle 等）中的數(shù)據(jù)導(dǎo)入到Hadoop的HDFS中，也可以將HDFS的數(shù)據(jù)導(dǎo)入到關(guān)系型數(shù)據(jù)庫中。

Sqoop架構(gòu)圖:


常用命令介紹
MySQL=> Hive (MySQL數(shù)據(jù)導(dǎo)入進(jìn)Hive)
1.將指定的mysql表遷移到Hive中
sqoop import --hive-import --connect jdbc:mysql://192.168.1.1/dbname --table ${tablename} --username ${username} --password ${password} --hive-database${dbname} -m 1 --as-parquetfile

例如:
sqoop import --hive-import --connect jdbc:mysql://172.16.16.15/test --table person --username mdba --password dsf0723 --hive-database test -m 1 --as-parquetfile

2.將mysql指定庫中的所有表遷移到Hive中
sqoop import-all-tables --hive-import --connect jdbc:mysql://192.168.1.1/dbname --username ${username} --password ${password} --hive-database ${dbname} -m 1  --hive-database anhui --as-parquetfile
-Oracle => Hbase  將上述命令中的jdbc:mysql:改為jdbc:oracle:thin
例如:
sqoop import --hive-import --connect jdbc:oracle:thin:@172.16.16.16:1523:orcl --table test --username cq2017 --password cq2017 --hive-database chongqing_2017 --hive-table test_20170505 -m 1 --as-parquetfile


從Hive(HDFS)=>MySQL  (從Hive導(dǎo)入進(jìn)MySQL)
sqoop export --connect jdbc:mysql://192.168.1.1:3306/dbname --username root
--password 123 --export-dir ‘hive表hdfs文件文件存放路徑’ --table mysqltablename  -m 1 --fields-termianted-by '\t'
--MysqlTableName 必須是提前創(chuàng)建好的，且數(shù)據(jù)字段和字段類型,分隔符的設(shè)定與Hive中一致
--Hive中沒有特殊的分隔符要求的話，默認(rèn)分隔符是/u0001 不用加命令項 --fields-termianted-by ‘\t’ 
-- hive表hdfs文件文件存放路徑  /user/hive/warehouse/庫名/表名


其他命令:
第一類：數(shù)據(jù)庫中的數(shù)據(jù)導(dǎo)入到HDFS上
sqoop import --connect jdbc:mysql://lishiyu06.10:3306/web_log --username root --password 123
--table user --columns ‘id, name, incoam, expenses‘  指定mysql數(shù)據(jù)庫表中的某幾個字段的數(shù)據(jù)遷移
這里的列名 嚴(yán)格區(qū)分大小寫

指定輸出路徑、指定數(shù)據(jù)分隔符
sqoop import --connect jdbc:mysql://lishiyu06:3306/web_log --username root --password 123  
--table user --target-dir '/sqoop/td' --fields-terminated-by '\t'

指定Map數(shù)量 -m 
sqoop import --connect jdbc:mysql://lishiyu06.10:3306/web_log --username root --password 123  
--table user --target-dir '/sqoop/td1' --fields-terminated-by '\t' -m 2


增加where條件, 注意：條件必須用引號引起來====》用于追加導(dǎo)入
sqoop import --connect jdbc:mysql://lishiyu06.10:3306/web_log --username root --password 123  
--table user --where 'id>3' --target-dir '/sqoop/td2' 


增加query語句(使用 \ 將語句換行) 
sqoop import --connect jdbc:mysql://lishiyu06.10:3306/web_log --username root --password 123 \
--query 'SELECT * FROM user where id > 2 AND $CONDITIONS' --split-by user.id --target-dir '/sqoop/td3'

注意：如果使用--query這個命令的時候，需要注意的是where后面的參數(shù)，AND $CONDITIONS這個參數(shù)必須加上，
而且存在單引號與雙引號的區(qū)別，如果--query后面使用的是雙引號，那么需要在$CONDITIONS前加上\即\$CONDITIONS
如果設(shè)置map數(shù)量為1個時即-m  1 ，不用加上--split-by ${tablename.column}

關(guān)于“Sqoop架構(gòu)和常用命令是什么”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，使各位可以學(xué)到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。