Sqoop1如何導(dǎo)入導(dǎo)出

這篇文章主要介紹Sqoop1如何導(dǎo)入導(dǎo)出，文中介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們一定要看完！

 》Sqoop1 和 Sqoop2 的區(qū)別 

Sqoop1 由 Client 端直接接入 Hadoop，任務(wù)通過(guò)解析生成對(duì)應(yīng)的 MR 執(zhí)行

Sqoop1 僅有一個(gè)客戶端，架構(gòu)簡(jiǎn)單明了，部署即用，使用門(mén)檻比較低，但是耦合性強(qiáng)，用戶密碼暴露不安全

Sqoop2 服務(wù)端部署，運(yùn)行，提供 Cli、rest api、webui 等入口，Connector 集中管理，RDBMS控制賬戶更安全，但是 Sqoop2 僅負(fù)責(zé)數(shù)據(jù)的讀寫(xiě)操作，架構(gòu)相對(duì)復(fù)雜

 》Sqoop1導(dǎo)入（MySQL 導(dǎo)入到 HDFS）

注意：首先要啟動(dòng)MySQL、ZK、Hadoop

# demo1：table

# sqoop1 導(dǎo)入命令 mysql=>hdfs
bin/sqoop import 
# mysql驅(qū)動(dòng)類
--driver com.mysql.cj.jdbc.Driver
# 連接字符串 
--connect jdbc:mysql://192.168.56.1/dbName?serverTimezone=GMT%2B8
# 從哪張表導(dǎo)數(shù)據(jù)
--table tbName
# mysql賬號(hào) 
--username root
# mysql 密碼 
--password 123456 
--verbose 
# 目標(biāo)目錄（HDFS）
--target-dir=/sqoop/a_users

# demo2：query

# 導(dǎo)入數(shù)據(jù)
# --query和--table是互斥的;
bin/sqoop import 
--connect jdbc:mysql://192.168.56.1/dbName?serverTimezone=GMT%2B8
--username root 
--password 123456 
--verbose 
# 獲取記錄條數(shù)
--fetch-size 30 
# SQL 語(yǔ)句
# $CONDITIONS sql語(yǔ)句執(zhí)行的條件,這個(gè)條件由sqoop自己控制
--query 'select * from a_users where $CONDITIONS' 
# 按照 id 切分
#--split-by;拆分的這一列不能重復(fù)，一般是主鍵
--split-by id  
# 目標(biāo)目錄（HDFS）
--target-dir=/sqoop/a_users

# demo3：將sqoop腳本封裝在文件中

# 新建一個(gè)文件;(一行一個(gè),使用#注釋);文件名隨便寫(xiě)
import
--connect jdbc:mysql://192.168.56.1/dbName?serverTimezone=GMT%2B8
--username root
--password 123456
--verbose
--fetch-size 30
--query 'select * from a_users where $CONDITIONS'
--split-by id
--target-dir=/sqoop/a_users

執(zhí)行Sqoop腳本文件的命令

bin/sqoop --options-file /root/fileName.txt

以上是“Sqoop1如何導(dǎo)入導(dǎo)出”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對(duì)大家有幫助，更多相關(guān)知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！