shell怎么實現(xiàn)兩個表的join操作

這篇文章主要講解了“shell怎么實現(xiàn)兩個表的join操作”，文中的講解內(nèi)容簡單清晰，易于學(xué)習(xí)與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“shell怎么實現(xiàn)兩個表的join操作”吧！

shell 如何實現(xiàn)兩個表的join操作

今天研究的一個問題是：在Shell 腳本中如何實現(xiàn)兩個表的 join 操作，這里說的兩個表示的其實是 兩個文件，但是文件是列表的形式，有固定的分割符號，即就相當于hive中一個非分區(qū)表的文件。
表的操作當然是在數(shù)據(jù)庫中操作是最好的： 比如有: table1 table2，我們需要根據(jù) column1 主鍵關(guān)聯(lián)

select * from table1 a table2 b where a.column1 = b.column1

搞定。如果需要復(fù)雜一點的，可以用 join 操作實現(xiàn)。

但是如果你手上剛好有兩個文件呢？一種辦法是導(dǎo)入數(shù)據(jù)庫，這樣太慢了，下面用shell命令實現(xiàn)。

數(shù)據(jù)樣例

• 假設(shè) table1.txt 文件的樣例數(shù)據(jù)如下：

daacdaaedyWcMIV=        http://mp.weixin.qq.com/s?__biz=daacdaaedyWcMIV=&mid=200664912&idx=1&sn=c3fbe92847655211faf109c6856f4c0a
daacddeMdcedauY=        http://mp.weixin.qq.com/s?__biz=daacddeMdcedauY=&mid=200435227&idx=1&sn=a8802c19dacf0b2db6462eaec09c0b19
daacddeVdeaudaY=        http://mp.weixin.qq.com/s?__biz=daacddeVdeaudaY=&mid=200668153&idx=1&sn=869b00b38caa70de6c32848f396b8aa6
daacdduydVWyeMM=        http://mp.weixin.qq.com/s?__biz=daacdduydVWyeMM=&mid=200659749&idx=1&sn=6fe9107dd69dd3b5de32bf6e5597a408
daacdeMddMMyVWw=        http://mp.weixin.qq.com/s?__biz=daacdeMddMMyVWw=&mid=200912280&idx=7&sn=a70041d29f6b4ad06554ea97291d06bc
daacdMcadMMyduV=        http://mp.weixin.qq.com/s?__biz=daacdMcadMMyduV=&mid=200654058&idx=3&sn=a6e57a52b1bd9c38f392825da34b499d
daacdudVdIecyMY=        http://mp.weixin.qq.com/s?__biz=daacdudVdIecyMY=&mid=200382730&idx=4&sn=aeed567f2ad4ee595846623f7e2c8fbf
daacduyudeVeWdv=        http://mp.weixin.qq.com/s?__biz=daacduyudeVeWdv=&mid=200468183&idx=1&sn=df3d20eef948571d3120b74416b9b010
daacdycIdWdyaIV=        http://mp.weixin.qq.com/s?__biz=daacdycIdWdyaIV=&mid=200839908&idx=8&sn=40eb71efc2e70a779af0fc782ac78c47
daacdyIydayccyV=        http://mp.weixin.qq.com/s?__biz=daacdyIydayccyV=&mid=200303209&idx=1&sn=63fbd789967812b16ff71b3667d36095```

• table2.txt 文件的樣例數(shù)據(jù)如下：

MjM5MDQ3MDIyMg==
MjM5MDU2OTI4OQ==
MjM5MDc5MTk2NQ==
MjM5MDg5MDE2Nw==
MjM5MDk3NDQ4Mw==
MjM5MTA4MTEyNQ==
MjM5MTQwMzcwMA==
MjM5MjEwMjkyMA==
MjM5MjM2ODU5Nw==
MjM5MjMxOTYxMw==

下面的任務(wù)就是要找出table1.txt中所有主鍵存在于table2.txt中的記錄，文件的主鍵都是第一列

shell命令

awk -F'\t' ' {if (ARGIND==1) ccc[$1]} {if (ARGIND>1 && ($1 in ccc)) print $0} ' test2.txt test1.txt > test.txt

命令解釋： awk -F 表示字段分割符號
接下來是命令，命令必須用單引號包圍，雙引號不行。
ARGIND == 1表示讀取到第一個文件，就把第一列存入數(shù)組ccc
當讀到其他文件，這里就是第二個文件，就判斷它的第一列是否在數(shù)組中，在就輸出。

感謝各位的閱讀，以上就是“shell怎么實現(xiàn)兩個表的join操作”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對shell怎么實現(xiàn)兩個表的join操作這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關(guān)知識點的文章，歡迎關(guān)注！