awk怎么用

這篇文章主要介紹了awk怎么用，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

1. 首先簡(jiǎn)要總結(jié)一些文本處理三劍客：

      grep族：文本過濾工具

      sed：行編輯工具

2. 下面就來看看awk是什么？

   awk現(xiàn)在linux上用的是GNU awk即gawk ，現(xiàn)在centos系統(tǒng)上awk是gawk的一個(gè)符號(hào)鏈接文件。那么awk究竟在centos系統(tǒng)上是用來做什么的呢？awk就是一個(gè)報(bào)告生成器，格式化文本輸出的工具。

3. 學(xué)習(xí)awk對(duì)有什么幫助呢？

   學(xué)習(xí)awk我們可以輕松的對(duì)我們想要處理的文本進(jìn)行查看等，方便我們解決問題。

4. gawk的基本用法：

  gawk - pattern scanning and processing language模式掃描及處理語言

  語法： gawk  [options ] ‘program’ file ...

    詳說其中：

  4.1 [options]:

        -F指明輸入時(shí)的字段分隔符

        -v VAR=VALUE 主要用于實(shí)現(xiàn)自定義變量

  4.2 program:PATTERN{ACTION STATEMENTS}

            語句之間用分號(hào)分隔

            內(nèi)建命令： print，printf

5. 選項(xiàng)中的使用的變量：

  5.1 變量  （注：awk中自己的變量是不能加$符的，跟bash是不一樣的）

      內(nèi)建變量：

          FS:input field seperator 輸入字段分隔符，默認(rèn)為空白字符

          此等同于-F分隔符

          OFS:output field seperator 輸出字段分隔符，默認(rèn)為空白字符

eg：

[root@bucktan ~]# tail -2 /etc/fstab| awk -v OFS=':' '{print $1,$3}'

sysfs:sysfs

proc:proc

[root@bucktan ~]# tail -2 /etc/fstab

sysfs                   /sys                    sysfs   defaults        0 0

proc                    /proc                   proc    defaults        0 0

[root@bucktan ~]# tail -2 /etc/passwd| awk -v FS=':' '{print $1,$3}'

apple 2000

zabbix 495

           RS：input record sepereator指定輸入時(shí)的換行符

           ORS：output record sepereator指定輸出時(shí)的換行符

eg：

[root@bucktan ~]# awk -v RS=' ' -v ORS='##' '{print}' /etc/passwd

root:x:0:0:root:/root:/bin/bash

bin:x:1:1:bin:/bin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin

adm:x:3:4:adm:/var/adm:/sbin/nologin

lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

sync:x:5:0:sync:/sbin:/bin/sync

shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

halt:x:7:0:halt:/sbin:/sbin/halt

mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin

operator:x:11:0:operator:/root:/sbin/nologin

games:x:12:100:games:/usr/games:/sbin/nologin

gopher:x:13:30:gopher:/var/gopher:/sbin/nologin

ftp:x:14:50:FTP##User:/var/ftp:/sbin/nologin

nobody:x:99:99:Nobody:/:/sbin/nologin

dbus:x:81:81:System##message##bus:/:/sbin/nologin

  注意看其中的#號(hào)        

           NF：number of field 統(tǒng)計(jì)每一行字段的數(shù)量

              {print NF}  

              {print $NF}:打印最后一個(gè)字段

              ~]# awk '{print NF}' /etc/passwd

eg：

[root@bucktan ~]# awk -F: '{print $NF}' /etc/passwd

           NR：number of record打印每一行的行號(hào)，但事實(shí)上統(tǒng)計(jì)的是文件的總體行數(shù)         

           FNR：各文件分別計(jì)數(shù)，計(jì)行數(shù)

           FILENAME：當(dāng)前正在處理的文件名

           ARGC：命令行參數(shù)的個(gè)數(shù)

           ARGV：數(shù)組，保存的是命令行所給定的各參數(shù)

                ARGV[0]:第一個(gè)參數(shù)

             。。。。。

eg：

[root@bucktan ~]# awk 'BEGIN{print ARGV[0]}' /etc/passwd /etc/fstab

awk

[root@bucktan ~]# awk 'BEGIN{print ARGV[1]}' /etc/passwd /etc/fstab

/etc/passwd

注：BEGIN的作用是實(shí)現(xiàn)不會(huì)對(duì)每一行打印的結(jié)果。如果沒有BEGIN則每一行都要顯示一個(gè)打印的值

  5.2自定義變量：

        （1）：-v var=value    變量名區(qū)分字符大小寫

        （2）：在program中直接定義

eg：

[root@bucktan ~]# awk -v abc='love you' '{print abc}’ /etc/passwd

另一種實(shí)現(xiàn)：

[root@bucktan ~]# awk 'BEGIN{abc="love you"; print abc} '

love you

       語法： gawk  [options ] ‘program’ file ...

       program:PATTERN{ACTION STATEMENTS}

6. 其中的內(nèi)建命令

  6.1：print（用于{ACTION STATEMENTS}中）

        print iterm1，iterm2，。。。

       要點(diǎn)：（1）：逗號(hào)為分隔符,但在輸出時(shí)顯示的是空白符而非逗號(hào)

            (2) :輸出的各iterm可以是字符串、數(shù)值、當(dāng)前記錄的字段、變量或awk的表達(dá)式

           （3）：如果省略iterm，相當(dāng)于print$0 

eg：      

[root@bucktan ~]# tail -5 /etc/passwd | awk -F: '{print "hehe:"111$1,$3}'

hehe:111tcpdump 72

hehe:111bucktan 500

hehe:111centos 496

hehe:111apple 2000

hehe:111zabbix 495 

[root@bucktan ~]# tail -2 /etc/passwd | awk -F: '{print}'

apple:x:2000:2000::/home/apple:/bin/bash

zabbix:x:495:492:Zabbix Monitoring System:/var/lib/zabbix:/sbin/nologin                            

  6.2 printf命令

         printf - format and print 

      格式化輸出：printf FORMAT iterm1，iterm2，...

      要點(diǎn): （1）：FORMAT：必須要給出

          （2）：不會(huì)自動(dòng)換行，需要顯示給出換行控制符才知道哪行

          （3）：FORMAT中需要分別為后面的每個(gè)iterm指定一個(gè)格式化符號(hào)

        格式符：

         %c：顯示字符的ASCII碼

         %d，%i：顯示十進(jìn)制整數(shù)

         %e，%E:科學(xué)計(jì)數(shù)法數(shù)值顯示

         %g，%G：以科學(xué)計(jì)數(shù)法或浮點(diǎn)形式顯示數(shù)值

         %s：顯示字符串

         %u：無符號(hào)整數(shù)

        %%：顯示%自身

  樣式一              

 [root@bucktan ~]# awk -F: '{printf "%s",$1}' /etc/passwd

rootbindaemonadmlpsyncshutdownhaltmailuucpoperatorgamesgopherftpnobodydbususbmuxdvcsarpcrtkitavahi-autoipdabrtrpcusernfsnobodyhaldaemongdmntpapache

  樣式二

  [root@bucktan ~]# awk -F: '{printf "%s\n",$1}' /etc/passwd

root

bin

daemon

adm

lp

樣式三

[root@bucktan ~]# awk -F: '{printf "username: %s\n",$1}' /etc/passwd

username: root

username: bin

username: daemon

username: adm

username: lp

樣式四

[root@bucktan ~]# awk -F: '{printf "username: %s,  userid: %s\n",$1,$3}' /etc/passwd

username: root,  userid: 0

username: bin,  userid: 1

username: daemon,  userid: 2

username: adm,  userid: 3

username: lp,  userid: 4

username: sync,  userid: 5

username: shutdown,  userid: 6

username: halt,  userid: 7

username: mail,  userid: 8

        修飾符：

        #[.#]:第一個(gè)數(shù)字控制顯示的寬度：第二個(gè)#表示小數(shù)點(diǎn)的精度 

                如%3.1f

        -：左對(duì)齊  ，不加-為默認(rèn)的右對(duì)齊

        +：顯示數(shù)值的符號(hào)

[root@bucktan ~]# awk -F: '{printf "username: %-15s,  userid: %s\n",$1,$3}' /etc/passwd

username: root           ,  userid: 0

username: bin            ,  userid: 1

username: daemon         ,  userid: 2

##后面內(nèi)容省略

7. 操作符

  ###（也是用在執(zhí)行語句之中的，記得要用分號(hào)與print內(nèi)建命令分開）

    算術(shù)操作符：

    x+y ,x-y,x*|/|^|%y

    -x：負(fù)值

    +x：轉(zhuǎn)換為數(shù)值

    字符串操作符：沒有符號(hào)的操作符，字符串連接

    賦值操作符：=，+=，-=，*=，/=，%=,++,--

    比較操作符：>,<,>=,<=,!=,==

    模式匹配符：

         ~：是否匹配

        ！~：是否不匹配

    邏輯操作符：&&，||，！

    函數(shù)調(diào)用：function_name()  ,  

       若要傳遞參數(shù)使用：function_name(argu1，argu2，。。)

    條件表達(dá)式：selector？if-true-expression：if-false-expression

          selector為條件

          if-true-expression：條件為真的表達(dá)式

          if-false-expression：條件為假的表達(dá)式

eg：

[root@bucktan ~]# awk -F: '{$3>=1000?usertype="common user":usertype="sysuser or root";printf "%10s:%-s\n",$1,usertype}' /etc/passwd

      root:sysuser or root

       bin:sysuser or root

    daemon:sysuser or root

       adm:sysuser or root

        lp:sysuser or root

      sync:sysuser or root

     語法： gawk  [options ] ‘program’ file ...

         program:PATTERN{ACTION STATEMENTS}

8. PATTERN

    （1)empty：空模式，處理文本每一行

    （2）：/regular expression/:僅處理能夠被此模式匹配到的行

eg:

[root@bucktan ~]# awk '/^UUID\>/{print}' /etc/fstab

UUID=375e2006-28ec-4d8b-bc90-399b7c0f42f3 /boot                   ext4    defaults        1 2

    （3）：relational expression：關(guān)系表達(dá)式，結(jié)果有“真”有”假“，結(jié)果為”真“才會(huì)被處理;

            "真"：表示結(jié)果為非0值，或者為非空字符串

eg:

[root@bucktan ~]# awk -F: '$3>=1000{print $3}' /etc/passwd

65534

2000

    （4）：line ranges 行范圍

             startline，endline：/pat1/,/pat2

             注:支持直接給出數(shù)字

eg:

[root@bucktan ~]# awk -F: '/^root\>/,/^adm\>/{print $1,$3}' /etc/passwd

root 0

bin 1

daemon 2

adm 3

    （5):BEGIN/END

         BEGIN{}：僅在開始處理文件中的文本之前執(zhí)行一次

         END{}：僅在文本處理完成之后執(zhí)行一次

[root@bucktan ~]# awk -F: 'BEGIN{print "user      id\n================"}{print $1,$3}END{print "end\n-----------"}' /etc/passwd

user      id

================

root 0

bin 1

daemon 2

adm 3

[root@bucktan ~]# awk -F: 'BEGIN{print "user      id\n================"}{printf "%10-s %10-s\n",$1,$3}END{print "end\n-----------"}' /etc/passwd

user      id

================

root       0         

bin        1         

daemon     2         

adm        3     

     語法： gawk  [options ] ‘program’ file ...

         program:PATTERN{ACTION STATEMENTS}

9.常用的action語句（即寫在{ACTION STATEMENTS}中的語句）

    a:Expressions

    b:cotrol statements:if ,while 等

    c:compound statements:組合語句

    d：input statements 輸入語句

    e：output statements輸出語句

  9.1 ：控制語句

       if(condition) {statements}

       if(condition) {statements} else {statements}

       while(condition) {statements

       do {statements} while(condition)

       for(expr1;expr2;expr3) {statements}

       break

       continue

       delete array[index]

       delete array

       exit

       { statements }

10.細(xì)說action語句

  10.1  if -else

         語法: if(condition) statements else [statements]

eg：

[root@bucktan ~]# awk -F: '{if($3>=1000) print $1,$3}' /etc/passwd

nfsnobody 65534

apple 2000

[root@bucktan ~]# awk -F: '{if($3>=1000) {printf "common user: %s\n",$1} else { printf "root or sysuser:%s\n",$1}}' /etc/passwd

root or sysuser:root

root or sysuser:bin

root or sysuser:daemon

root or sysuser:adm

root or sysuser:lp

root or sysuser:sync

  10.2 while 循環(huán)

          語法:while(condition) {statements}

             條件為真進(jìn)入循環(huán)為假退出循環(huán)

      使用場(chǎng)景:對(duì)一行內(nèi)的多個(gè)字段逐一進(jìn)行處理時(shí)使用；對(duì)數(shù)組中各元素逐一處理時(shí)使用

eg：對(duì)/etc/fstab文件中以UUID開頭的行的每一個(gè)字段進(jìn)行計(jì)算有多少個(gè)字符，并打印該字符段和字符數(shù)

[root@bucktan ~]# awk '/^UUID/{i=1;while(i<=NF) {print $i,length($i);i++}}' /etc/fstab

UUID=375e2006-28ec-4d8b-bc90-399b7c0f42f3 41

/boot 5

ext4 4

defaults 8

1 1

2 1

  10.3 do-while (先運(yùn)行一次循環(huán)體，在判斷條件)

        語法：do {statements} while(condition)

        意義：可以至少執(zhí)行一次循環(huán)體

  10.4 for循環(huán)

        語法：for(expr1;expr2;expr3) {statements}

eg:

[root@bucktan ~]# awk '/^UUID/{for(i=1;i<=NF;i++){print $i,length($i)}}' /etc/fstab

UUID=375e2006-28ec-4d8b-bc90-399b7c0f42f3 41

/boot 5

ext4 4

defaults 8

1 1

2 1 

        特殊用法：

          能夠遍歷數(shù)組中的元素

           語法：for （var in array） {for-body}

  10.5 switch語句

        語法:switch(expression) {case VALUE1 or /REGEXP/:statement;case VALUE2 or /REGEXP/:statement;....;default:statement}

         注：其中之一分支匹配到，則執(zhí)行此分支不執(zhí)行其他分支了

  10.6 break和continue

      break [n]：退出n層循環(huán)

      continue：退出當(dāng)前循環(huán)

  10.7 next 提前結(jié)束對(duì)本行的處理而直接進(jìn)入下一行

eg:

[root@bucktan ~]# awk -F: '{if($3%2!=0) next ;print $1,$3}' /etc/passwd

root 0

daemon 2

lp 4

shutdown 6

  10.7 array

      關(guān)聯(lián)數(shù)組：arry[index-expression]

        index-expression:

          (1):可使用任意字符，字符串要使用雙引號(hào)

         （2）：如果某數(shù)組元素事先不存在，在引用時(shí)，awk會(huì)自動(dòng)創(chuàng)建此元素，并將其值初始化為“空串”

         若要判斷數(shù)組中是否存在某元素，要使用“index in array”格式進(jìn)行

11：函數(shù)

  11.1：內(nèi)置函數(shù)

       數(shù)值處理：

           rand():：返回0和1之間一個(gè)隨機(jī)數(shù)；

      字符串處理：

          length([s])：返回指定字符串的長度；

          sub(r,s,[t])：以r表示的模式來查找t所表示的字符中的匹配的內(nèi)容，并將其第一次出現(xiàn)替換為s所表示的內(nèi)容；

          gsub(r,s,[t])：以r表示的模式來查找t所表示的字符中的匹配的內(nèi)容，并將其所有出現(xiàn)均替換為s所表示的內(nèi)容；

          split(s,a[,r])：以r為分隔符切割字符s，并將切割后的結(jié)果保存至a所表示的數(shù)組中；

~]# netstat -tan | awk '/^tcp\>/{split($5,ip,":");count[ip[1]]++}END{for (i in count) {print i,count[i]}}'

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“awk怎么用”這篇文章對(duì)大家有幫助，同時(shí)也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，更多相關(guān)知識(shí)等著你來學(xué)習(xí)!