awk該怎么用

這篇文章跟大家分析一下“awk該怎么用”。內(nèi)容詳細(xì)易懂，對(duì)“awk該怎么用”感興趣的朋友可以跟著小編的思路慢慢深入來(lái)閱讀一下，希望閱讀后能夠?qū)Υ蠹矣兴鶐椭Ｏ旅娓【幰黄鹕钊雽W(xué)習(xí)“awk該怎么用”的知識(shí)吧。

awk   打印文本內(nèi)容

awk:           Aho, Kernighan and Weinberger

報(bào)告生成器，以特定的條件查找文本內(nèi)容，再以特定的格式顯示出來(lái)

awk命令的格式：

# awk [option] 'script' file1 file2 ...

# awk [option] 'PATTERN{action}' file1 file2 ...

PATTERN：

用文本字符與正則表達(dá)式元字符描述的條件,可以省略不寫(xiě)

action：

print

printf 指定輸出項(xiàng)的格式；格式必須寫(xiě)

option選項(xiàng)：

-F指定文本分割符

awk處理文本機(jī)制：

awk將符合PATTERN的文本逐行取出，并按照指定的分割符(默認(rèn)為空白,

通過(guò)-F選項(xiàng)可以指定分割符)進(jìn)行分割，然后將分割后的每段按照特定的格式輸出 

awk的輸出：

一、print

print的使用格式：

print item1,item2,....

注意：

1、各項(xiàng)目間使用逗號(hào)分隔開(kāi)，而輸出時(shí)以空白字符作為分隔

2、輸出的item可以為字符串、數(shù)值、當(dāng)前的記錄的字段($1)、變量或者awk的表達(dá)式；數(shù)值會(huì)先轉(zhuǎn)換成字符串，然后輸出

3、print命令后面的item可以省略，此時(shí)其功能相當(dāng)于print $0($0代表未分割的整行文本內(nèi)容),因此,如果想輸出空白行，則需要使用print "";

以空白分割，顯示文本中的第1段及第2段內(nèi)容

# awk '{print $1,$2}' test.txt 

this is

[root@shell ~]# df -hT | sed '1d' | awk '{print "Disk name: ", $1,"Mount Point: ", $7, "Total Size: ", $3, "Free size ", $5}'

示例：

輸出3行內(nèi)容

# awk 'BEGIN{print "line one\nline two\nline three"}'

line one

line two

line three

輸出/etc/passwd中的用戶名及其uid

# awk -F: '{print $1,$3}' /etc/passwd 

awk變量

1、awk內(nèi)置變量之記錄變量

FS： 指定讀取文本時(shí)，所使用的行分隔符,默認(rèn)為空白字符；相當(dāng)于awk的-F選項(xiàng) 

OFS：指定輸出的分隔符，默認(rèn)為空白字符；

[root@localhost ~]# head -n 1 /etc/passwd | awk -F: '{print $1,$7}'

root /bin/bash

[root@localhost ~]# 

[root@localhost ~]# head -n 1 /etc/passwd | awk 'BEGIN{FS=":"}{print $1,$7}'

root /bin/bash

[root@localhost ~]# head -n 1 /etc/passwd | awk -F: '{print $1,$7}'

root /bin/bash

[root@localhost ~]# head -n 1 /etc/passwd | awk -F: 'BEGIN{OFS="---"}{print $1,$7}'

root---/bin/bash

[root@localhost ~]# 

RS： 指定讀取文本時(shí)，所使用的換行符(指定以什么字符作為換行符)；默認(rèn)為換行符

ORS：指定輸出時(shí)所使用的行分隔符

2、awk內(nèi)置變量之?dāng)?shù)據(jù)變量

NR：記錄awk所處理的文本的行數(shù)，如果有多個(gè)文件，所有文件統(tǒng)一進(jìn)行計(jì)數(shù)

[root@localhost ~]# awk '{print "第",NR,"行內(nèi)容：",$0}' /etc/hosts /etc/issue

第 1 行內(nèi)容： 127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

第 2 行內(nèi)容： ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

第 3 行內(nèi)容： CentOS release 6.6 (Final)

第 4 行內(nèi)容： Kernel \r on an \m

第 5 行內(nèi)容：

注意：

print在顯示變量值時(shí)，不需要使用$

FNR：記錄awk正在處理的文件的行數(shù),如果有多個(gè)文件，每個(gè)文件分別進(jìn)行計(jì)數(shù)

[root@localhost ~]# awk '{print "第",FNR,"行內(nèi)容：",$0}' /etc/hosts /etc/issue

第 1 行內(nèi)容： 127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

第 2 行內(nèi)容： ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

第 1 行內(nèi)容： CentOS release 6.6 (Final)

第 2 行內(nèi)容： Kernel \r on an \m

第 3 行內(nèi)容：

NF：記錄awk正在處理的當(dāng)前行被分隔成了幾個(gè)字段

# cat test.txt 

this is a test.

# awk '{print NF}' test.txt 

4

# awk '{print $NF}' test.txt 

test.

[root@localhost ~]# awk -F: '{print "Number of line: ", NF}' /etc/passwd

[root@shell ~]# awk -F. '{print "Number of Line: ", NF}' /etc/hosts

[root@shell ~]# awk 'BEGIN{FS="."}{print "Number of Line: ", NF}' /etc/hosts

Number of Line:  6

Number of Line:  3

Number of Line:  6

3、用戶自定義的變量

awk允許用戶自定義變量，變量名稱(chēng)不能以數(shù)字開(kāi)頭，且區(qū)分大小寫(xiě)

示例：

方法1：使用-v選項(xiàng)

[root@localhost ~]# head -n 3 /etc/passwd | awk -v test="hello" -F: '{print test, $1}'

hello root

hello bin

hello daemon

方法2：在BEGIN{}模式中定義變量

[root@localhost ~]# head -n 3 /etc/passwd | awk -F: 'BEGIN{test="hello"}{print test, $1}'

hello root

hello bin

hello daemon

[root@localhost ~]# 

二、printf，格式化輸出內(nèi)容

格式：

printf format,item1,item2,...

要點(diǎn)：

1、printf輸出時(shí)要指定格式format

2、format用于指定后面的每個(gè)item輸出的格式

3、printf語(yǔ)句不會(huì)自動(dòng)打印換行符\n 

format：

%c：顯示單個(gè)字符

%d,%i：十進(jìn)制整數(shù)

%e,%E：科學(xué)計(jì)數(shù)法顯示數(shù)值

%f：顯示浮點(diǎn)數(shù)

%g,%G：以科學(xué)計(jì)數(shù)法的格式或浮點(diǎn)數(shù)的格式顯示數(shù)值

%s：顯示字符串

%u：無(wú)符號(hào)整數(shù)

%%：顯示%自身

修飾符：

N：顯示寬度，N為數(shù)字

-：左對(duì)齊，默認(rèn)為右對(duì)齊

+：顯示數(shù)值符號(hào)

示例： 

[root@localhost ~]# head -n 3 /etc/passwd | awk -F: '{printf "%-10s%-8s%-20s\n", $1,$6,$7}'

root      /root   /bin/bash           

bin       /bin    /sbin/nologin       

daemon    /sbin   /sbin/nologin   

[root@shell ~]# df -hT | sed '1d' | awk '{printf "%-15s%-10s\n", $1,$7}'

/dev/vda2      /         

tmpfs          /dev/shm  

/dev/vda1      /boot     

[root@shell ~]# 

[root@shell ~]# awk -F: '{printf "%-15s%-10d%-25s%-15s\n",$1,$3,$6,$7}' /etc/passwd

root           0         /root                    /bin/bash      

bin            1         /bin                     /sbin/nologin  

daemon         2         /sbin                    /sbin/nologin  

adm            3         /var/adm                 /sbin/nologin  

lp             4         /var/spool/lpd           /sbin/nologin  

[root@node2 ~]# df -hT | sed '1d' | awk '{printf "%-10s%-10s%-12s%-10s%-15s%-6s%-8s%-4s\n","DiskName:", $1, "MountPoint:", $7, "TotalSize:", $3, "Usage:", $6}'

DiskName: /dev/sda3 MountPoint: /         TotalSize:     77G   Usage:  6%  

DiskName: tmpfs     MountPoint: /dev/shm  TotalSize:     491M  Usage:  0%  

DiskName: /dev/sda1 MountPoint: /boot     TotalSize:     190M  Usage:  15% 

# awk [option] 'PATTERN{action}' file1 file2 ...

action:

print 

printf 

options: 

-F 

-v 

PATTERN表示方法：

1、正則表達(dá)式，格式為/regex/

以冒號(hào)為分隔符，顯示/etc/passwd以r開(kāi)頭的行的第1段

# awk -F: '/^r/{print $1}' /etc/passwd

root

rpc

rtkit

rpcuser

[root@localhost ~]# awk '/^(r|s)/{print $0}' /etc/passwd

[root@localhost ~]# awk '/^[rs]/{print $0}' /etc/passwd

[root@localhost ~]# ls -l /tmp/ | awk '/^d/{print $9}'

[root@localhost ~]# netstat -antp | awk '/^tcp/{print $0}'

[root@localhost ~]# netstat -antp | sed '1,2d'

2、表達(dá)式，由下述操作符組成的表達(dá)式

awk的操作符

1、算術(shù)操作符

-x負(fù)值

+x轉(zhuǎn)換為數(shù)值，正值

x^y,x**y  次方2^3

x*y

x/y

x+y

x-y

x%y

2、字符串操作符

+：實(shí)現(xiàn)字符串連接"ab"+"cd"    abcd"ab"+"12"ab12

3、賦值操作符

=

+=   a+=b  a=a+b   a+=2a=a+2

-=

*=

/=

%=

^=x ^= y     x^y       

**=

++x++x=x+1

--

4、比較操作符

x < y

x <= y

x > y

x >= y

x == y

x != y

x ~ y：x為字符串,y為模式，如果x可以被模式匹配則為真，否則為假"abc" ~ ^a 

x !~ y

5、邏輯關(guān)系符

&&

||

顯示uid大于等于500的用戶名及uid 

# awk -F: '$3>=500{print $1,$3}' /etc/passwd

nfsnobody 65534

wjc 500

顯示默認(rèn)shell為/bin/bash的用戶名及shell名稱(chēng)

# awk -F: '$7=="/bin/bash"{print $1,$7}' /etc/passwd

或

# awk -F: '$7 ~ "bash$"{print $1,$7}' /etc/passwd

root /bin/bash

mysql /bin/bash

wjc /bin/bash

[root@node2 ~]# netstat -antp | awk '$6=="ESTABLISHED"{print $0}'

tcp        0     52 192.168.87.102:22           192.168.87.1:49541          ESTABLISHED 1940/sshd           

tcp        0      0 192.168.87.102:22           192.168.87.1:49650          ESTABLISHED 2135/sshd           

[root@node2 ~]# 

[root@localhost ~]# df -hT | awk '+$6>10{print $1,$NF}'

/dev/sda1 /boot

/dev/sr0 /mnt

3、指定范圍，格式為pattern1,pattern2

以冒號(hào)為分隔符，顯示uid=0到最后一個(gè)字段為nologin結(jié)尾中間所有行的用戶名，uid及shell

# awk -F: '$3==0,$7 ~ "nologin$"{print $1,$3,$7}' /etc/passwd

root 0 /bin/bash

bin 1 /sbin/nologin

格式化輸出樣例

# awk -F: '$3==0,$7 ~ "nologin$"{printf "%-10s%-10s%-20s\n",$1,$3,$7}' /etc/passwd

root      0         /bin/bash           

bin       1         /sbin/nologin   

4、BEGIN/END，特殊模式

BEGIN表示awk進(jìn)行處理前執(zhí)行一次操作

END表示awk處理完最后一行結(jié)束前執(zhí)行一次操作

使用BEGIN打印表頭

# awk -F: 'BEGIN{printf "%-10s%-10s%-20s\n","Username","Uid","Shell"}$3==0,$7 ~ "nologin$"{printf "%-10s%-10s%-10s\n",$1,$3,$7}' /etc/passwd

Username  Uid       Shell               

root      0         /bin/bash 

bin       1         /sbin/nologin

使用END打印表尾

# awk -F: 'BEGIN{printf "%-10s%-10s%-20s\n","Username","Uid","Shell"}$3==0,$7 ~ "nologin$"{printf "%-10s%-10s%-10s\n",$1,$3,$7}END{print "END OF File..."}' /etc/passwd

Username  Uid       Shell               

root      0         /bin/bash 

bin       1         /sbin/nologin

END OF File...

#　awk [option] 'PATTERN{action}' file1 file2 ... 

邏輯控制語(yǔ)句

1、if...else 

格式：

if(條件) {語(yǔ)句; 語(yǔ)句} else {語(yǔ)句1; 語(yǔ)句2}

如果statement只有一條語(yǔ)句，{}可以不寫(xiě)

[root@localhost ~]# awk -F: '{if($3==0){print $1,"is administrator."}}' /etc/passwd

以冒號(hào)為分隔符，判斷第1個(gè)字段，如果為root，則顯示用戶名 Admin,否則顯示用戶名 Common User

# awk -F: '{if ($1=="root") print $1,"Admin";else print $1,"Common User"}' /etc/passwd

root Admin

bin Common User

daemon Common User

adm Common User

lp Common User

sync Common User

shutdown Common User

格式化輸出 

# awk -F: '{if ($1=="root") printf "%-15s: %-15s\n",$1,"Admin";else printf "%-15s: %-15s\n",$1,"Common User"}' /etc/passwd

root           : Admin          

bin            : Common User    

daemon         : Common User    

adm            : Common User    

lp             : Common User    

sync           : Common User    

shutdown       : Common User    

halt           : Common User    

統(tǒng)計(jì)系統(tǒng)用戶個(gè)數(shù)

[root@localhost ~]# awk -F: '{if($3>0 && $3<500){count++;print $1}}END{print count}' /etc/passwd

[root@shell ~]# awk -v count=0 -F: '{if($3<=500){print $1;count++}}END{print "系統(tǒng)用戶數(shù)量：",count}' /etc/passwd

[root@shell ~]# awk -F: 'BEGIN{count=0}{if($3<=500){print $1;count++}}END{print "系統(tǒng)用戶數(shù)量：",count}' /etc/passwd

統(tǒng)計(jì)uid大于50的用戶個(gè)數(shù)

# awk -F: -v sum=0 '{if ($3>50) sum++}END{print "The number of user: ",sum}' /etc/passwd

The number of user:  16

取出磁盤(pán)使用率大于10%的

# df -h | sed '1d' | awk '{if (+$5>10) {print $0}}'

/dev/sda1             194M   26M  158M  15% /boot

/dev/sr0              2.9G  2.9G     0 100% /mnt

[root@localhost ~]# awk -F: '{if($3==0){print $1}else{print $7}}' /etc/passwd

[root@localhost ~]# awk -F: '{if($3==0){count++}else{i++}}END{print "管理用戶個(gè)數(shù)：",count,"普通用戶個(gè)數(shù)：",i}' /etc/passwd

[root@localhost ~]# awk -F: '/bash$/ || /nologin$/{if($7=="/bin/bash"){i++} else{j++}}END{print "bash用戶數(shù)量：",i, "nologin用戶數(shù)量：",j}' /etc/passwd

bash用戶數(shù)量： 38 nologin用戶數(shù)量： 28

2、while

格式：

while(條件) {語(yǔ)句１;語(yǔ)句2;.........}

以冒號(hào)為分隔符，判斷每一行的每一個(gè)字段的長(zhǎng)度如果大于4，則顯示之

# awk -F: '{i=1;while (i<=7) {if (length($i)>=4) {print $i};i++}}' /etc/passwd

統(tǒng)計(jì)test.txt文件中長(zhǎng)度大小5的單詞

[root@localhost ~]# awk '{i=1; while(i<=NF) {if(length($i)>5) {print $i};i++}}' test.txt 

3、for遍歷數(shù)組

格式：

for(變量定義; 循環(huán)終止的條件; 改變循環(huán)條件的語(yǔ)句) {語(yǔ)句；語(yǔ)句；....}

for (i=1;i<=4;i++) { ... }

以冒號(hào)為分隔符，顯示/etc/passwd每一行的前3個(gè)字段

# awk -F: '{for (i=1;i<=3;i++) {print $i}}' /etc/passwd

root

x

0

bin

x

1

4、break continue

用于中斷循環(huán)

awk中使用數(shù)組

數(shù)組 

array[index-expression]

數(shù)組下標(biāo)從1開(kāi)始，也可以使用字符串作為數(shù)組下標(biāo)

index-expression可以使用任意字符串。

需要注意的是，如果某數(shù)組元素事先不存在，那么在引用其時(shí)，awk會(huì)自動(dòng)創(chuàng)建此元素并初始化為0；因此，要判斷某數(shù)組中是否存在某元素，需要使用index in array的方式

要遍歷數(shù)組中每一個(gè)元素，需要使用如下的特殊結(jié)構(gòu)：

for(變量 in 數(shù)組名稱(chēng)){print 數(shù)組名稱(chēng)[下標(biāo)]}

其中，var是數(shù)組下標(biāo)

統(tǒng)計(jì)每個(gè)shell的使用個(gè)數(shù)

# awk -F: '{shell[$NF]++}END{for(A in shell) {print A,shell[A]}}' /etc/passwd

/bin/sync 1

/bin/bash 3

/sbin/nologin 31

/sbin/halt 1

/sbin/shutdown 1

[root@localhost ~]# awk -F: '{shells[$7]++}END{for(sh in shells){print sh,shells[sh]}}' /etc/passwd | sort -k2

{shell[$NF]}:以每行的最后的shell名稱(chēng)為下標(biāo)，為數(shù)組元素shell[$NF]賦初始值1，如果遇到相同的shell，則該值遞增1

A：代表數(shù)組的下標(biāo)

print A：顯示數(shù)組下標(biāo)

print shell[A]：顯示此下標(biāo)對(duì)應(yīng)的數(shù)組值，也就是個(gè)數(shù)

統(tǒng)計(jì)每個(gè)狀態(tài)的tcp連接的個(gè)數(shù)

# netstat -ant | sed '1,2d' | awk '{array[$NF]++}END{for(A in array) {print A,array[A]}}'

LISTEN 13

ESTABLISHED 1

或者

# netstat -ant | awk '/^tcp/{state[$NF]++}END{for(A in state) {print A,state[A]}}' 

LISTEN 13

ESTABLISHED 1

統(tǒng)計(jì)某一天的訪問(wèn)量　

[root@localhost ~]# grep "04/Nov/2016" /var/log/httpd/access_log | wc -l

47721

統(tǒng)計(jì)/var/log/httpd/access_log每個(gè)IP的訪問(wèn)次數(shù)（UV）

[root@localhost ~]# grep "08/Mar/2017" /var/log/httpd/access_log | awk '{count[$1]++}END{for(ip in count) {print ip,count[ip]}}' | sort -n -k2 -r 

統(tǒng)計(jì)PV 

[root@localhost ~]# grep "08/Mar/2017" /var/log/httpd/access_log | awk '{count[$7]++}END{for(ip in count) {print ip,count[ip]}}' | sort -n -k2 -r

格式化輸出：

# awk 'BEGIN{printf "%-20s%-20s\n","IP Address","Access Count"}{count[$1]++}END{for(ip in count) {printf "%-20s%-20s\n",ip,count[ip]}}' /var/log/httpd/access_log 

IP Address          Access Count        

10.1.1.100          53     

awk的內(nèi)置函數(shù)

int()：返回整數(shù)

[root@localhost ~]# awk 'BEGIN{print int(12.9)}'

12

index()：返回字符所在字符串中的位置

[root@localhost ~]# awk 'BEGIN{print index("abcd","b")}'

2

split(string,array [,filedsep [,seps]])

將string表示的字符串以fileldsep為分隔符進(jìn)行分割，并將分隔后的結(jié)果保存至數(shù)據(jù)array中；數(shù)組下標(biāo)從１開(kāi)始

[root@shell ~]# awk 'BEGIN{str="This is a test"; split(str,testarray,"is");print testarray[1]}' 

Th

length(string)

返回string字符串的字符個(gè)數(shù)

[root@localhost ~]# awk 'BEGIN{str="hello world"; print length(str)}'

11

[root@localhost ~]# awk -F: '{if(length($1)==4){count++;print $1}}END{print "用戶個(gè)數(shù)：",count}' /etc/passwd

substr(string,start [,length])

取string字符串中的子串，從start開(kāi)始，取length個(gè)；start從1開(kāi)始計(jì)數(shù)

[root@localhost ~]# awk 'BEGIN{str="this is test"; print substr(str,2,5)}'

his i

match函數(shù)， 

檢測(cè)str中是否含有"is" 如果有，則返回"is"第一次出現(xiàn)的位置，如果沒(méi)有則返回0

[root@localhost ~]# awk 'BEGIN{str="This is a test"; print match(str,"is")}'

3

tolower(string)

將string中的所有字母轉(zhuǎn)為小寫(xiě)

[root@localhost ~]# awk 'BEGIN{print tolower("Kello")}'

kello

toupper(string)

將string中所有字母轉(zhuǎn)換為大寫(xiě)

[root@localhost ~]# awk 'BEGIN{print toupper("hello")}'

HELLO

awk 'BEGIN{print tolower("Kello")}'

kello

toupper(string)

將string中所有字母轉(zhuǎn)換為大寫(xiě)

[root@localhost ~]# awk 'BEGIN{print toupper("hello")}'

關(guān)于awk該怎么用就分享到這里啦，希望上述內(nèi)容能夠讓大家有所提升。如果想要學(xué)習(xí)更多知識(shí)，請(qǐng)大家多多留意小編的更新。謝謝大家關(guān)注一下億速云網(wǎng)站！