Shell腳本——正則表達(dá)式

正則表達(dá)式的概念

正則表達(dá)式:使用單個(gè)字符串來(lái)描述、匹配一系列符合某個(gè)句法規(guī)則的字符串
由普通字符與特殊字符組成，一般用在腳本編程、文本編輯器中,如php、python、she等,簡(jiǎn)寫(xiě)為regex、regexp、 用來(lái)檢索、替換符合模式的文本,具有強(qiáng)大的文本匹配功能
能夠在文本海洋中快速高效地處理本文

基礎(chǔ)正則表達(dá)式

正則表達(dá)式的字符串表達(dá)方法根據(jù)不同的嚴(yán)謹(jǐn)程度與功能分為基本正則表達(dá)式與擴(kuò)展正則表達(dá)式。基礎(chǔ)正則表達(dá)式是常用的正則表達(dá)式的最基礎(chǔ)的部分。在 Linux 系統(tǒng)中常見(jiàn)的文件處理工具中 grep 與 sed 支持基礎(chǔ)正則表達(dá)式，而 egrep 與 awk 支持?jǐn)U展正則表達(dá)式。

元字符總結(jié)

$   匹配輸入字符串的結(jié)尾位置。如果設(shè)置了 RegExp 對(duì)象的 Multiline 屬性，則“$”也匹配‘\n’
或‘\r’。要匹配“$”字符本身，請(qǐng)使用“\$”
.   匹配除“\r\n”之外的任何單個(gè)字符
\   將下一個(gè)字符標(biāo)記為特殊字符、原義字符、向后引用、八進(jìn)制轉(zhuǎn)義符。例如，‘n’匹配字符“n”。 ‘\n’匹配換行符。序列‘\\’匹配“\”，而‘\(’則匹配“(”
*   匹配前面的子表達(dá)式零次或多次。要匹配“*”字符，請(qǐng)使用“\*”
[]  字符集合。匹配所包含的任意一個(gè)字符。例如，“[abc]”可以匹配“plain”中的“a”
[^] 賦值字符集合。匹配未包含的一個(gè)任意字符。例如，“[^abc]”可以匹配“plain”中“plin”中的任何一個(gè)字母
[n1-n2] 字符范圍。匹配指定范圍內(nèi)的任意一個(gè)字符。例如，“[a-z]”可以匹配“a”到“z”范圍內(nèi)的任意一個(gè)小寫(xiě)字母字符。
注意：只有連字符（-）在字符組內(nèi)部，并且出現(xiàn)在兩個(gè)字符之間時(shí)，才能表示字符的范圍；如
果出現(xiàn)在字符組的開(kāi)頭，則只能表示連字符本身
{n} n 是一個(gè)非負(fù)整數(shù)，匹配確定的 n 次。例如，“o{2}”不能匹配“Bob”中的“o”，但是能匹配“food”中的兩個(gè) o
{n,}    n 是一個(gè)非負(fù)整數(shù)，至少匹配 n 次。例如，“o{2,}”不能匹配“Bob”中的“o”，但能匹配“foooood”中的所有 o?！皁{1,}”等價(jià)于“o+”?！皁{0,}”則等價(jià)于“o*”
{n,m}   m 和n 均為非負(fù)整數(shù)，其中 n<=m，最少匹配 n 次且最多匹配 m 次

Linux文本處理工具

grep（過(guò)濾，但是不支持正則表達(dá)式）
egrep（支持正則表達(dá)式）
sed （行過(guò)濾）
awk（列過(guò)濾）

實(shí)際操作演示

首先我們創(chuàng)建并命名操作所需要的測(cè)試文件為test.txt文件內(nèi)容如下

1）、 查找特定字符
查找特定字符非常簡(jiǎn)單，如執(zhí)行以下命令即可從 test.txt 文件中查找出特定字符“god” 所在位置。其中“-n”表示顯示行號(hào)、“-i”表示不區(qū)分大小寫(xiě)。命令執(zhí)行后，符合匹配標(biāo)準(zhǔn)的字符，字體顏色會(huì)變?yōu)榧t色

[root@localhost ~]# grep -n 'god' test.txt  //過(guò)濾txt文件中有'god'的單詞并顯示行數(shù)
8:god
16:abcgo
[root@localhost ~]# 

[root@localhost ~]# grep -in 'god' test.txt //過(guò)濾文件中以大寫(xiě)或者小寫(xiě)為開(kāi)頭的'god'單詞并顯示行數(shù)
8:god
15:God
16:abcgod

2)、 利用中括號(hào)“[]”來(lái)查找集合字符

[root@localhost ~]# grep -n 'go[bc]l' test.txt 
12:gobl
13:gocl

若要查重復(fù)單詞

[root@localhost ~]# grep -n 'oo' test.txt 
9:good
10:goooood

若要實(shí)現(xiàn)反向查找的話只需要通過(guò)集合字符的反向選擇“[^]”來(lái)實(shí)現(xiàn)目的

[root@localhost ~]# grep -n '[^g]oo' test.txt //過(guò)濾不以“g”為開(kāi)頭但是帶有“oo”的單詞
2:loood
3:lood

若不希望“oo”前面存在小寫(xiě)字母，可以使用“grep –n‘[^a-z]oo’test.txt”命令實(shí)現(xiàn)，其中“a-z”表示小寫(xiě)字母，大寫(xiě)字母則通過(guò)“A-Z”表示。

[root@localhost ~]# grep -n '[^a-z]oo' test.txt 
5:Goood
6:Good

[root@localhost ~]# grep -n '[^A-Z]oo' test.txt 
2:loood
3:lood
4:good

查找包含數(shù)字的行可以通過(guò)“grep –n‘[0-9]’test.txt”命令來(lái)實(shí)現(xiàn)

[root@localhost ~]# grep -n '[0-9]' test.txt 
10:abc12345
12:12345

3)、查找行首“^”與行尾字符“$”

[root@localhost ~]# grep -n '^g' test.txt   //查看以“g”為開(kāi)頭的單詞
1:gd
4:good
7:gola
8:gobl
9:gocl

[root@localhost ~]# grep -n 'l$' test.txt    //查看以“l(fā)”結(jié)尾的單詞
8:gobl
9:gocl

**若要查詢以小寫(xiě)字母開(kāi)頭的行可以通過(guò)'^[a-z]'規(guī)則來(lái)過(guò)濾，查詢大寫(xiě)字母開(kāi)頭的行則使用“^[A-Z]”規(guī)則，若查詢不以字母開(kāi)頭的行則使用“^[^a-zA-Z]”規(guī)則。**

[root@localhost ~]# grep -n '^[a-z]' test.txt  //過(guò)濾以小寫(xiě)字母為開(kāi)頭的單詞
1:gd
2:loood
3:lood
4:good
7:gola
8:gobl
9:gocl
10:abc12345

[root@localhost ~]# grep -n '^[A-Z]' test.txt //過(guò)濾以大寫(xiě)字母為開(kāi)頭的單詞
5:Goood
6:Good
11:God

[root@localhost ~]# grep -n '^[^a-zA-Z]' test.txt //過(guò)濾不以字母開(kāi)頭規(guī)則
12:12345

執(zhí)行以下命令即可實(shí)現(xiàn)查詢以小數(shù)點(diǎn)（.）結(jié)尾的行。因?yàn)樾?shù)點(diǎn)（.） 在正則表達(dá)式中也是一個(gè)元字符，所以在這里需要用轉(zhuǎn)義字符“\”將具有特 殊意義的字符轉(zhuǎn)化成普通字符。

[root@localhost ~]# grep -n '\.$' test.txt 
abc12345.
God.
12345.

當(dāng)查詢空白行時(shí)，執(zhí)行“grep –n‘^$’test.txt”命令即可

[root@localhost ~]# grep -n '^$' test.txt 
15:

*4)、查找任意一個(gè)字符“.”與重復(fù)字符“”，例如， 執(zhí)行以下命令就可以查找“g??l”的字符串，即共有四個(gè)字符，以 g 開(kāi)頭 l 結(jié)尾。**

[root@localhost ~]# grep -n 'g..l' test.txt 
8:gobl
9:gocl

若想要查詢 oo、ooo、ooooo 等資料，則需要使用星號(hào) () 元字符。但需要注意的是，“”代表的是重復(fù)零個(gè)或多個(gè)前面的單字符?！皁”表示擁有零個(gè)（即為空字符）或大于等于一個(gè)“o”的字符，因?yàn)樵试S空字符，所以執(zhí)行“grep –n‘o’test.txt”命令會(huì)將文本中所有的內(nèi)容都輸出打印。如果是“oo”， 則第一個(gè) o 必須存在，第二個(gè) o 則是零個(gè)或多個(gè) o，所以凡是包含 o、oo、ooo、ooo，等的資料都符合標(biāo)準(zhǔn)。同理，若查詢包含至少兩個(gè) o 以上的字符串，則執(zhí)行“grep –n‘ooo’ test.txt”命令即可。

示例

[root@localhost ~]# grep -n 'ooo*' test.txt 
2:loood
3:lood
4:good
5:Goood
6:Good

查詢以 g 開(kāi)頭 l 結(jié)尾，中間包含至少一個(gè) o 的字符串，執(zhí)行以下命令即可實(shí)現(xiàn)

[root@localhost ~]# grep -n 'goo*d' test.txt 
4:good
5:gooood
6:goood

查詢以 g 開(kāi)頭 d 結(jié)尾，中間的字符可有可無(wú)的字符串

[root@localhost ~]# grep -n 'g.*d' test.txt 
1:gd
4:good
5:gooood
6:goood

查詢?nèi)我鈹?shù)字所在行

[root@localhost ~]# grep -n '[0-9][0-9]*' test.txt 
12:abc12345.
14:12345.

5）查找連續(xù)字符范圍“{}”
我們使用“.”與“*”來(lái)設(shè)定零個(gè)到無(wú)限多個(gè)重復(fù)的字符，“{}”在 Shell 中具有特殊 意義，所以在使用“{}”字符時(shí)，需要利用轉(zhuǎn)義字符“\”，將“{}”字符轉(zhuǎn)換成普通字符。
(1）查詢兩個(gè) o 的字符

[root@localhost ~]# grep -n 'o\{2\}' test.txt 
2:loood
3:lood
4:good
5:gooood
6:goood
7:Goood
8:Good

(2）查詢以 g 開(kāi)頭以 l 結(jié)尾，中間包含 2～5 個(gè) o 的字符串

[root@localhost ~]# grep -n 'go\{2,5\}d' test.txt 
4:good
5:goooood
6:goood

(3）查詢以 w 開(kāi)頭以 d 結(jié)尾，中間包含 2 以上 o 的字符串

[root@localhost ~]# grep -n 'go\{2,\}d' test.txt 
4:good
5:goooood
6:goood

擴(kuò)展正則表達(dá)式

egrep 命令是一個(gè)搜索文件獲得模式，使用該命令可以搜索文件中的任意字符串和符號(hào)，也可以搜索一個(gè)或多個(gè)文件的字符串，一個(gè)提示符可以是單個(gè)字符、一個(gè)字符串、一個(gè)字或一個(gè)句子。

+   作用：重復(fù)一個(gè)或者一個(gè)以上的前一個(gè)字符

示例：執(zhí)行“egrep -n 'wo+d' test.txt”命令，即可查詢"wood" "woood" "woooooood"等字符串
？   作用：零個(gè)或者一個(gè)的前一個(gè)字符

示例：執(zhí)行“egrep -n 'bes?t' test.txt”命令，即可查詢“bet”“best”這兩個(gè)字符串
|   作用：使用或者（or）的方式找出多個(gè)字符

示例：執(zhí)行“egrep -n 'of|is|on' test.txt”命令即可查詢"of"或者"if"或者"on"字符串
()  作用：查找“組”字符串
示例：“egrep -n 't(a|e)st' test.txt”?！皌ast”與“test”因?yàn)檫@兩個(gè)單詞的“t”與“st”是重復(fù)的，所以將“a”與“e”列于“()”符號(hào)當(dāng)中，并以“|”分隔，即可查詢"tast"或者"test"字符串
()+ 作用：辨別多個(gè)重復(fù)的組

示例：“egrep -n 'A(xyz)+C' test.txt”。該命令是查詢開(kāi)頭的"A"結(jié)尾是"C"，中間有一個(gè)以上的 "xyz"字符串的意思

示例

重復(fù)一個(gè)或者一個(gè)以上的前一個(gè)字符

[root@localhost ~]# egrep -n 'go+d' test.txt 
4:good
5:goooood
6:goood

零個(gè)或者一個(gè)的前一個(gè)字符

[root@localhost ~]# egrep -n 'go?d' test.txt 
1:gd

使用或者（or）的方式找出多個(gè)字符

[root@localhost ~]# egrep -n 'ol|ob' test.txt 
9:gola
10:gobl

查找“組”字符串

[root@localhost ~]# egrep -n 'go(b|c)l' test.txt 
10:gobl
11:gocl

辨別多個(gè)重復(fù)的組

[root@localhost ~]# egrep -n 'g(abc)+d' test.txt 
2:gabcd
3:gabcabcd

sed工具

sed是一個(gè)強(qiáng)大而簡(jiǎn)單的文本解析轉(zhuǎn)換工具，可以讀取文本，并根據(jù)指定的條件對(duì)文本內(nèi)容進(jìn)行編輯（刪除、替換、添加、移動(dòng)等），最后輸出所有行或者僅輸出處理的某些行。sed 也可以在無(wú)交互的情況下實(shí)現(xiàn)相當(dāng)復(fù)雜的文本處理操作，被廣泛應(yīng)用于 Shell 腳本中，用以完成各種自動(dòng)化處理任務(wù)。
sed 的工作流程主要包括讀取、執(zhí)行和顯示三個(gè)過(guò)程。
讀?。簊ed 從輸入流（文件、管道、標(biāo)準(zhǔn)輸入）中讀取一行內(nèi)容并存儲(chǔ)到臨時(shí)的緩

沖區(qū)中（又稱模式空間，pattern space）。
執(zhí)行：默認(rèn)情況下，所有的 sed 命令都在模式空間中順序地執(zhí)行，除非指定了行的地址，否則 sed 命令將會(huì)在所有的行上依次執(zhí)行。
顯示：發(fā)送修改后的內(nèi)容到輸出流。再發(fā)送數(shù)據(jù)后，模式空間將會(huì)被清空。
在所有的文件內(nèi)容都被處理完成之前，上述過(guò)程將重復(fù)執(zhí)行，直至所有內(nèi)容被處理完。

1. sed 命令常見(jiàn)用法
通常情況下調(diào)用 sed 命令有兩種格式，如下所示。其中，“參數(shù)”是指操作的目標(biāo)文件，當(dāng)存在多個(gè)操作對(duì)象時(shí)用，文件之間用逗號(hào)“，”分隔；而 scriptfile 表示腳本文件，需要用“-f”選項(xiàng)指定，當(dāng)腳本文件出現(xiàn)在目標(biāo)文件之前時(shí)，表示通過(guò)指定的腳本文件來(lái)處理輸入的目標(biāo)文件。
sed格式
sed[選項(xiàng)] '操作' 參數(shù)
sed [選項(xiàng)] -f scriptfile 參數(shù)

常見(jiàn)的 sed 命令選項(xiàng)主要包含以下幾種。
-e 或--expression=：表示用指定命令或者腳本來(lái)處理輸入的文本文件。
-f 或--file=：表示用指定的腳本文件來(lái)處理輸入的文本文件。
-h 或--help：顯示幫助。
-n、--quiet 或 silent：表示僅顯示處理后的結(jié)果。
-i：直接編輯文本文件。

如果在行與行之間操作，常見(jiàn)的操作包括以下幾種。
a：增加，在當(dāng)前行下面增加一行指定內(nèi)容。
c：替換，將選定行替換為指定內(nèi)容。
d：刪除，刪除選定的行。
i：插入，在選定行上面插入一行指定內(nèi)容。

p：打印，如果同時(shí)指定行，表示打印指定行；如果不指定行，則表示打印所有內(nèi)容；如果有非打印字符，則以 ASCII 碼輸出。其通常與“-n”選項(xiàng)一起使用。
s：替換，替換指定字符。
y：字符轉(zhuǎn)換。

輸出符合條件的文本（p 表示正常輸出）

[root@localhost ~]# sed -n 'p' test.txt   //輸出所有內(nèi)容
godg
gabcd
gabcabcd
.....//省略部分內(nèi)容
abc12345.
God.
12345.

[root@localhost ~]# sed -n '3p' test.txt  //輸出第3行內(nèi)容
gabcabcd

[root@localhost ~]# sed -n '3,5p' test.txt   //輸出3~5行內(nèi)容
gabcabcd
good
goooood

[root@localhost ~]# sed -n 'p;n' test.txt   //輸出奇數(shù)行的內(nèi)容
godg
gabcabcd
goooood
Goood
gola
gocl
God.

[root@localhost ~]# sed -n 'n;p' test.txt  //輸出偶數(shù)行的內(nèi)容
gabcd
good
goood
Good
gobl
abc12345.
12345.

[root@localhost ~]# sed -n '1,5{p;n}' test.txt   //輸出1~5行內(nèi)奇數(shù)行
godg
gabcabcd
goooood

[root@localhost ~]# sed -n '10,${n;p}' test.txt  //輸出尾10行的偶數(shù)行 
gocl
God.

以上是 sed 命令的基本用法，sed 命令結(jié)合正則表達(dá)式時(shí)，格式略有不同，正則表達(dá)式以“/”包圍。以下是 sed 命令與正則表達(dá)式結(jié)合使用的示例。

[root@localhost ~]# sed -n '/goo/p' test.txt  //輸出包含"goo"的單詞
good
goooood
goood

[root@localhost ~]# sed -n '4,/go/p' test.txt   //輸出
good
goooood

[root@localhost ~]# sed -n '/go/=' test.txt   //輸出包含"go"的所在行行數(shù)
1
4
5
6
9
10
11

[root@localhost ~]# sed -n '/^G/=' test.txt   //輸入以"G"開(kāi)開(kāi)頭的行數(shù)
7
8
13

[root@localhost ~]# sed -n '/\<good\>/p' test.txt   //輸出包含單詞"good"的行數(shù)
good

2)刪除符合條件的文本（d）

[root@localhost ~]# nl test.txt | sed '3d'  //刪除了第三行
     1  godg
     2  gabcd
     4  good
     5  goooood
     6  goood
     7  Goood

[root@localhost ~]# nl test.txt | sed '3,5d' //刪除第3行和第5行
     1  godg
     2  gabcd
     6  goood
     7  Goood
     8  Good
     9  gola

[root@localhost ~]# nl test.txt | sed '/good/d '   //刪除"good"單詞的行
     1  godg
     2  gabcd
     3  gabcabcd
     5  goooood
     6  goood
     7  Goood

[root@localhost ~]# sed '/^[a-z]/d' test.txt   //刪除以小寫(xiě)字母開(kāi)頭的
Goood
Good
God.
12345.

[root@localhost ~]# sed '/\.$/d' test.txt   //刪除以"."為結(jié)尾的字母
godg
gabcd
gabcabcd
good
goooood
goood
Goood
Good
gola
gobl
gocl

[root@localhost ~]# sed '/^$/d' test.txt   //刪除空行
godg
gabcd
gabcabcd
good
goooood
goood
Goood
Good
gola
gobl
gocl
abc12345.
God.
12345.

3)替換符合條件的文本

sed 's/the/THE/' test.txt   //將每行中的第一個(gè)the 替換為 THE 
sed 's/l/L/2' test.txt  //將每行中的第 3 個(gè)l 替換為L(zhǎng) 
sed 's/the/THE/g' test.txt  //將文件中的所有the 替換為THE
sed 's/o//g' test.txt   //將文件中的所有o 刪除(替換為空串)
sed 's/^/#/' test.txt   //在每行行首插入#號(hào)
sed '/the/s/^/#/' test.txt      //在包含the 的每行行首插入#號(hào)
sed 's/$/EOF/' test.txt     //在每行行尾插入字符串EOF 
sed '3,5s/the/THE/g' test.txt   //將第 3~5 行中的所有the 替換為 THE
sed '/the/s/o/O/g' test.txt //將包含the 的所有行中的o 都替換為 O

4)遷移符合條件的文本

sed '/the/{H;d};$G' test.txt    //將包含the 的行遷移至文件末尾,{;}用于多個(gè)操作
sed '1,5{H;d};17G' test.txt //將第 1~5 行內(nèi)容轉(zhuǎn)移至第 17 行后
sed '/the/w out.file' test.txt  //將包含the 的行另存為文件out.file
sed '/the/r /etc/hostname' test.txt //將文件/etc/hostname 的內(nèi)容添加到
//包含the 的每行以后
sed '3aNew' test.txt        //在第 3 行后插入一個(gè)新行,內(nèi)容為 New 
sed '/the/aNew' test.txt    //在包含the 的每行后插入一個(gè)新行,內(nèi)容為 New
sed '3aNew1\nNew2' test.txt //在第 3 行后插入多行內(nèi)容,中間的\n 表示換行

5)使用腳本編輯文件

[root@localhost ~]# sed '1,5{H;d};7G' test.txt   //將1~5行內(nèi)容轉(zhuǎn)移至第七行之后
goood
Goood

godg
gabcd
gabcabcd
good
goooood
Good
gola
gobl
gocl
abc12345.
God.
12345.

[root@localhost ~]# vim local_only_ftp.sh #!/bin/bash
# 指定樣本文件路徑、配置文件路徑
SAMPLE="/usr/share/doc/vsftpd-3.0.2/EXAMPLE/INTERNET_SITE/vsftpd.conf " 
CONFIG="/etc/vsftpd/vsftpd.conf"
# 備份原來(lái)的配置文件,檢測(cè)文件名為/etc/vsftpd/vsftpd.conf.bak 備份文件是否存在, 若不存在則使用 cp 命令進(jìn)行文件備份 
[ ! -e "$CONFIG.bak" ] && cp $CONFIG $CONFIG.bak # 基于樣本配置進(jìn)行調(diào)整,覆蓋現(xiàn)有文件
sed -e '/^anonymous_enable/s/YES/NO/g' $SAMPLE > $CONFIG
sed -i -e '/^local_enable/s/NO/YES/g' -e '/^write_enable/s/NO/YES/g' $CONFIG grep "listen" $CONFIG || sed -i '$alisten=YES' $CONFIG
# 啟動(dòng)vsftpd 服務(wù),并設(shè)為開(kāi)機(jī)后自動(dòng)運(yùn)行
 systemctl restart vsftpd
systemctl enable vsftpd

awk工具

在 Linux/UNIX 系統(tǒng)中，awk 是一個(gè)功能強(qiáng)大的編輯工具，逐行讀取輸入文本，并根據(jù)指定的匹配模式進(jìn)行查找，對(duì)符合條件的內(nèi)容進(jìn)行格式化輸出或者過(guò)濾處理，可以在無(wú)交互的情況下實(shí)現(xiàn)相當(dāng)復(fù)雜的文本操作，被廣泛應(yīng)用于 Shell 腳本，完成各種自動(dòng)化配置任務(wù)。
1. awk 常見(jiàn)用法
通常情況下 awk 所使用的命令格式如下所示，其中，單引號(hào)加上大括號(hào)“{}”用于設(shè)置對(duì)數(shù)據(jù)進(jìn)行的處理動(dòng)作。awk 可以直接處理目標(biāo)文件，也可以通過(guò)“-f”讀取腳本對(duì)目標(biāo)文件進(jìn)行處理。

awk 選項(xiàng) '模式或條件 {編輯指令}' 文件 1 文件 2 ?   //過(guò)濾并輸出文件符條件的內(nèi)容
awk -f 腳本文件 文件 1 文件 2 ? //從腳本中調(diào)用編輯指令,過(guò)濾并輸出內(nèi)容

若需要查找出/etc/passwd 的用戶名、用戶 ID、組 ID 等列， 執(zhí)行以下 awk 命令即可

[root@localhost ~]# awk -F ':' '{print $1,$3,$5}' /etc/passwd
root 0 root
bin 1 bin
daemon 2 daemon
....//省略部分

awk 包含幾個(gè)特殊的內(nèi)建變量（可直接用）如下所示：
    FS：指定每行文本的字段分隔符，默認(rèn)為空格或制表位。

    NF：當(dāng)前處理的行的字段個(gè)數(shù)。
    NR：當(dāng)前處理的行的行號(hào)（序數(shù)）。
    $0：當(dāng)前處理的行的整行內(nèi)容。
    $n：當(dāng)前處理行的第 n 個(gè)字段（第 n 列）。
    FILENAME：被處理的文件名。
    RS：數(shù)據(jù)記錄分隔，默認(rèn)為\n，即每行為一條記錄。

2. 用法示例
   1)按行輸出文本

awk '{print}' test.txt       //輸出所有內(nèi)容,等同于 cat test.txt
awk '{print $0}' test.txt   //輸出所有內(nèi)容,等同于 cat test.txt
awk 'NR==1,NR==3{print}' test.txt   //輸出第 1~3 行內(nèi)容
awk '(NR>=1)&&(NR<=3){print}' test.txt  //輸出第 1~3 行內(nèi)容
awk 'NR==1||NR==3{print}' test.txt  //輸出第 1 行、第 3 行內(nèi)容
awk '(NR%2)==1{print}' test.txt //輸出所有奇數(shù)行的內(nèi)容
awk '(NR%2)==0{print}' test.txt //輸出所有偶數(shù)行的內(nèi)容
awk '/^root/{print}' /etc/passwd    //輸出以root 開(kāi)頭的行
awk '/nologin$/{print}' /etc/passwd//輸出以 nologin 結(jié)尾的行
awk 'BEGIN {x=0} ; /\/bin\/bash$/{x++};END {print x}' /etc/passwd
//統(tǒng)計(jì)以/bin/bash 結(jié)尾的行數(shù),等同于 grep -c "/bin/bash$" /etc/passwd 
awk 'BEGIN{RS=""};END{print NR}' /etc/squid/squid.conf
//統(tǒng)計(jì)以空行分隔的文本段落數(shù)

2)按字段輸出文本

awk '{print $3}' test.txt   //輸出每行中(以空格或制表位分隔)的第 3 個(gè)字段
awk '{print $1,$3}' test.txt    //輸出每行中的第 1、3 個(gè)字段
awk -F ":" '$2==""{print}' /etc/shadow //輸出密碼為空的用戶的shadow 記錄
awk 'BEGIN {FS=":"}; $2==""{print}' /etc/shadow
//輸出密碼為空的用戶的shadow 記錄
awk -F ":" '$7~"/bash"{print $1}' /etc/passwd  //輸出以冒號(hào)分隔且第 7 個(gè)字段中包含/bash 的行的第 1 個(gè)字段
awk '($1~"nfs")&&(NF==8){print $1,$2}' /etc/services  //輸出包含 8 個(gè)字段且第 1 個(gè)字段中包含 nfs 的行的第 1、2 個(gè)字段
awk -F ":" '($7!="/bin/bash")&&($7!="/sbin/nologin"){print}'
/etc/passwd
//輸出第 7 個(gè)字段既不為/bin/bash 也不為/sbin/nologin 的所有行

3)通過(guò)管道、雙引號(hào)調(diào)用 Shell 命令

awk -F: '/bash$/{print | "wc -l"}' /etc/passwd  //調(diào)用wc -l 命令統(tǒng)計(jì)使用bash 的用戶個(gè)數(shù),等同于 grep -c "bash$" /etc/passwd 
awk 'BEGIN {while ("w" | getline) n++ ; {print n-2}}' //調(diào)用w 命令,并用來(lái)統(tǒng)計(jì)在線用戶數(shù)
awk 'BEGIN { "hostname" | getline ; print $0}'   //調(diào)用hostname,并輸出當(dāng)前的主機(jī)名

sort 工具

在 Linux 系統(tǒng)中，常用的文件排序工具有三種：sort、uniq、wc 。本章將介紹前兩種工具的用法。
sort 是一個(gè)以行為單位對(duì)文件內(nèi)容進(jìn)行排序的工具，也可以根據(jù)不同的數(shù)據(jù)類型來(lái)排序。例如數(shù)據(jù)和字符的牌局就不一樣。sort 命令的語(yǔ)法為“sort [選項(xiàng)] 參數(shù)”，其中常用的選項(xiàng)包括以下幾種。
-f：忽略大小寫(xiě)；
-b：忽略每行前面的空格；
-M：按照月份進(jìn)行排序；
-n：按照數(shù)字進(jìn)行排序；
-r：反向排序；
-u：等同于 uniq，表示相同的數(shù)據(jù)僅顯示一行；
-t：指定分隔符，默認(rèn)使用[Tab]鍵分隔；
-o <輸出文件>：將排序后的結(jié)果轉(zhuǎn)存至指定文件；
-k：指定排序區(qū)域。

[root@localhost ~]# sort /etc/passwd  //按首字母大小寫(xiě)對(duì)/etc/passwd/文件進(jìn)行排序
abrt:x:173:173::/etc/abrt:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
akg:x:1000:1000:akg:/home/akg:/bin/bash
apache:x:48:48:Apache:/usr/share/httpd:/sbin/nologin
avahi:x:70:70:Avahi mDNS/DNS-SD Stack:/var/run/avahi-daemon:/sbin/nologin
..//省略部分內(nèi)容
wangwu:x:1003:1003::/home/wangwu:/bin/bash
zhangsan:x:1002:1002::/home/zhangsan:/bin/bash
zhangsna:x:1027:1027::/home/zhangsna:/bin/bash
zhaoliu:x:1004:1004::/home/zhaoliu:/bin/bash

[root@localhost ~]# sort -t ':' -rk 3 /etc/passwd  //將/etc/passwd 文件中第三列進(jìn)行反向排序
nobody:x:99:99:Nobody:/:/sbin/nologin
polkitd:x:999:998:User for polkitd:/:/sbin/nologin
libstoragemgmt:x:998:996:daemon account for libstoragemgmt:/var/run/lsm:/sbin/nologin
colord:x:997:995:User for colord:/var/lib/colord:/sbin/nologin
..//省略部分內(nèi)容
wangwu:x:1003:1003::/home/wangwu:/bin/bash
zhangsan:x:1002:1002::/home/zhangsan:/bin/bash
lisi:x:1001:1001::/home/lisi:/bin/bash
akg:x:1000:1000:akg:/home/akg:/bin/bash
root:x:0:0:root:/root:/bin/bash

將/etc/passwd 文件中第三列進(jìn)行排序，并將輸出內(nèi)容保存至user.txt 文件中

[root@localhost ~]# sort -t ':' -k 3 /etc/passwd -o user.txt
[root@localhost ~]# cat user.txt 
root:x:0:0:root:/root:/bin/bash
akg:x:1000:1000:akg:/home/akg:/bin/bash
lisi:x:1001:1001::/home/lisi:/bin/bash
zhangsan:x:1002:1002::/home/zhangsan:/bin/bash
wangwu:x:1003:1003::/home/wangwu:/bin/bash
zhaoliu:x:1004:1004::/home/zhaoliu:/bin/bash
..//省略部分內(nèi)容
saslauth:x:996:76:Saslauthd user:/run/saslauthd:/sbin/nologin
colord:x:997:995:User for colord:/var/lib/colord:/sbin/nologin
libstoragemgmt:x:998:996:daemon account for libstoragemgmt:/var/run/lsm:/sbin/nologin
polkitd:x:999:998:User for polkitd:/:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin

uniq 工具

Uniq 工具在 Linux 系統(tǒng)中通常與 sort 命令結(jié)合使用，用于報(bào)告或者忽略文件中的重復(fù)行。具體的命令語(yǔ)法格式為：uniq [選項(xiàng)] 參數(shù)。其中常用選項(xiàng)包括以下幾種。
-c：進(jìn)行計(jì)數(shù)；
-d：僅顯示重復(fù)行；

-u：僅顯示出現(xiàn)一次的行；

刪除 testfile 文件中的重復(fù)行

[root@localhost ~]# cat test.txt  //沒(méi)有刪除之前的文本文檔
godg
gabcd
gabcabcd
goooood
goood
Goood
good
good
good
good

[root@localhost ~]# uniq test.txt   //刪除重復(fù)行之后的文本文檔
godg
gabcd
gabcabcd
goooood
goood
Goood
good
Good

刪除 testfile 文件中的重復(fù)行，并在行首顯示該行重復(fù)出現(xiàn)的次數(shù)

[root@localhost ~]# uniq -c test.txt 
      1 godg
      1 gabcd
      1 gabcabcd
      1 goooood
      1 goood
      1 Goood
      4 good

查找 testfile 文件中的重復(fù)行

[root@localhost ~]# uniq -d test.txt 
good