【Linux】Linux中正則表達式
2021-09-09 13:55:53

正則表達式

熱身

正則表達式(regular?expression)描述了一種字符串匹配的模式，可以用來檢查一個串是否含有某種子串、將匹配的子串做替換或者從某個串中取出符合某個條件的子串等。

例如?grep,?expr,?sed?,?awk.?或Vi中經(jīng)常會使用到正則表達式，為了充分發(fā)揮?shell?編程的威力,需要精通正則表達式。

?

?

ls?-l?|grep?"^d"

這條簡單的命令就輕松解決了我們的問題，。"^d"？？？你納悶了，這個小東西配合起來怎么會有那么大的威力呢？這好比玩三國殺時劉備、司馬懿、香香之間配合的威力……"^d"，就是正則表達式的用法，"^"表示匹配行首，"^d"合起來就表示以d開頭的一行，grep?"^d"?就是過濾出以d開頭的那些行，d?表示目錄，也就過濾出了當前目錄中的所有目錄。

謎底解開。現(xiàn)在你又想到，前面不是說還有一種方法的么，既然如此迫不及待，那就只好順水推舟了。

?

ls?-F?|?grep?"/$"?

這條短命令又一切成全了我們的夢想。"/$"?也是正則表達式的用法，"$"表示匹配行尾，"/$"合起來就表示匹配以/結(jié)尾的行，grep?"/$"?就是過濾出以/結(jié)尾的那些行，/表示目錄，也就過濾出了當前目錄中的所有目錄。

在此基礎上，我們發(fā)散一下思維，比如說想統(tǒng)計當前目錄下的文件個數(shù)及目錄個數(shù)，就可以使用以下命令：

ls?-l?*?|grep?"^-"|wc?-l?

ls?-l?*?|grep?"^d"|wc?-l?

好了，暫且休息，下面我們開始介紹更多關于正則表達式的知識。

蓄勢

前面我們初識了^?$?*?這些個正則表達式的用法，下面我們將進行更高一級的升煉。

正則表達式是一個字符或和元字符組合成的字符集，它們匹配(或指定)一個模式。字符即普通字符（例如字符?a?到?z），元字符即特殊字符（例如前面提到的字符?^?$?*）。正則表達式作為一個模板，將某個字符模式與所搜索的字符串進行匹配。

在這里，為簡單見，我們不會介紹所有的正則表達式知識，只介紹常用的一些正則表達式知識。

一個正則表達式包含下面一個或多個項：

1.一個字符集

這里的字符集里的字符表示的就是它們字面上的意思.正則表達式最簡單的情況就是僅僅由字符集組成,而沒有其他的元字符。

2.錨

一個錨指明了正則表達式在一行文本中要匹配的位置,例如^和$就是錨。

3.修飾符

它們用于展開或縮小(即是修改了)正則表達式匹配文本行的范圍.修飾符包括了星號、括號和反斜杠符號。

* 匹配重復零次或多次前一字符?

+ 匹配一個或多個前面的字符.它的作用和*很相似,但唯一的區(qū)別是它不匹配零個字?符的情況

? 匹配零或一個前面的字符。它一般用于匹配單個字符?

. 匹配任意字符(?除換行符?)?

^ 匹配一行的開頭,但依賴于上下文環(huán)境,可能在正則表達式中表示否定一個字符?集的意思
[...] 匹配集合中任意字符?如"[xyz]"?匹配字符?x,?y,?或z
[^...] 匹配不屬集合?中?任意字符?
^,?$ 匹配?行首、行尾?
<,?> 用于表示單詞的邊界。<?匹配詞首，>詞尾，如"<the>"?匹配單詞"the"
(...) 正則表達式分組。進行子字符串提取(substring?extraction)一起使用很有用
第?n?個分組內(nèi)容??

轉(zhuǎn)義(escapes)?一個特殊的字符,使這個字符表示原來字面上的意思。"$"表示?了原來的字面意思"$",而不是在正則表達式中表達的匹配行尾的意思."\"也被?解釋成了字面上的意思""

{?} 指示前面正則表達式匹配的次數(shù).?

要轉(zhuǎn)義是因為不轉(zhuǎn)義的話大括號只是表示他們字面上的意思.這個用法只是技巧上?的而不是基本正則表達式的內(nèi)容."[0-9]{5}"?精確匹配5個數(shù)字(從0到9的數(shù)字).?

| "或"，正則操作符用于匹配一組可選的字符

{n} n是一個非負整數(shù)。匹配確定的n次。例如，''o{2}''?不能匹配?"Bob"中的''o''，但是能匹配"food"?中的兩個o。

{n,} n是一個非負整數(shù)。至少匹配n次。例如，''o{2,}''?不能匹配"Bob"中的'o''，但能匹配?"foooood"中的所有o。''o{1,}''等價于''o+''。''o{0,}''則等價于''o*''。

{n,m} m和n均為非負整數(shù)，其中n<=m。最少匹配n次且最多匹配m次。例如，"o{1,3}"將匹配?"fooooood"中的前三個o。''o{0,1}''等價于''o?''。請注意在逗號和兩個數(shù)之間不能有空格。

 匹配一個單詞邊界，也就是指單詞和空格間的位置。例如，''er''?可以匹配"never"?中的''er''，但不能匹配?"verb"中的?''er''。?

B 匹配非單詞邊界。''erB''能匹配"verb"中的''er''，但不能匹配"never"中的?''er''

w 匹配包括下劃線的任何單詞字符。等價于''[A-Za-z0-9_]''。

W 匹配任何非單詞字符。等價于''[^A-Za-z0-9_]''。

d 匹配一個數(shù)字字符。等價于[0-9]。

D 匹配一個非數(shù)字字符。等價于[^0-9]。

f 匹配一個換頁符。等價于x0c和cL。

匹配一個換行符。等價于x0a和cJ。

匹配一個回車符。等價于x0d和cM。

s 匹配任何空白字符，包括空格、制表符、換頁符等等。等價于[f v]。

S 匹配任何非空白字符。等價于[^f v]。

匹配一個制表符。等價于x09?和?cI。

v 匹配一個垂直制表符。等價于x0b和cK。

常用的就介紹到這里，其它的需要進一步了解可以查閱手冊或資料。

?

翱翔

部分例子?

/([a-z]+)1/gi 一個單詞連續(xù)出現(xiàn)的位置?

/(w+)://([^/:]+)(:d*)?([^#?]*)/ 將一個URL解析為協(xié)議、域、端口及相對路徑

/^(?:Chapter|Section)?[1-9][0-9]{0,1}$/定位章節(jié)的位置?

/[-a-z]/ A至z共26個字母再加一個-號。

/ter/ 可匹配chapter，而不能terminal

/Bapt/ 可匹配chapter，而不能aptitude

/Windows(?=95?|98?|NT?)/ 可匹配Windows95或Windows98或WindowsNT,當找到一個匹配后，從Windows后面開始進行下一次的檢索匹配。

下面來些更加高級些的例子。

對于vi?中命令的分析

s/(^.*$) ^.*$/1/g

初一看，會傻眼，眼前感覺全是$^.*/……這些符號的閃動。

不要緊，下面慢慢道來。

先給出vi中替換命令的格式。

s/re/string? 用string替換正則表達式re

如果在后面加了個g?如：?s/re/string/g

表示表示對該行內(nèi)符合模式的進行全部替換。

例如，s///_/g?這個正則表達式就表示，對行內(nèi)所有的斜扛（/）替成下劃線（_），?/即替換命令格式中的re，用反斜扛是為了轉(zhuǎn)義，?/即表示?/?的本意；_即替換命令格式中的string。

好了，了解vi中替換命令的格式后,我們再對細節(jié)進行分析。

前面介紹到?(...)?表示正則表達式分組， 表示第?n?個分組內(nèi)容，于是對于

s/(^.*$) ^.*$/1/g?

中的?1?，就表示第一個正則表達式分組即(^.*$)，我們暫將第一個正則表達式分組(^.*$)其記為：A

類推，2就應該表示第二個正則表達式分組，即? ^.*$??實際上?也應該寫在括號內(nèi)比較好：( ^.*$)?，我們也暫將第二個正則表達式分組? ^.*$?記為：B

好了，

%s/(^.*$) ^.*$/1/g

就可以寫為：

s/AB/A/g

作用就是將行內(nèi)所有的AB都替換成A。

現(xiàn)在我們來分別分析A和B的作用。

A=(^.*$)

抽取出來實際上是(...)，表示正則表達式?分組，再分析括號內(nèi)的^.*$，^代表行首，點號(.)匹配任意字符(除換行符),星號(*)匹配重復零次或多次前一字符,$代表匹配到行尾，綜合起來就是：匹配這一行

B= ^.*$

分析：? 換行，^.*$同上，表示匹配這一行，綜合起來就是：下一行（即上行結(jié)束后開始的另一行）。

再于是就有：%s/AB/A/g?即將所有AB都替換成B??，代入A和B各自意思得到：

將兩行（如行1和行2?）內(nèi)容替換為第一行內(nèi)容（即行1的內(nèi)容），加上/g，就是對全文進行前述替換，也就是隔行刪除，如果是從文件第一行開始進行的操作，就意味著是刪除所有偶數(shù)行、保留所有奇數(shù)行操作。

從上面的分析過程中，我們總結(jié)出兩條有用的正則表達式：

%s/(^.*$) ^.*$/1/g 刪除偶數(shù)行

%s/^.*$ (^.*$)/1/g 刪除奇數(shù)行

不過癮的話，還可以再看看另一例子：

sed?'s/(.*)(.)$/2/'

2就應該表示第二個正則表達式分組

同上，也將A=/(.*)，B=(.)$，表達式變?yōu)?#39;s/AB/B'，將AB都替換成B?。

分析A、B作用。

A=/(.*)

抽取出來實際上是(...)，表示正則表達式?分組，再分析括號內(nèi)的?.*，表示匹配任意零個或多個字符?(?除換行符?)?

B=(.)$

括號內(nèi)的?.?，表示匹配任意字符(除換行符)?,括號外的$表示匹配到行尾，即表示行尾的最后一個字符；那上述的A?/(.*)??就表示該行最后一個字符前的所有字符。

于是sed?'s/(.*)(.)$/2/'?作用就是：刪除該行除最后一個字符外的所有字符，保留最后一個字符，也即取得該行最后一個字符。

好了，正則表達式的介紹就告一段落，知識點比較多，需要平時反復的積累，遇到復雜的正則表達式時首先要克服恐懼的心理，然后按照上面的方法化繁為簡，抓住其本質(zhì)的東西，有如探囊取物，必手到擒來