正則表達(dá)式快速入門

1、教程精選：正則表達(dá)式快速入門作者： 開心石頭 出處： 天極網(wǎng) 責(zé)任編輯： wenwu 2005-12-02 11:06 【導(dǎo)讀】正則表達(dá)式是從左向右去匹配目標(biāo)字符串的一組模式。大多數(shù)字符在模式中表示它們自身并匹配目標(biāo)中相應(yīng)的字符 正則表達(dá)式廣泛出現(xiàn)在UNIX/Linux相關(guān)的各種領(lǐng)域和多種編程語(yǔ)言里。從常見的shell命令到大名鼎鼎的Perl語(yǔ)言再到當(dāng)前非常流行的PHP，它都扮演著一個(gè)重要的角色。甚至windows的命令行控制臺(tái)也支持正則表達(dá)式。如果你是一個(gè)Linux服務(wù)器管理員，你經(jīng)常會(huì)在一些服務(wù)器的設(shè)置腳本里看到它?？梢哉f，它是學(xué)好Linux/UNIX必需掌握的一個(gè)知識(shí)點(diǎn)，否則你連Linu

2、x的啟動(dòng)腳本都讀不懂。偏偏它又的確有點(diǎn)晦澀難懂，而且相關(guān)的資料又大部分是英文，更為它的學(xué)習(xí)增加了幾多困難。即使有些中文的翻譯資料，不同的譯者對(duì)一些術(shù)語(yǔ)的譯法也五花八門，讀著讓人平添困惑。為此，我決定為它寫一個(gè)簡(jiǎn)明教程，盡量可以覆蓋正則表達(dá)式涉及到的各主要概念。我并不想把本文寫成一本詳細(xì)的正則表達(dá)式語(yǔ)法手冊(cè)，事實(shí)上，這些手冊(cè)已經(jīng)存在了，不過讀起來比較難懂。我希望的是在完成本教程后，你可以比較輕松的讀懂各種工具的正則表達(dá)式語(yǔ)法手冊(cè)并可以迅速上手，不過要用好正則表達(dá)式，可不是一篇短短的教程可以解決的，那是無數(shù)實(shí)踐練習(xí)的結(jié)果。但是，本文的最后一部分對(duì)于正則表達(dá)式的編寫提出了一些原則性的建議，學(xué)習(xí)一下這

3、些正則表達(dá)式應(yīng)用先驅(qū)者的經(jīng)驗(yàn)會(huì)讓我們?cè)诮窈蟮膶?shí)踐中少走一些彎路。正則表達(dá)式是英文“regular expressions”的譯文，它的產(chǎn)生據(jù)說可以追溯到“神經(jīng)網(wǎng)絡(luò)”等比較高深的理論。那么什么是正則表達(dá)式呢?正則表達(dá)式是從左向右去匹配目標(biāo)字符串的一組模式。大多數(shù)字符在模式中表示它們自身并匹配目標(biāo)中相應(yīng)的字符。舉個(gè)最簡(jiǎn)單的例子，模式“The quick brown fox”匹配了目標(biāo)字符串中與其完全相同的一部分。前面已經(jīng)提過，正則表達(dá)式被許多植根于UNIX/Linux的工具采用，可是這些工具的正則表達(dá)式語(yǔ)法并不完全相同，它們中的一些對(duì)正則表達(dá)式語(yǔ)法的擴(kuò)展并不被其它工具識(shí)別，這也為正則表達(dá)式的使用增

4、加了難度。因此，當(dāng)你在一個(gè)具體的環(huán)境中使用正則表達(dá)式時(shí)，你還要先看一下目標(biāo)環(huán)境支持的語(yǔ)法范圍，以確保你的正則表達(dá)式被正確的解析。在本文中列舉的例子里，我們用正斜線“/”做為模式的定界符(delimiter)，一個(gè)模式用下面這種格式表示:/A-Z+(abc|xyz)*/I本文將較詳細(xì)的闡明下面這些正則表達(dá)式概念：模式修正符（modifier），元字符（Meta-characters），子模式（subpatterns）與逆向引用（Back references），重復(fù)（Repetition）和量詞（quantifiers），斷言（Assertions），注釋，正則表達(dá)式中的遞歸，最后我介紹一款方便

5、學(xué)習(xí)正則表達(dá)式的工具并介紹一些正則表達(dá)式編寫的思路。正則表達(dá)式的模式修正符(modifier)正則表達(dá)式的模式修正符主要用來限定模式與目標(biāo)字符串的匹配方式，例如是否需要大小寫敏感的匹配，是單行模式還是多行模式。修正符中的空格和換行被忽略，其它字符會(huì)導(dǎo)致錯(cuò)誤。下面列舉一些常見的模式修正符。注意，模式修正符是區(qū)分大小寫的。i:非大小寫敏感模式，:如果設(shè)定此修正符，模式中的字符將同時(shí)匹配大小寫字母。m:多行模式，當(dāng)設(shè)定了此修正符，“行起始”和“行結(jié)束”除了匹配整個(gè)字符串開頭和結(jié)束外，還分別匹配其中的換行符的之后和之前。s:單行模式，如果設(shè)定了此修正符，模式中的圓點(diǎn)元字符(.)匹配所有的字符，包括換行

6、符。沒有此設(shè)定的話，則不包括換行符。對(duì)于多行模式和單行模式，一個(gè)容易讓初學(xué)者迷惑的地方是這兩者并不向字面上那樣是互斥的。事實(shí)上，它們只是分別定義了英文句點(diǎn)(.)、音調(diào)符()和美元符($)這三個(gè)元字符的匹配方式，因此，單行模式與多行模式的修正符可以同時(shí)使用。x:如果設(shè)定了此修正符，模式中的空白字符除了被轉(zhuǎn)義的或在字符類中的以外完全被忽略，在未轉(zhuǎn)義的字符類之外的 # 以及下一個(gè)換行符之間的所有字符，包括兩頭，也都被忽略。它使得可以在復(fù)雜的模式中加入注釋。我們會(huì)在后面的部分更詳細(xì)的講解正則表達(dá)中的注釋。模式修正符還有很多，這里不再一一列舉。我們會(huì)結(jié)合后面的內(nèi)容介紹一些其它的模式修正符。不同的工具也可

7、以添加自己的模式修正符，不過上面幾最為常見。模式修正符通常跟在模式定義結(jié)束符的后面，例如下面例子中模式最后的“i”字符。/A-Z+(abc|xyz)*/i，這時(shí)此修正符會(huì)對(duì)整個(gè)匹配模式起作用。模式修正符也可以在模式內(nèi)部通過包含在 "(?" 和 ")" 之間的修正符字母序列來實(shí)現(xiàn)。例如，(?im) 設(shè)定了不區(qū)分大小寫，多行模式。也可以通過在字母前加上減號(hào)來取消這些選項(xiàng)。例如組合的選項(xiàng) (?im-s)，設(shè)定了不區(qū)分大小寫和多行模式，并取消了單行模式。如果一個(gè)字母在減號(hào)之前與之后都出現(xiàn)了，則該選項(xiàng)被取消設(shè)定。注意，如果(?im-s)出現(xiàn)在一個(gè)子模式內(nèi)(被另一對(duì)

8、小括號(hào)包含)會(huì)把模式修正符的作用局限在該子模式中。正則表達(dá)式的元字符（Meta-characters）正則表達(dá)式的威力在于其能夠在模式中包含選擇和循環(huán)。它們通過使用元字符來編碼在模式中，元字符不代表其自身，它們用一些特殊的方式來解析。有兩組不同的元字符:一種是模式中除了方括號(hào)內(nèi)都能被識(shí)別的，還有一種是在方括號(hào)內(nèi)被識(shí)別的。如果想在模式里包含一個(gè)元字符本身，就需要用到轉(zhuǎn)義符號(hào)，正則表達(dá)式常用反斜線“”作為轉(zhuǎn)義字符使用，為了匹配“”本身，你需要輸入兩個(gè)“”，向這樣“”。當(dāng)然，這個(gè)符號(hào)本身也是一個(gè)元字符。方括號(hào)之外的元字符有這些:有數(shù)種用途的通用轉(zhuǎn)義符斷言目標(biāo)的開頭(或在多行模式下行的開頭，即緊隨一換

9、行符之后)$斷言目標(biāo)的結(jié)尾(或在多行模式下行的結(jié)尾，即緊隨一換行符之前).匹配除了換行符外的任意一個(gè)字符(默認(rèn)情況下)字符類定義開始字符類定義結(jié)束|開始一個(gè)多選一的分支(子模式開始)子模式結(jié)束?擴(kuò)展 ( 的含義，我們已經(jīng)在介紹模式修正符里看到過它的使用。它也可以是 0 或 1 數(shù)量限定符，以及數(shù)量限定符最小值*匹配 0 個(gè)或多個(gè)的數(shù)量限定符+匹配 1 個(gè)或多個(gè)的數(shù)量限定符最少/最多數(shù)量限定開始最少/最多數(shù)量限定結(jié)束模式中方括號(hào)內(nèi)的部分稱為“字符類”。字符類中可用的元字符為:通用轉(zhuǎn)義字符排除字符類，但僅當(dāng)其為第一個(gè)字符時(shí)有效-指出字符范圍在這里，最值得一提是“”這個(gè)元字符。之所以重點(diǎn)對(duì)它進(jìn)行講解

10、是因?yàn)檫@一個(gè)元字符有多種不同的用法，在不同情況下代表不同的含義，而且使用頻率非常高，是個(gè)很容易讓人迷惑的地方。第一種用法前面我們已經(jīng)提過，是作為通用轉(zhuǎn)義字符使用，如果其后跟著一個(gè)非字母數(shù)字字符，則取消該字符可能具有的任何特殊含義。此種將反斜線用作轉(zhuǎn)義字符的用法適用于無論是字符類之中還是之外。例如“”代表一個(gè)單獨(dú)的反斜線“”。第二種用途提供了一種在模式中以可見方式去編碼不可打印字符的方法。模式中完全可以包括不可打印字符，除了代表模式結(jié)束的二進(jìn)制零，例如，可以用“a”代表alarm，即 BEL 字符(0x07)，或用“cx”代表"control-x"，其中 x 是任意字符。當(dāng)然

11、，這種方法表示的不一定非得是不可打印字符，實(shí)際上，可以用“xhh(十六進(jìn)制代碼為 hh 的字符)”和“ddd(八進(jìn)制代碼為 ddd 的字符)”來以編碼的形式表達(dá)任何單字節(jié)字符，例如“040”可以用來表示空格。反斜線的第三個(gè)用法是指定通用字符類型，這些字符類型序列可以出現(xiàn)在字符類之中和之外。每一個(gè)匹配相應(yīng)類型中的一個(gè)字符。如果當(dāng)前匹配點(diǎn)在目標(biāo)字符串的結(jié)尾，以上所有匹配都失敗，因?yàn)闆]有字符可供匹配。有以下這些常見的通用字符類:d 任一十進(jìn)制數(shù)字D任一非十進(jìn)制數(shù)的字符s任一空白字符S任一非空白字符w任一“字”的字符W任一“非字”的字符反斜線的第四個(gè)用法是某些簡(jiǎn)單的斷言，關(guān)于斷言的討論我們放在后面，這

12、里先不加討論。反斜線的最后一個(gè)用法是逆向引用。關(guān)于逆向引用，我們會(huì)在后面討論逆向引用的部分來做進(jìn)一步的討論。我們已經(jīng)看到，反斜線的眾多用法，其中一些涉及到了以后才講的內(nèi)容。我們?cè)谀Ｊ街杏龅椒葱本€時(shí)一定要注意它具體是哪一種用途以免疑惑。另外兩個(gè)方括號(hào)也是非常重要的元字符，左方括號(hào)開始了一個(gè)字符類，右方括號(hào)結(jié)束之。單獨(dú)一個(gè)右方括號(hào)不是特殊字符。字符類匹配目標(biāo)中的一個(gè)字符，該字符必須是字符類定義的字符集中的一個(gè);除非字符類中的第一個(gè)字符是音調(diào)符()，此情況下目標(biāo)字符必須不在字符類定義的字符集中。如果在字符類中需要音調(diào)符本身，則其必須不是第一個(gè)字符，或用反斜線轉(zhuǎn)義。例如，A-Z表式非大寫字符。其它元字

13、符我們會(huì)在以后的文章中結(jié)合相關(guān)內(nèi)容介紹。在上篇文章里，我們介紹了正則表達(dá)式的模式修正符與元字符，細(xì)心的讀者也許會(huì)發(fā)現(xiàn)，這部分介紹的非常簡(jiǎn)略，而且很少有實(shí)際的例子的講解。這主要是因?yàn)榫W(wǎng)上現(xiàn)有的正則表達(dá)式資料都對(duì)這部分都有詳細(xì)的介紹和眾多的例子，如果覺得對(duì)前一部分缺乏了解可以參看這些資料。本文希望可以盡可能多涉及一些較高級(jí)的正則表達(dá)式特性。在本文里，我們主要介紹子模式(subpatterns)，逆向引用(Back references)和量詞(quantifiers)，其中重點(diǎn)介紹對(duì)這些概念的一些擴(kuò)展應(yīng)用，例如子模式中的非捕獲子模式，量詞匹配時(shí)的greedy與ungreedy。子模式(subpat

14、terns)與逆向引用(Back references)正則表達(dá)式可以包含多個(gè)字模式，子模式由圓括號(hào)定界，可以嵌套。這也是兩個(gè)元字符“(”和“)”的作用。子模式可以有以下作用:1. 將多選一的分支局部化。例如，模式: cat(aract|erpillar|)匹配了 "cat"，"cataract" 或 "caterpillar" 之一，沒有圓括號(hào)的話將匹配 "cataract"，"erpillar" 或空字符串。2. 將子模式設(shè)定為捕獲子模式(例如上面這個(gè)例子)。當(dāng)整個(gè)模式匹配時(shí)，目標(biāo)字符串中匹

15、配了子模式的部分可以通過逆向引用進(jìn)行調(diào)用。左圓括號(hào)從左到右計(jì)數(shù)(從 1 開始)以取得捕獲子模式的數(shù)。注意，子模式是可以嵌套的，例如，如果將字符串 "the red king" 來和模式 /the (red|white) (king|queen)/進(jìn)行匹配，捕獲的子串為 "red king"，"red" 以及 "king"，并被計(jì)為 1，2 和 3 ，可以通過“1”，“2”，“3”來分別引用它們，“1”包含了“2”和“3”，它們的序號(hào)是由左括號(hào)的順序決定的。在一些老的linux/unux工具里，子模式使用的圓括號(hào)需要

16、用反斜線轉(zhuǎn)義，向這種(subpattern)，但現(xiàn)代的工具已經(jīng)不需要了，本文中使用的例子都不進(jìn)行轉(zhuǎn)義。在上文里，我們介紹了正則表達(dá)式的子模式，逆向引用和量詞，在這篇文章里，我們將重點(diǎn)介紹正則表達(dá)式中的斷言(Assertions)。斷言(Assertions)斷言(Assertions)是在目標(biāo)字符串的當(dāng)前匹配位置進(jìn)行的一種測(cè)試但這種測(cè)試并不占用目標(biāo)字符串，也即不會(huì)移動(dòng)模式在目標(biāo)字符串中的當(dāng)前匹配位置。讀起來似乎有點(diǎn)拗口，我們還是舉幾個(gè)簡(jiǎn)單的例子。兩個(gè)最常見的斷言是元字符“”和“$”，它們檢查匹配模式是否出現(xiàn)在行首或行尾。我們來看這個(gè)模式/ddd$/，試著用它來匹配目標(biāo)字符串“123”?！癲dd

17、”表示三個(gè)數(shù)字字符，匹配了目標(biāo)字符串的三個(gè)字符，而模式中的和$分別表示這三個(gè)字符同時(shí)出現(xiàn)在行首和行尾，而它們本身并不與目標(biāo)字符串中的任何字符相對(duì)應(yīng)。其它還有一些簡(jiǎn)單的斷言b, B, A, Z, z，它們都以反斜線開頭，前面我們已經(jīng)介紹過反斜線的這個(gè)用法。這幾個(gè)斷言的含義如下表。斷言含義b字分界線B非字分界線A目標(biāo)的開頭（獨(dú)立于多行模式）Z目標(biāo)的結(jié)尾或位于結(jié)尾的換行符前（獨(dú)立于多行模式）z目標(biāo)的結(jié)尾（獨(dú)立于多行模式）G目標(biāo)中的第一個(gè)匹配位置注意這些斷言不能出現(xiàn)在字符類中，如果出現(xiàn)了也是其它的含義，例如b在字符類中表示反斜線字符0x08。前面介紹的這些斷言的測(cè)試都是一些基于當(dāng)前位置的測(cè)試，斷言還支

18、持更多復(fù)雜的測(cè)試條件。更復(fù)雜的斷言以子模式方式來表示，它包括前向斷言(Lookahead assertions)和后向斷言(Lookbehind assertions)。前向斷言(Lookahead assertions)前向斷言從目標(biāo)字符串的當(dāng)前位置向前測(cè)試斷言條件是否成立。前向斷言又可分為前向肯定斷言和前向否定斷言，分別用(?=和?!表示。例如模式/ w+(?=;)/用來表示一串文本字符后面會(huì)有一個(gè)分號(hào)，但是這個(gè)分號(hào)并不包括在匹配結(jié)果中。一件有趣的事看起來差不多的模式/ (?=;)w+/并不是表示一串前面不是分號(hào)的alpha字符串，事實(shí)上，不論這串a(chǎn)lpha字符的前面是否是一個(gè)分號(hào)它總是匹

19、配的，要完成這個(gè)功能需要我們下面提到的后向斷言(Lookbehind assertions)。后向斷言(Lookbehind assertions)后向斷言分別用(?<=和(?<!表示肯定的后向斷言與否定后向斷言。例如，/ (?<!foo)bar/將尋找一個(gè)前面不是foo的bar字符串。一般而言，后向斷言使用的子模式需要有確定的長(zhǎng)度值，否則會(huì)產(chǎn)生一個(gè)編譯錯(cuò)誤。 使用后向斷言與一次性子模式搭配使用可以有效的文本的結(jié)束部分進(jìn)行匹配，這里來看一下例子?？紤]一下如果用/abcd$/這樣一個(gè)簡(jiǎn)單的模式來匹配一長(zhǎng)段以abcd結(jié)尾的文本，因?yàn)槟Ｊ降钠ヅ溥^程是從左向右進(jìn)行的，正則表

20、達(dá)式引擎將在文本中尋找每一個(gè)a字符并嘗試匹配剩余的模式，如果在這長(zhǎng)段文本里僅好有不少的a字符，這樣做明顯是非常低效的，而如果把以上模式換成為樣/.*abcd$/，這時(shí)前面的“.*”部分將匹配整個(gè)文本，然后它發(fā)現(xiàn)下一個(gè)模式a無法匹配，這時(shí)會(huì)發(fā)生前面提到過的回溯過程，解析器會(huì)逐次縮短“.*”匹配的字符長(zhǎng)度從右向左逐次查找剩余的子模式，也要產(chǎn)生多次的嘗試過程?，F(xiàn)在，我們用一次性子模式與后向斷言重寫所用的模式，改為/(?>.*)(?<=abcd)/，這時(shí)，一次性子模式一次匹配了整段文本，然后用后向斷言檢查前面四個(gè)字符是否為abcd，只需要一次檢測(cè)就可以立刻確定整個(gè)模式是否匹配。在遇到需要匹

21、配一個(gè)很長(zhǎng)的文本時(shí)，這種方法可以非常顯著的提高處理效率。一個(gè)模式中可以包含多個(gè)相繼的斷言，斷言也可以嵌套。另外，斷言使用的子模式也是非捕獲的，不能被逆向引用。斷言的一個(gè)重要應(yīng)用領(lǐng)域就是做為條件子模式的條件。那什么是條件子模式呢？在上一篇文章里，我們介紹了正則表達(dá)式中斷言相關(guān)的一些概念，在本文里，我們會(huì)介紹正則表達(dá)式中遞歸的運(yùn)用與利用正則表達(dá)式修改目標(biāo)字符串。正則表達(dá)式中的遞歸接觸過程序的朋友可能都遇到過成對(duì)的各種括號(hào)吧，這些括號(hào)常常相互嵌套，而且嵌套的層次數(shù)目無法確定。試想一下如果想提取一段程序里用括號(hào)括起的一段代碼，這里面很可能包含了層次數(shù)目不定的其它括號(hào)對(duì)，用正則表達(dá)式該如何完成?在Per

22、l 5.6之前這的確有點(diǎn)困難，不過從Perl 5.6之后，引入了遞歸正則表達(dá)式，這個(gè)問題得到了解決。通常在正則表達(dá)式里用“(?R)”表示一個(gè)對(duì)自己的引用，下面讓我們看看用什么正則表達(dá)式來解決剛才提出的問題。/( ( (?>()+) | (?R) )* )/x現(xiàn)在讓我們來分析這個(gè)模式的含義，這里使用了“x”模式修正符，以便可以在模式中加入空格以方便閱讀。模式的開頭是匹配第一個(gè)左圓括號(hào)，然后我們需要捕獲的子模式，注意，字模式后面跟了量詞“*”，表示此模式可以重復(fù)0到多次。最后是一個(gè)結(jié)束圓括號(hào)?，F(xiàn)在我們分析子模式( (?>()+) | (?R) )的內(nèi)容。這是一個(gè)分支子模式，表示模式可以有兩種情況，第一種是(?>()+)，這是一個(gè)一次性子模式，代表一個(gè)以上的非括號(hào)字符，另一種情況是| (?R)，也即對(duì)正則表達(dá)式自己的遞歸調(diào)用( ( (?>()+) | (?R) )* )，又尋找一個(gè)左圓括號(hào)，開始查找一對(duì)嵌套的圓括號(hào)包含的內(nèi)容。分析到這里，這個(gè)正則