Regular Expressions (Regex)：正則表達(dá)式，軟件工程中最為強(qiáng)大，且廣泛適用，令人信服的技術(shù)之一。從驗(yàn)證電子郵件地址到執(zhí)行復(fù)雜的代碼重構(gòu)器，正則表達(dá)式的用途非常廣泛，是任何軟件工程師工具箱中必不可少的條目。

什么是正則表達(dá)式？

正則表達(dá)式（或Regex，或Regexp）是使用字符序列描述復(fù)雜搜索模式的一種方式。

然而，專門的Regex語法由于其復(fù)雜性使得有些表達(dá)式變得不可訪問。例如，下面的這個(gè)基本的正則表達(dá)式，它表示24小時(shí)制HH / MM格式的時(shí)間。

如果你覺得這看上去略顯復(fù)雜，別擔(dān)心，當(dāng)我們完成這個(gè)教程時(shí)，理解這個(gè)表達(dá)式將會(huì)是小菜一碟。

Learn once, write anywhere

幾乎任何編程語言都可以使用Regex。Regex的知識(shí)對(duì)于驗(yàn)證用戶輸入，與Unix shell進(jìn)行交互，在你喜歡的文本編輯器中搜索/重構(gòu)代碼，執(zhí)行數(shù)據(jù)庫文本搜索等等都非常有用。

在本教程中，我將嘗試在各種場景、語言和環(huán)境中對(duì)Regex的語法和使用進(jìn)行簡明易懂的介紹。

此Web應(yīng)用程序是我用于構(gòu)建、測試和調(diào)試Regex最喜歡的工具。我強(qiáng)烈推薦大家使用它來測試我們將在本教程中介紹的表達(dá)式。

本教程中的示例源代碼可以在Github存儲(chǔ)庫中找到——https://github.com/triestpa/You-Should-Learn-Regex

0 – 匹配任何數(shù)字行

我們將從一個(gè)非常簡單的例子開始——匹配任何只包含數(shù)字的行。

讓我們一點(diǎn)一點(diǎn)的解釋吧。

• ^ ——表示一行的開始。

• [0-9] ——匹配0到9之間的數(shù)字

• + ——匹配前一個(gè)表達(dá)式的一個(gè)或多個(gè)實(shí)例。

• $ ——表示行尾。

我們可以用偽英文重寫這個(gè)Regex為[start of line][one or more digits][end of line]。

很簡單，不是嗎？

我們可以用d替換[0-9]，結(jié)果相同（匹配所有數(shù)字）。

這個(gè)表達(dá)式（和一般的正則表達(dá)式）的偉大之處在于它無需太多修改，就可以用到任何編程語言中。

為了演示，我們先快速了解如何使用16種最受歡迎的編程語言對(duì)文本文件執(zhí)行此簡單的Regex搜索。

我們使用以下輸入文件（test.txt）為例。

每個(gè)腳本都將使用這個(gè)正則表達(dá)式讀取并搜索test.txt文件，并將結(jié)果（'1234', '5362', '1'）輸出到控制臺(tái)。

語言范例 0.0 – Java / Node.js / Type

0.1 – Python

0.2 – R

0.3 – Ruby

0.4 – Haskell

0.5 – Perl

0.6 – PHP

0.7 – Go

0.8 – Java

0.9 – Kotlin

0.10 – Scala

0.11 – Swift

0.12 – Rust

0.13 – C#

0.14 – C++

0.15 – Bash

以十六種語言編寫出相同的操作是一個(gè)有趣的練習(xí)，但是，接下來在本教程中，我們將主要使用Java和Python（最后還有一點(diǎn)Bash），因?yàn)檫@些語言（在我看來）傾向于產(chǎn)生最清晰和更可讀的實(shí)現(xiàn)。

1 – 年份匹配

我們來看看另外一個(gè)簡單的例子——匹配二十或二十一世紀(jì)中任何有效的一年。

我們使用b而不是^和$來開始和結(jié)束這個(gè)正則表達(dá)式。b表示單詞邊界，或兩個(gè)單詞之間的空格。這允許我們在文本塊（而不是代碼行）中匹配年份，這對(duì)于搜索如段落文本非常有用。

• b ——字邊界

• (19|20) ——使用或（|）操作數(shù)匹配’19′或’20′。

• d{2}——兩位數(shù)，與[0-9]{2}相同

• b ——字邊界

請注意b不同于s，s是用于空格字符的代碼。b搜索一個(gè)單詞字符前面或者后面沒有另一個(gè)字符的地方，因此它搜索單詞字符的缺失，而s明確搜索空格字符。b特別適用于我們想要匹配特定序列/單詞的情況，而不是特定序列/單詞之前或之后有空格的情況。

1.0 – 真實(shí)示例 – 計(jì)數(shù)年份

我們可以在Python腳本中使用此表達(dá)式來查找維基百科歷史部分的文章中提及20或21世紀(jì)內(nèi)年份的次數(shù)。

上述腳本將按照提及的次數(shù)依次打印年份。

2 – 匹配時(shí)間

現(xiàn)在我們要定義一個(gè)正則表達(dá)式來匹配24小時(shí)格式（MM：HH，如16:59）的任何時(shí)間。

• b——字邊界

• [01]——0或1

• ?——表示上述模式是可選的。

• [0-9]—— 0到9之間的任何數(shù)字

• |——OR操作數(shù)

• 2[0-3]——2，后面跟0和3之間的任何數(shù)字（即20-23）

• :——匹配:字符

• [0-5]——0到5之間的任何數(shù)字

• d——0到9之間的任何數(shù)字（與[0-9]相同）

• b ——字邊界

2.0 – 捕獲組

你可能已經(jīng)注意到上述模式中有了新內(nèi)容—— 我們在括號(hào) ( ... )中封裝小時(shí)和分鐘的捕獲片段。這允許我們將模式的每個(gè)部分定義為捕獲組。

捕獲組允許我們單獨(dú)提取、轉(zhuǎn)換和重新排列每個(gè)匹配模式的片段。

2.1 – 真實(shí)示例 – 時(shí)間分析

例如，在上述24小時(shí)模式中，我們定義了兩個(gè)捕獲組—— 時(shí)和分。

我們可以輕松地提取這些捕獲組。

以下是我們?nèi)绾问褂肑ava將24小時(shí)制的時(shí)間分解成小時(shí)和分鐘。



第0個(gè)捕獲組始終是整個(gè)匹配表達(dá)式。

上述腳本將產(chǎn)生以下輸出。



作為額外的訓(xùn)練，你可以嘗試修改此腳本，將24小時(shí)制轉(zhuǎn)換為12小時(shí)制（am/pm）。

3 – 匹配日期

現(xiàn)在我們來匹配一個(gè)DAY/MONTH/YEAR樣式的日期模式。



這個(gè)有點(diǎn)長，但它看起來與我們上面講過的有些類似。

• (0?[1-9]|[12]d|3[01])——匹配1到31之間的任何數(shù)字（前面的0是可選的）

• ([/-])——匹配分隔符/或-

• (0?[1-9]|1[012])—— 匹配1到12之間的數(shù)字

• 2——匹配第二個(gè)捕獲組（分隔符）

• d{4}——匹配任意4位數(shù)（0000 – 9999）

這里唯一新的概念是，我們使用2來匹配第二個(gè)捕獲組，即分隔符(/或-)。這使得我們能夠避免重復(fù)模式匹配規(guī)范，并且要求分隔符是一致的（如果第一個(gè)分隔符是/，那么第二個(gè)分隔符也必須一樣）。

3.0 – 捕獲組替換

通過使用捕獲組，我們可以動(dòng)態(tài)地重組和轉(zhuǎn)換我們的字符串輸入。

引用捕獲組的標(biāo)準(zhǔn)方法是使用$或符號(hào)，以及捕獲組的索引（請記住捕獲組元素是完整的捕獲文本）。

3.1 – 真實(shí)示例 – 日期格式轉(zhuǎn)換

假設(shè)我們的任務(wù)是將使用國際日期格式（DAY/MONTH/YEAR）的文檔集合轉(zhuǎn)換為美式（MONTH/DAY/YEAR）日期樣式。

我們可以通過替換模式$3$2$1$2$4或32124使用上述正則表達(dá)式。

讓我們分解捕捉組。

• $1——第一個(gè)捕獲組：日期。

• $2——第二個(gè)捕捉組：分隔符。

• $3——第三個(gè)捕獲組：月份。

• $4——第四個(gè)捕獲組：年份。

替換模式（32124）簡單地交換了表達(dá)式中月份和日期的內(nèi)容。

以下是我們?nèi)绾卧贘ava中進(jìn)行這種轉(zhuǎn)換：



上述腳本將打印Today's date is 09/18/2017到控制臺(tái)。

同樣的腳本在Python中是這樣的：



4 – 電子郵件驗(yàn)證

正則表達(dá)式也可用于輸入驗(yàn)證。



以上是一個(gè)（過于簡單的）Regex，用來匹配電子郵件地址。

• ^——輸入開始

• [^@s]——匹配除@和空格s之外的任何字符

• +——1+次數(shù)

• @——匹配’@'符號(hào)

• [^@s]+——匹配除@和空格之外的任何字符，1+次數(shù)

• .——匹配’.'字符。

• w{2,6}——匹配任何字符（字母，數(shù)字或下劃線），2-6次

• $——輸入結(jié)束

4.0 – 真實(shí)示例 – 驗(yàn)證電子郵件

假設(shè)我們要?jiǎng)?chuàng)建一個(gè)簡單的Java函數(shù)以檢查輸入是否為有效的電子郵件。



此腳本的輸出應(yīng)為



注意——在現(xiàn)實(shí)應(yīng)用程序中，使用Regex驗(yàn)證電子郵件地址對(duì)于許多情況，例如用戶注冊，是不夠的。但是一旦你確認(rèn)輸入的文本是電子郵件地址，那么你應(yīng)該始終遵循發(fā)送確認(rèn)/激活電子郵件的標(biāo)準(zhǔn)做法。

4.1 – 完整的電子郵件Regex

這是一個(gè)非常簡單的例子，它忽略了許多非常重要的電子郵件有效性邊緣情況，例如無效的開始/結(jié)束字符以及連續(xù)的周期。我真的不建議在你的應(yīng)用程序中使用上述表達(dá)式；最好是使用一個(gè)有信譽(yù)的電子郵件驗(yàn)證庫或繼續(xù)探索更完整的電子郵件驗(yàn)證Regex。

例如，下面是一個(gè)來自emailregex.com的更高級(jí)的表達(dá)式，它匹配99％的RFC 5322兼容的電子郵件地址。



不過今天我們不打算深入探討。

5 – 代碼注釋模式匹配

Regex最有用的特殊用法之一是可以成為代碼重構(gòu)器。大多數(shù)代碼編輯器支持基于Regex的查找/替換操作。一個(gè)格式正確的Regex替換可以將繁瑣的需要半小時(shí)忙碌的工作變成一個(gè)漂亮的Regex重構(gòu)魔法。

不要編寫腳本來執(zhí)行這些操作，試著在你選擇的文本編輯器中去做。幾乎每個(gè)文本編輯器都支持基于Regex的查找和替換。

以下是一些受歡迎的編輯器指南。

Sublime中的Regex替換——http://docs.sublimetext.info/en/latest/search_and_replace/search_and_replace_overview.html#using-regular-expressions-in-sublime-text

Vim中的Regex替換——http://vimregex.com/#backreferences

VSCode中的Regex替換——https://code.visualstudio.com/docs/editor/codebasics#_advanced-search-options

Emacs中的Regex替換——https://www.gnu.org/software/emacs/manual/html_node/emacs/Regexp-Replace.html

5.0 – 提取單行CSS注釋

如果我們想要查找CSS文件中的所有單行注釋怎么辦？

CSS注釋以/* Comment Here */的格式出現(xiàn)。

要捕獲任何單行CSS注釋，我們可以使用以下表達(dá)式。



• /——匹配/符號(hào)（我們有轉(zhuǎn)義/字符）

• *+——匹配一個(gè)或多個(gè)*符號(hào)（再次，我們使用來轉(zhuǎn)義*字符）。

• (.*)——匹配任何字符（除了換行符n），任意次數(shù)

• *+——匹配一個(gè)或多個(gè)*字符

• /——匹配關(guān)閉/符號(hào)。

注意，我們已經(jīng)在上面的表達(dá)式中定義了三個(gè)捕獲組：開放字符（(/*+)），注釋內(nèi)容（(.*)）和結(jié)束字符（(*+/)）。

5.1 – 真實(shí)示例 – 將單行注釋轉(zhuǎn)換為多行注釋

我們可以使用此表達(dá)式通過執(zhí)行以下替換將單行注釋轉(zhuǎn)換為多行注釋。



在這里，我們只是在每個(gè)捕獲組之間添加了一個(gè)換行符n。

嘗試在有以下內(nèi)容的文件上執(zhí)行此替換。



替換將產(chǎn)生相同的文件，但每個(gè)單行注釋轉(zhuǎn)換為多行注釋。



5.2 – 真實(shí)示例 – 標(biāo)準(zhǔn)化CSS注釋開頭

假設(shè)我們有一個(gè)又大又雜亂的CSS文件，是由幾個(gè)不同的人寫的。在這個(gè)文件中，有些注釋以/*開頭，有些以/**開頭，還有些以/*****開頭。

讓我們來寫一個(gè)Regex替換以標(biāo)準(zhǔn)化所有的單行CSS注釋，以/*開頭。

為了做到這一點(diǎn)，我們將擴(kuò)展表達(dá)式，只匹配以兩個(gè)或更多星號(hào)開頭的注釋。



這個(gè)表達(dá)式與原來的非常相似。主要區(qū)別在于開頭我們用*{2,}替換了*+。*{2,}語法表示*的“兩個(gè)或多個(gè)”實(shí)例。

為了規(guī)范每個(gè)注釋的開頭，我們可以通過以下替代。



讓我們在以下測試CSS文件上運(yùn)行此替換。



結(jié)果將是與標(biāo)準(zhǔn)注釋開頭相同的文件。



6 – 匹配網(wǎng)址

另一個(gè)非常有用的Regex是在文本中匹配URL。

下面是一個(gè)來自Stack Overflow的URL匹配表達(dá)式的示例。



• (https?://)——匹配http(s)

• (www.)?——可選的“www”前綴

• (?<domain>[-a-zA-Z0-9@:%._+~#=]{2,256}——匹配有效的域名

• .[a-z]{2,6})——匹配域擴(kuò)展擴(kuò)展名（即“.com”或“.org”）

• (?<path>/[-a-zA-Z0-9@:%_/+.~#?&=]*)?——匹配URL路徑（/posts）、查詢字符串（?limit=1）和/或文件擴(kuò)展名（.html），這些都是可選的。

6.0 – 命名捕獲組

你注意到?jīng)]有，一些捕獲組現(xiàn)在以?<name>標(biāo)識(shí)符開頭。這是命名捕獲組的語法，可以使得數(shù)據(jù)提取更加清晰。

6.1 – 真實(shí)示例 – 從Web頁面上的URL解析域名

以下是我們?nèi)绾问褂妹东@組來提取使用Python語言的網(wǎng)頁中每個(gè)URL的域名。



腳本將打印在原始網(wǎng)頁HTML內(nèi)容中找到的每個(gè)域名。



7 – 命令行的用法

許多Unix命令行實(shí)用程序也支持Regex！我們將介紹如何使用grep查找特定文件，以及使用sed替換文本文件內(nèi)容。

7.0 – 真實(shí)示例 – 用grep匹配圖像文件

我們將定義另一個(gè)基本的Regex，這次是用于匹配圖像文件。



• ^——開始行。

• .+——匹配任何字符（字母，數(shù)字，符號(hào)），除了n（換行）之外，1+次數(shù)。

• .——匹配 ‘.’字符。

• (?i)——表示下一個(gè)序列不區(qū)分大小寫。

• (png|jpg|jpeg|gif|webp)——匹配常見的圖像文件擴(kuò)展名

• $——結(jié)束行

以下是如何列出Downloads目錄中所有圖像文件的方法。

• ls ~/Downloads——列出Downloads目錄中的文件

• |——將輸出管道輸送到下一個(gè)命令

• grep -E——使用正則表達(dá)式過濾輸入

7.1 – 真實(shí)例子 – 用sed進(jìn)行電子郵件替換

bash命令中正則表達(dá)式的另一個(gè)好處是在文本文件中修改電子郵件。

這可以通過使用sed命令以及前面的電子郵件Regex的修改版本完成。

• sed——Unix的“流編輯器”實(shí)用程序，允許強(qiáng)大的文本文件轉(zhuǎn)換。

• -E——使用擴(kuò)展的Regex模式匹配

• -i——原位替換文件流

• 's/^(.*?s|)——將行的開頭包裝在捕獲組中

• [^@]+@[^s]+——電子郵件Regex的簡化版本。

• /1{redacted}/g'——用{redacted}替換每個(gè)電子郵件地址。

• test.txt——對(duì)test.txt文件執(zhí)行操作。

我們可以在一個(gè)示例test.txt文件上運(yùn)行上面的替換命令。

My email is patrick .triest@ gmail. com

命令運(yùn)行后，電子郵件將從test.txt文件中進(jìn)行編輯。

Myemail is{redacted}

警告——此命令將自動(dòng)從你傳遞的任何test.txt中刪除所有電子郵件地址，因此，在運(yùn)行它的時(shí)候要小心，因?yàn)榇瞬僮鳠o法逆轉(zhuǎn)。要在終端中預(yù)覽結(jié)果，而不是替換原來的文本，只需省略-i標(biāo)志。

注意——盡管上述命令適用于大多數(shù)Linux發(fā)行版，但是macOS使用BSD實(shí)現(xiàn)是sed，它在其支持的Regex語法中受到更多的限制。要在MacOS上使用sed，并具有體面的正則表達(dá)式支持，我建議使用brew install gnu-sed安裝sed的GNU實(shí)現(xiàn)，然后從命令行使用gsed而不是sed。

8 – 什么時(shí)候不使用Regex

好的，知道Regex是一個(gè)強(qiáng)大又靈活的工具了吧？！那么，有沒有應(yīng)該避免編寫Regex的時(shí)候？有！

8.0 – 語言解析

解析結(jié)構(gòu)化語言，從英語到Java到JSON，使用正則表達(dá)式都是一種真正的痛苦。

當(dāng)數(shù)據(jù)源中的邊緣情況或次要語法錯(cuò)誤導(dǎo)致表達(dá)式失敗時(shí)，將導(dǎo)致最終（或即時(shí)）的災(zāi)難，出于此目的去編寫你自己的正則表達(dá)式可能會(huì)讓你心情沮喪。

強(qiáng)化的解析器幾乎可用于所有機(jī)器可讀的語言，而NLP工具可用于人類語言——我強(qiáng)烈建議你使用其中一種，而不是嘗試編寫自己的語言。

8.1 – 安全 – 輸入過濾和黑名單

使用Regex過濾用戶輸入（例如來自Web表單），以及防止黑客向應(yīng)用程序發(fā)送惡意命令（例如SQL注入），看上去似乎很誘人。

在這里使用自定義的Regex是不明智的，因?yàn)樗茈y覆蓋每個(gè)潛在的攻擊向量或惡意命令。例如，黑客可以使用替代字符編碼繞過編寫得不全面的輸入黑名單過濾器。

這是另一個(gè)實(shí)例，對(duì)此我強(qiáng)烈建議你使用經(jīng)過良好測試的庫和/或服務(wù)，以及使用白名單而不是黑名單，以保護(hù)你的應(yīng)用程序免受惡意輸入。

8.2 – 性能密集的應(yīng)用程序

正則表達(dá)式的匹配速度可以從不是非?？斓綐O慢的范圍變動(dòng)，取決于表達(dá)式寫得怎么樣。對(duì)于大多數(shù)用例來說，這很好，特別是如果匹配的文本很短（例如電子郵件地址表單）的話。然而，對(duì)于高性能服務(wù)器應(yīng)用程序，正則表達(dá)式會(huì)成為性能瓶頸，特別是如果表達(dá)式寫得不好或被搜索的文本很長的話。

8.3 – 對(duì)于不需要Regex的地方

正則表達(dá)式是一個(gè)非常有用的工具，但這并不意味著你應(yīng)該在任何地方使用它。

如果問題有替代的解決方案，解決方案更簡單和/或不需要使用Regex，那么請不要只是為了顯擺而使用Regex。Regex很棒，但它也是最不可讀的編程工具之一，而且很容易出現(xiàn)邊緣情況和bug。

過度使用Regex會(huì)讓你的同事（以及需要工作在你的代碼上的任何人）生氣惱怒，甚至恨不得揍你一頓。

結(jié)論

我希望這是對(duì)Regex的許多用途的一個(gè)有用的介紹。

還有很多Regex的用例是我們沒有涵蓋的。例如，可以在PostgreSQL查詢中使用Regex來動(dòng)態(tài)地搜索數(shù)據(jù)庫中的文本模式。

我們還漏下了許多強(qiáng)大的Regex語法特性沒有覆蓋，如lookahead，lookbehind，atomic groups，recursion和subroutines。