發現問題

上周，我的測試同事告訴我，你的用戶名怎么還允許中文啊？當時我心里就想，你們測試肯定又搞錯接口了，我用的是正則w過濾了參數，怎么可能出錯，除非Python正則系統出錯了，那是不可能的。本著嚴謹的作風，我自己先測試一下，沒問題看我怎么懟回去。可是當我測試，我就懵逼了，中文真TM都驗證通過，不對啊，我以前也是這么過濾參數的，測試沒問題啊？唯一的區別是現在用的是Python3。
上網搜了一圈，發現沒有一篇文章講述Python2和Python3的正則在處理字符串是的區別，都是一視同仁，知道我去翻了一遍官方文檔，才明白怎么回事。

問題復現

我們都知道，Python有個正則規則 w ，幾乎所有的網上博客文章都告訴你，這個規則匹配字母數字及下劃線，但實際并不是這樣：
有Python2代碼如下：

          
            ~|? python
Python 2.7.10 (default, Aug 17 2018, 19:45:58)
[GCC 4.2.1 Compatible Apple LLVM 10.0.0 (clang-1000.0.42)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import re
>>> aa = '捕蛇者說'
>>> re.match('\w{1,20}', aa)
>>> bb = 'abc123ADB'
>>> re.match('\w{1,20}', bb)
<_sre.SRE_Match object at 0x1031b0b28>
          
        

我們可以看到，在python2中， w 是無法匹配中文的。那么，同樣的代碼在Python3中運行結果是什么樣子的了？

          
            ~|? python3
Python 3.7.1 (default, Nov 28 2018, 11:55:14)
[Clang 9.0.0 (clang-900.0.39.2)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import re
>>> aa = '捕蛇者說'
>>> re.match('\w{1,20}', aa)

            
              
>>> bb = 'abc123ADB'
>>> re.match('\w{1,20}', bb)

              
            
          
        

但在Python3中 w 是可以匹配中文的，這是怎么回事了？要回答這個問題，我們要回到Python官方文檔中來尋找答案。

解決問題

當我們仔細閱讀Python的官方文檔時，就會發現，對于同樣的正則規則 w ，Python2和Python3區別好大，我們先來看看Python2：

          
            When the LOCALE and UNICODE flags are not specified, matches any alphanumeric character and the underscore; this is equivalent to the set [a-zA-Z0-9_]. With LOCALE, it will match the set [0-9_] plus whatever characters are defined as alphanumeric for the current locale. If UNICODE is set, this will match the characters [0-9_] plus whatever is classified as alphanumeric in the Unicode character properties database.
          
        

翻譯一下：當沒有設置LOCALE(re.L)和UNICODE(re.U)標志，匹配數字字母和下劃線，如果設置了LOCALE(re.L)則匹配數字下劃線和LOCALE文字。如果設置了UNICODE(re.U)標志，匹配數字下劃線和Unicode字符集里的字符。

那么Python3了：

          
            對于 Unicode (str) 樣式：
匹配Unicode詞語的字符，包含了可以構成詞語的絕大部分字符，也包括數字和下劃線。如果設置了 ASCII 標志，就只匹配 [a-zA-Z0-9_] 。
對于8位(bytes)樣式：
匹配ASCII字符中的數字和字母和下劃線，就是 [a-zA-Z0-9_] 。如果設置了 LOCALE 標記，就匹配當前語言區域的數字和字母和下劃線。
          
        

到此，我明白了，默認情況下，不設置任何標志，Python2 w匹配ASCII字符集里的字符，包括數字字符和下劃線，Python3 w匹配數字下劃線和Unicode字符集。所以，為了遷移方便，如果你想匹配ASCII字符集里的字符，指定標志為re.A，如果你想匹配Unicode字符集里的字符，指定標志為re.U。

總結

到此，我的問題是徹底解決了，但也有兩個教訓：

• 看網上的教程要多注意，特別是教程里的環境和自己環境的區別
• 多看官方文檔

關于Python2和Python3，還有很多區別，這里就不一一列舉了，歡迎大家留言討論。

獲取更多文章，關注我的公眾號：littlebyte

收藏我的博客