正则表达式

正则表达式

通用正则表达式

元字符

转义字符

转义字符 \
\.  \*

   
1
2
3

重复

字符类

• 在方括号里列出它们就行了，像[aeiou]就匹配任何一个英文元音字母，[.?!]匹配标点符号(.或?或!)。

• [0-9]代表的含意与\d就是完全一致的：一位数字；同理[a-z0-9A-Z_]也完全等同于\w（如果只考虑英文的话）

分支条件

rega|regb

   
1
2

分组

• 重复单个字符（直接在字符后面加上限定符就行了）；

• 重复多个字符：你可以用小括号来指定子表达式(也叫做分组)

反义

后向引用

使用小括号指定一个子表达式后，匹配这个子表达式的文本(也就是此分组捕获的内容)可以在表达式或其它程序中作进一步的处理。默认情况下，每个分组会自动拥有一个组号，规则是：从左向右，以分组的左括号为标志，第一个出现的分组的组号为 1，第二个为 2，以此类推。

后向引用用于重复搜索前面某个分组匹配的文本。例如，\1 代表分组 1 匹配的文本。难以理解？请看示例：

\b(\w+)\b\s+\1\b可以用来匹配重复的单词，像 go go, 或者 kitty kitty。这个表达式首先是一个单词，也就是单词开始处和结束处之间的多于一个的字母或数字(\b(\w+)\b)，这个单词会被捕获到编号为 1 的分组中，然后是 1 个或几个空白符(\s+)，最后是分组 1 中捕获的内容（也就是前面匹配的那个单词）(\1)。

你也可以自己指定子表达式的组名。要指定一个子表达式的组名，请使用这样的语法：(?<Word>\w+)(或者把尖括号换成'也行：(?'Word'\w+)),这样就把\w+的组名指定为 Word 了。要反向引用这个分组捕获的内容，你可以使用\k<Word>,所以上一个例子也可以写成这样：\b(?<Word>\w+)\b\s+\k<Word>\b。

使用小括号的时候，还有很多特定用途的语法。下面列出了最常用的一些：
   
1
2
3
4
5
6
7
8
9

常用分组语法

零宽断言

负向零宽断言

注释

贪婪与懒惰

处理选项

平衡组/递归匹配

详细语法

引用

极客学院-正则表达式

python正则

lua正则

start_pos, end_pos = string.find(str, pattern, [pos])

string.sub(str,pos1, pos2, [plain]) – str[pos1, pos2]

lua的模式匹配规则 
lua字符串的api： string.find string.match string.gmatch string.gsub 
捕获

http://rangercyh.blog.51cto.com/1444712/1393067 
模式 
让我们来看看，都有哪些特殊字符需要解释，其实这一部分在Lua的官方文档中，介绍的还是很清楚的： 
首先，任何单独的字符，除了上面那些特殊字符外，都代表他们本身。注意前提是他们独立出现。 
其次，Lua定义了一些集合，它们分别如下： 
. ：代表任意的字符。 
%a ：代表任意字母。 
%c ：代表任意控制字符。 
%d ：代表任意数字。 
%l ：代表任意小写字母。 
%p ：代表任意标点符号。 
%s ：代表任意空白字符（比如空格，tab啊）。 
%u ：代表任意大写字母。 
%w ：代表任意字母和数字。 
%x ：代表任意16进制数字。 
%z ：代表任意跟0相等的字符。 
%后面跟任意一个非字母和数字的字符，都代表了这个字符本身，包括上面那些特殊字符以及任何标点符号都可以用这个方式来表达。 
[set] ：代表一个自定义的字符集合。你可以使用符号 - 来标识一个范围，比如 1-9，a-z 之类的。需要注意的是，上面提到的那些字符集合也可以在这个自定义的集合里用，但是你不能这么写[%a-z]，这样的集合是没有意义的。 
[^set] ：代表字符集合[set]的补集（补集是什么意思，我了个去，问你数学老师去）。 
另外，对于上面提到的所有用 % 跟一个字母组成的集合，如果把字母大写，那么就对应那个集合的补集，比如 %S 的意思就是所有非空白字符。Lua官网还强调了一下，这里个定义跟本地的字符集有关，比如集合 [a-z] 就不一定跟 %l 是相等的。 
任意一个单字符表达的集合，包括 % 加单字符表达的集合后面都可以跟4种符号，他们分别是 * 、 +、 - 、 ?。 
* ：意思是前面的集合匹配0个或者更多字符，并且是尽量多的匹配。 
+ ：意思是前面的集合匹配1个或者更多字符。 
- ：意思是前面的集合匹配0个或者更多字符，尽量少的匹配。 
? ：意思是前面的集合匹配0个或者1个。 
如下： 
1 
2 
3 
4 
5 
6local a = “ammmf” 
print(string.match(a, “%a”)) – a 
print(string.match(a, “%a*”)) – ammmf 
print(string.match(a, “%a+”)) – ammmf 
print(string.match(a, “%a-“)) – 
print(string.match(a, “%a?”)) – a

看了上面的例子，你可能会想，那 * 和 + 或者加不加 ? 有什么区别呢？是有区别的，因为匹配0个和匹配1个有的时候就是有没有匹配成功的关键，比如加上 ? 就可以匹配0个，意味着即使没有对应集合的内容，也算匹配成功了，如果有捕获的话，这个时候捕获是生效的。比如： 
1 
2 
3local a = “ammmf” 
print(string.match(a, “()c”)) – nil 
print(string.match(a, “()c?”)) – 1

如果你现在还不知道 string.match() 是什么意思，就翻到前面去看吧。 
还有一个特殊的字符需要介绍，就是 %b 后面跟两个不同的字符xy，它的意思是匹配从x开始，到y结束的字符串，而且要求这个字符串里x和y的数量要相同。比如 %b() 就是匹配正常的小括号，如下： 
1 
2local a = “aaabb” 
print(string.match(a, “%bab”)) – aabb

最后，我在介绍 string.gmatch 的时候介绍过字符 ^ 的用法，它放在模式的首部，意思是从原串的首部就开始匹配，这里还有一个特殊字符跟它的用法类似，它就是 $ 字符，这个字符放在模式的末尾，意思是从原串的尾部开始匹配。在其他位置就跟 ^ 一样，也没有意义。

捕获 
捕获的意思在介绍 string.find 的时候已经详细介绍过了，这里再提一笔，捕获是在模式中，用小括号括起来的子模式，它在匹配发生的时候截取小括号内模式匹配到的字符串，然后保存下来，默认最多保存 32 个，可以在Lua源码中修改保存的数量。另外捕获的顺序是按照小括号左括号的位置来定的。至于捕获如何使用，请参看我上面介绍的4个使用了模式的函数的具体用法。

lua 字符串库

Lua解释器对字符串的支持很有限。一个程序可以创建字符串并连接字符串，但不能截取子串，检查字符串的大小，检测字符串的内容。在Lua中操纵字符串的功能基本来自于string库。

字符串库中的一些函数是非常简单的：

string.len(s)          返回字符串s的长度；
string.rep(s, n)      返回重复n次字符串s的串；你使用string.rep("a", 2^20)可以创建一个1M bytes的字符串（比如，为了测试需要）；
string.lower(s)       将s中的大写字母转换成小写（string.upper将小写转换成大写）。如果你想不关心大小写对一个数组进行排序的话，你可以这样：
                             table.sort(a, function (a, b) return string.lower(a) < string.lower(b) end)
string.upper(s)       将s中的小写字母转换成大写
                            string.upper和string.lower都依赖于本地环境变量。所以，如果你在 European Latin-1环境下，表达式：
                            string.upper("a??o")    --> "A??O"
string.sub(s,i,j)      函数截取字符串s的从第i个字符到第j个字符之间的串。Lua中，字符串的第一个字符索引从1开始。你也可以使用负索引，负索引从字符串的结尾向前计数：-1指向最后一个字符，-2指向倒数第二个，以此类推。所以， string.sub(s, 1, j)返回字符串s的长度为j的前缀；string.sub(s, j, -1)返回从第j个字符开始的后缀。如果不提供第3个参数，默认为-1，因此我们将最后一个调用写为string.sub(s, j)；string.sub(s, 2, -2)返回去除第一个和最后一个字符后的子串。
s = "[in brackets]"
print(string.sub(s, 2, -2)) --> in brackets
记住：Lua中的字符串是恒定不变的。string.sub函数以及Lua中其他的字符串操作函数都不会改变字符串的值，而是返回一个新的字符串。一个常见的错误是：
string.sub(s, 2, -2)
认为上面的这个函数会改变字符串s的值。如果你想修改一个字符串变量的值，你必须将变量赋给一个新的字符串：
s = string.sub(s, 2, -2)
string.char函数和string.byte函数用来将字符在字符和数字之间转换。string.char获取0个或多个整数，将每一个数字转换成字符，然后返回一个所有这些字符连接起来的字符串。string.byte(s, i)将字符串s的第i个字符的转换成整数；第二个参数是可选的，缺省情况下i=1。下面的例子中，我们假定字符用ASCII表示：

print(string.char(97)) --> a
i = 99; print(string.char(i, i+1, i+2)) --> cde
print(string.byte("abc")) --> 97
print(string.byte("abc", 2)) --> 98
print(string.byte("abc", -1)) --> 99 

上面最后一行，我们使用负数索引访问字符串的最后一个字符。

Lua提供了string.format()函数来生成具有特定格式的字符串, 函数的第一个参数是格式(formatstring), 之后是对应格式中每个代号的各种数据. 由于格式字符串的存在, 使得产生的长字符串可读性大大提高了. 这个函数的格式很像C语言中的printf().函数string.format在用来对字符串进行格式化的时候，特别是字符串输出，是功能强大的工具。这个函数有两个参数，你完全可以照C语言的printf来使用这个函数。第一个参数为格式化串：由指示符和控制格式的字符组成。指示符后的控制格式的字符可以为：十进制'd'；十六进制'x'；八进制'o'；浮点数'f'；字符串's'。在指示符'%'和控制格式字符之间还可以有其他的选项：用来控制更详细的格式，比如一个浮点数的小数的位数：

格式字符串可能包含以下的转义码:

%c - 接受一个数字, 并将其转化为ASCII码表中对应的字符
%d, %i - 接受一个数字并将其转化为有符号的整数格式
%o - 接受一个数字并将其转化为八进制数格式
%u - 接受一个数字并将其转化为无符号整数格式
%x - 接受一个数字并将其转化为十六进制数格式, 使用小写字母
%X - 接受一个数字并将其转化为十六进制数格式, 使用大写字母
%e - 接受一个数字并将其转化为科学记数法格式, 使用小写字母e
%E - 接受一个数字并将其转化为科学记数法格式, 使用大写字母E
%f - 接受一个数字并将其转化为浮点数格式
%g(%G) - 接受一个数字并将其转化为%e(%E, 对应%G)及%f中较短的一种格式
%q - 接受一个字符串并将其转化为可安全被Lua编译器读入的格式
%s - 接受一个字符串并按照给定的参数格式化该字符串

为进一步细化格式, 可以在%号后添加参数. 参数将以如下的顺序读入:

(1) 符号: 一个+号表示其后的数字转义符将让正数显示正号. 默认情况下只有负数显示符号.
(2) 占位符: 一个0, 在后面指定了字串宽度时占位用. 不填时的默认占位符是空格.
(3) 对齐标识: 在指定了字串宽度时, 默认为右对齐, 增加-号可以改为左对齐.
(4) 宽度数值
(5) 小数位数/字串裁切: 在宽度数值后增加的小数部分n, 若后接f(浮点数转义符, 如%6.3f)则设定该浮点数的小数只保留n位, 若后接s(字符串转义符, 如%5.3s)则设定该字符串只显示前n位.

在这些参数的后面则是上述所列的转义码类型(c, d, i, f, ...).


print(string.format("pi = %.4f", PI))
      --> pi = 3.1416
d = 5; m = 11; y = 1990
print(string.format("%02d/%02d/%04d", d, m, y))
        --> 05/11/1990
tag, title = "h1", "a title"
print(string.format("<%s>%s</%s>", tag, title, tag))
        --> <h1>a title</h1>

第一个例子，%.4f代表小数点后面有4位小数的浮点数。第二个例子%02d代表以固定的两位显示十进制数，不足的前面补0。而%2d前面没有指定0，不足两位时会以空白补足。对于格式串部分指示符得详细描述清参考lua手册，或者参考C手册，因为Lua调用标准C的printf函数来实现最终的功能。

以下是一些例子:


string.format("%%c: %c", 83)            输出S
string.format("%+d", 17.0)              输出+17
string.format("%05d", 17)               输出00017
string.format("%o", 17)                 输出21
string.format("%u", 3.14)               输出3
string.format("%x", 13)                 输出d
string.format("%X", 13)                 输出D
string.format("%e", 1000)               输出1.000000e+03
string.format("%E", 1000)               输出1.000000E+03
string.format("%6.3f", 13)              输出13.000
string.format("%q", "One\nTwo")         输出"One\
                                        　　Two"
string.format("%s", "monkey")           输出monkey
string.format("%10s", "monkey")         输出    monkey
string.format("%5.3s", "monkey")        输出  mon
   
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83

nginx正则表达式

• ngx.re.gmatch使用

  local iter = ngx.re.gmatch(xcode, “([^,]+)”, “jo”) 
  if not iter then return end

  while true do 
  local v, err = iter() 
  if not v then 
  break 
  end 
  ngx.say(“## match v: “, v[0], v[1]) 
  end

注意 v=iter之后，要求出v[0] == v[1] == “value”， 不能直接使用v

• ngx.re.match使用

  local m, err = ngx.re.match(“hello, 1234”, “([0-9])[0-9]+”)

  – m[0] == “1234”

  – m[1] == “1”

captures[0] holds the whole substring being matched, and captures[1] holds the first parenthesized sub-pattern’s capturing, captures[2] the second, and so on.

• ngx.re.find使用

python正则表达式

简介

Python通过re模块提供对正则表达式的支持。使用re的一般步骤是先将正则表达式的字符串形式编译为Pattern实例，然后使用Pattern实例处理文本并获得匹配结果（一个Match实例），最后使用Match实例获得信息，进行其他的操作。

使用

正则表达式匹配不是find，所以要整体匹配才可以

# encoding: UTF-8
import re

# 将正则表达式编译成Pattern对象
pattern = re.compile(r'hello')

# 使用Pattern匹配文本，获得匹配结果，无法匹配时将返回None
match = pattern.match('hello world!')

if match:
    # 使用Match获得分组信息
    print match.group()

### 输出 ###
# hello

   
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

api

re.compile(patt, [flag])

re.I(re.IGNORECASE): 忽略大小写（括号内是完整写法，下同）
M(MULTILINE): 多行模式，改变'^'和'$'的行为（参见上图）
S(DOTALL): 点任意匹配模式，改变'.'的行为
L(LOCALE): 使预定字符类 \w \W \b \B \s \S 取决于当前区域设定
U(UNICODE): 使预定字符类 \w \W \b \B \s \S \d \D 取决于unicode定义的字符属性
X(VERBOSE): 详细模式。这个模式下正则表达式可以是多行，忽略空白字符，并可以加入注释。
   
1
2
3
4
5
6

pattern编译后也是生成一个对象，有如下属性和方法

Pattern对象是一个编译好的正则表达式，通过Pattern提供的一系列方法可以对文本进行匹配查找。

Pattern不能直接实例化，必须使用re.compile()进行构造。

Pattern提供了几个可读属性用于获取表达式的相关信息：

pattern: 编译时用的表达式字符串。
flags: 编译时用的匹配模式。数字形式。
groups: 表达式中分组的数量。
groupindex: 以表达式中有别名的组的别名为键、以该组对应的编号为值的字典，没有别名的组不包含在内。
   
1
2
3
4
5
6
7
8
9
10

re.match

m = re.match(r'hello', 'hello world!')
print m.group()

   
1
2
3

match返回结果是一个对象，有如下的属性和方法集合

Match对象是一次匹配的结果，包含了很多关于此次匹配的信息，可以使用Match提供的可读属性或方法来获取这些信息。

属性：

string: 匹配时使用的文本。
re: 匹配时使用的Pattern对象。
pos: 文本中正则表达式开始搜索的索引。值与Pattern.match()和Pattern.seach()方法的同名参数相同。
endpos: 文本中正则表达式结束搜索的索引。值与Pattern.match()和Pattern.seach()方法的同名参数相同。
lastindex: 最后一个被捕获的分组在文本中的索引。如果没有被捕获的分组，将为None。
lastgroup: 最后一个被捕获的分组的别名。如果这个分组没有别名或者没有被捕获的分组，将为None。
方法：

group([group1, …]): 
获得一个或多个分组截获的字符串；指定多个参数时将以元组形式返回。group1可以使用编号也可以使用别名；编号0代表整个匹配的子串；不填写参数时，返回group(0)；没有截获字符串的组返回None；截获了多次的组返回最后一次截获的子串。
groups([default]): 
以元组形式返回全部分组截获的字符串。相当于调用group(1,2,…last)。default表示没有截获字符串的组以这个值替代，默认为None。
groupdict([default]): 
返回以有别名的组的别名为键、以该组截获的子串为值的字典，没有别名的组不包含在内。default含义同上。
start([group]): 
返回指定的组截获的子串在string中的起始索引（子串第一个字符的索引）。group默认值为0。
end([group]): 
返回指定的组截获的子串在string中的结束索引（子串最后一个字符的索引+1）。group默认值为0。
span([group]): 
返回(start(group), end(group))。
expand(template): 
将匹配到的分组代入template中然后返回。template中可以使用\id或\g<id>、\g<name>引用分组，但不能使用编号0。\id与\g<id>是等价的；但\10将被认为是第10个分组，如果你想表达\1之后是字符'0'，只能使用\g<1>0。
   
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

match使用

实例方法[ | re模块方法]：

match(string[, pos[, endpos]]) | re.match(pattern, string[, flags]): 
这个方法将从string的pos下标处起尝试匹配pattern；如果pattern结束时仍可匹配，则返回一个Match对象；如果匹配过程中pattern无法匹配，或者匹配未结束就已到达endpos，则返回None。 
pos和endpos的默认值分别为0和len(string)；re.match()无法指定这两个参数，参数flags用于编译pattern时指定匹配模式。 
注意：这个方法并不是完全匹配。当pattern结束时若string还有剩余字符，仍然视为成功。想要完全匹配，可以在表达式末尾加上边界匹配符'$'。 
示例参见2.1小节。
search(string[, pos[, endpos]]) | re.search(pattern, string[, flags]): 
这个方法用于查找字符串中可以匹配成功的子串。从string的pos下标处起尝试匹配pattern，如果pattern结束时仍可匹配，则返回一个Match对象；若无法匹配，则将pos加1后重新尝试匹配；直到pos=endpos时仍无法匹配则返回None。 
pos和endpos的默认值分别为0和len(string))；re.search()无法指定这两个参数，参数flags用于编译pattern时指定匹配模式。

split(string[, maxsplit]) | re.split(pattern, string[, maxsplit]): 
按照能够匹配的子串将string分割后返回列表。maxsplit用于指定最大分割次数，不指定将全部分割。 

findall(string[, pos[, endpos]]) | re.findall(pattern, string[, flags]): 
搜索string，以列表形式返回全部能匹配的子串。 


finditer(string[, pos[, endpos]]) | re.finditer(pattern, string[, flags]): 
搜索string，返回一个顺序访问每一个匹配结果（Match对象）的迭代器。 

sub(repl, string[, count]) | re.sub(pattern, repl, string[, count]): 
使用repl替换string中每一个匹配的子串后返回替换后的字符串。 
当repl是一个字符串时，可以使用\id或\g<id>、\g<name>引用分组，但不能使用编号0。 
当repl是一个方法时，这个方法应当只接受一个参数（Match对象），并返回一个字符串用于替换（返回的字符串中不能再引用分组）。 
count用于指定最多替换次数，不指定时全部替换。 

subn(repl, string[, count]) |re.sub(pattern, repl, string[, count]): 
返回 (sub(repl, string[, count]), 替换次数)。 


   
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31