Shell脚本之——正则表达式的详解

Shell脚本之——正则表达式的详解
⼀、正则表达式
1.1 什么是正则表达式
正则表达式(regular expression)描述了⼀种字符串匹配的模式（pattern），可以⽤来检查⼀个串是否含有某种⼦串、将匹配的⼦串替换或者从某个串中取出符合某个条件的⼦串等。

在Linux中也就是代表我们定义的模式模板，Linux⼯具可以⽤它来过滤⽂本。

Linux的⼯具（如sed编辑器或者gawk程序）能够在处理数据时使⽤正则表达式对数据进⾏模式匹配，如果数据符合匹配的要求，那么就会进⼊下⼀步处理；如果数据不符合匹配的要求，就会被过滤掉。

正则表达式模式利⽤通配符来描述数据流中的⼀个或多个字符，在我们学习Linux之前的很多场景中都可以使⽤通配符来秒速不确定的数据。

我们经常使⽤ls命令加通配符来完成对数据的简单查找，使⽤ “ * ” 通配符找出来 .txt结尾的⽂件，如下图所⽰：
但是 *.sh 结尾列出了所有txt⽂本⽂件，不管前⾯是数字还是字母，也不管有多少个，反正只要是txt结尾的⽂件就⾏了，正则表达式的⼯作原理和这个类似，但是正则表达式是功能更强⼤，不仅可以匹配数字和字母的区别，也可以对数字和字母的个数进⾏过滤。

1.2 基础正则常见元字符
1.2.1 正则表达式的组成
正则表达式是由普通字符与元字符组成：
普通字符包括⼤⼩写字母、数字、标点符号及⼀些其他符号。

元字符是指在正则表达式中具有特殊意义的专⽤字符，可以⽤来规定其前导字符( 即位于元字符前⾯的字符)在⽬标对象中的出现模式。

1.2.2 常见的元字符（⽀持的⼯具：grep、egrep、sed和awk）
\ ：转义字符，⽤于取消特殊符号的含义，例: \!、 \n、\$等
^ ：匹配字符串开始的位置，例: ^a、^the、 ^#、^[a-z]
$ ：匹配字符串结束的位置，例: word$、 ^$匹配空⾏
：匹配除\n之外的任意的⼀p个字符，例: go.d、 g…d
* :匹配前⾯⼦表达式0次或者多次，例: goo*d、 go. *d
[ list ] ：匹配list列表中的⼀个字符，例: go[ola]d， [abc]、 [a-z]、 [a-z0-9]、 [0-9]匹配任意⼀位数字
[^list] :匹配任意⾮list列表中的⼀个字符，例: [^0-9]、 [^A- Z]、 [0-9]、 [^a-z]匹配任意⼀位⾮⼩写字母
\{n\} :匹配前⾯的⼦表达式n次，例: go\{2\}d、 '[0-9]\{2\} '匹配两位数字
\{n,\} :匹配前⾯的⼦表达式不少于n次，例: go\{2,\ }d、 '[0-9]\{2, \} '匹配两位及两位以上数字
{n,m} :匹配前⾯的⼦表达式n到m次，例: go{2,3}d、 '[0-9]{2,3} '匹配两位到三位数字
注: egrep、 awk使⽤{n}、{n,}、{n,m} 匹配时“{}"前不⽤加“\”
1.2.3 扩展正则表达式元字符（⽀持的⼯具：egrep、awk）
POSIX ERE模式包括了⼀些可供Linux应⽤和⼯具使⽤的额外符号，gawk程序能够识别ERE模式，但是sed编辑器不能。

sed编辑器和gawk程序的正则表达式引擎之间是由区别的，gawk程序可以使⽤⼤多数扩展正则表达式模式符号，并且能提供⼀些额外的过滤功能，⽽这些功能都是sed编辑器所不具备的。

但正因为如此，gawk程序处理数据流时才⽐较慢。

1 问号？
问号类似于星号，不过有点细微的不同，问号表⽰前⾯的字符可以出现0次或1次，仅限于此，不会匹配多次出现的字符。

将问号结合字符组⼀起使⽤
如果字符组中的字符出现了0次或1次，匹配就会成⽴，但是如果两个字符都出现了，或者其中⼀个字符出现了2次，那么匹配都⽆法成⽴。

案例如下：
加号 +
加号是类似于星号的另⼀个模式符号，但跟问号也有所不同，加号表⽰前⾯的字符可以出现1次或者多次，但是必须出现1次，如果该字符没有出现，则⽆法匹配。

将加号结合字符组⼀起使⽤
如果字符组中定义的任⼀字符出现了，⽂本就会匹配，全部出现也可以匹配到。

管道符号 |
管道符号允许在检查数据流时，⽤逻辑OR（或）⽅式指定正则表达式要是⽤的模式，如果任意⼀个模式匹配了数据流⽂本，⽂本就通过，如果没有匹配到，那么数据则匹配失败。

使⽤管道符号的格式：expr1 | expr2 | expr1....
管道符号两侧的正则表达式可以采⽤任何正则表达式模式（包括字符组）来定义⽂本。

圆括号（）
将括号中的字符串作为⼀个整体。

正则表达式模式也可以使⽤圆括号进⾏分组，当我们将正则表达式模式分组时，该组会被视为⼀个标准字符，然后就可以像对普通字符⼀样给改组使⽤特殊字符了。

将字符组和管道符号⼀起使⽤
（a|b）b（c|d）会匹配第⼀组中字符的任意组合以及第⼆组中字符的任意组合。

花括号 { }
花括号允许为可重复的正则表达式指定⼀个上限，这通常称为间隔（interval），可以⽤两种格式来指定区间。

m：正则表达式准确出现的次数m；
m，n：正则表达式⾄少出现m次，最多n次。

这个特性可以精确的调整字符或者字符集在模式中出现的具体次数。

默认情况下，gawk程序不会识别正则表达式间隔，必须指定gawk程序的- -interval命令⾏选项才能识别正则表达式的间隔。

将间隔模式结合分组和字符组⼀起使⽤。