正则表达式

boyishwei

                                                       
            
                        正则表达式之道
原著：Steve Mansour
sman@scruznet.com
Revised: June 5, 1999
(copied by jm /at/ jmason.org from
http://www.scruz.net/%7esman/regexp.htm
, after the original disappeared! )
翻译：Neo Lee
neo.lee@gmail.com
2004年10月16日
英文版原文
译者按：原文因为年代久远，文中很多链接早已过期（主要是关于vi、sed等工具的介绍和手册），本译文中已将此类链接删除，如需检查这些链接可以查看上
面链接的原文。除此之外基本照原文直译，括号中有“译者按”的部分是译者补充的说明。如有内容方面的问题请直接和Steve
Mansor联系，当然，如果你只写中文，也可以和我联系。
目 录
什么是正则表达式
范例
   简单
   中级（神奇的咒语）
   困难（不可思议的象形文字）
不同工具中的正则表达式
什么是正则表达式
一个正则表达式，就是用某种模式去匹配一类字符串的一个公式。很多人因为它们看上去比较古怪而且复杂所以不敢去使用——很不幸，这篇文章也不能够改变这一
点，不过，经过一点点练习之后我就开始觉得这些复杂的表达式其实写起来还是相当简单的，而且，一旦你弄懂它们，你就能把数小时辛苦而且易错的文本处理工作
压缩在几分钟（甚至几秒钟）内完成。正则表达式被各种文本编辑软件、类库（例如Rogue
Wave的tools.h++）、脚本工具（像awk/grep/sed）广泛的支持，而且像Microsoft的Visual
C++这种交互式IDE也开始支持它了。
我们将在如下的章节中利用一些例子来解释正则表达式的用法，绝大部分的例子是基于vi中的文本替换命令和grep文件搜索命令来书写的，不过它们都是比较
典型的例子，其中的概念可以在sed、awk、perl和其他支持正则表达式的编程语言中使用。你可以看看不同工具中的正则表达式这一节，其中有一些在别
的工具中使用正则表达式的例子。还有一个关于vi中文本替换命令（s）的简单说明附在文后供参考。
正则表达式基础
正则表达式由一些普通字符和一些元字符（metacharacters）组成。普通字符包括大小写的字母和数字，而元字符则具有特殊的含义，我们下面会给予解释。
在最简单的情况下，一个正则表达式看上去就是一个普通的查找串。例如，正则表达式"testing"中没有包含任何元字符，，它可以匹配"testing"和"123testing"等字符串，但是不能匹配"Testing"。
要想真正的用好正则表达式，正确的理解元字符是最重要的事情。下表列出了所有的元字符和对它们的一个简短的描述。
元字符     描述
  
.
  匹配任何单个字符。例如正则表达式r.t匹配这些字符串：rat、rut、r t，但是不匹配root。
$
  匹配行结束符。例如正则表达式weasel$ 能够匹配字符串"He's a weasel"的末尾，但是不能匹配字符串"They are a bunch of weasels."。
^
  匹配一行的开始。例如正则表达式^When in能够匹配字符串"When in the course of human events"的开始，但是不能匹配"What and When in the"。
*
  匹配0或多个正好在它之前的那个字符。例如正则表达式.*意味着能够匹配任意数量的任何字符。
\
  这是引用府，用来将这里列出的这些元字符当作普通的字符来进行匹配。例如正则表达式\$被用来匹配美元符号，而不是行尾，类似的，正则表达式\.用来匹配点字符，而不是任何字符的通配符。
[ ]
[c1-c2]
[^c1-c2]
  匹配括号中的任何一个字符。例如正则表达式r[aou]t匹配rat、rot和rut，但是不匹配ret。可以在括号中使用连字符-来指定字符的区
间，例如正则表达式[0-9]可以匹配任何数字字符；还可以制定多个区间，例如正则表达式[A-Za-z]可以匹配任何大小写字母。另一个重要的用法是
“排除”，要想匹配除了指定区间之外的字符——也就是所谓的补集——在左边的括号和第一个字符之间使用^字符，例如正则表达式[^269A-Z]
将匹配除了2、6、9和所有大写字母之外的任何字符。
\
  匹配词（word）的开始（\）。例如正则表达式\Replace，然后选择"Regular
expression"选择框，Find
What输入框对应上面介绍的vi命令:%s/pat1/pat2/g中的pat1部分，而Replace输入框对应pat2部分。但是，为了得到vi的
执行范围和g选项，你要使用Replace All或者适当的手工Find Next and
Replace（译者按：知道为啥有人骂微软弱智了吧，虽然VC中可以选中一个范围的文本，然后在其中执行替换，但是总之不够vi那么灵活和典雅）。
sed
Sed是Stream EDitor的缩写，是Unix下常用的基于文件和管道的编辑工具，可以在手册中得到关于sed的详细信息。
这里是一些有趣的sed脚本，假定我们正在处理一个叫做price.txt的文件。注意这些编辑并不会改变源文件，sed只是处理源文件的每一行并把结果显示在标准输出中（当然很容易使用重定向来定制）：
sed脚本     描述
  
sed 's/^$/d' price.txt   删除所有空行
sed 's/^[ \t]*$/d' price.txt   删除所有只包含空格或者制表符的行
sed 's/"//g' price.txt   删除所有引号
awk
awk是一种编程语言，可以用来对文本数据进行复杂的分析和处理。可以在手册中得到关于awk的详细信息。这个古怪的名字是它作者们的姓的缩写（Aho，Weinberger和Kernighan）。
在Aho，Weinberger和Kernighan的书The AWK Programming
Language中有很多很好的awk的例子，请不要让下面这些微不足道的脚本例子限制你对awk强大能力的理解。我们同样假定我们针对
price.txt文件进行处理，跟sed一样，awk也只是把结果显示在终端上。
awk脚本     描述
  
awk ' !~ /^$/' price.txt   删除所有空行
awk 'NF > 0' price.txt   awk中一个更好的删除所有行的办法
awk ' ~ /^[JT]/ ' price.txt   打印所有第二个字段是'J'或者'T'打头的行中的第三个字段
awk ' !~ /[Mm]isc/ {print  + }' price.txt   针对所有第二个字段不包含'Misc'或者'misc'的行，打印第3和第4列的和（假定为数字）
awk ' !~ /^[0-9]+\.[0-9]*$/ ' price.txt   打印所有第三个字段不是数字的行，这里数字是指d.d或者d这样的形式，其中d是0到9的任何数字
awk ' ~ /John|Fred/ ' price.txt   如果第二个字段包含'John'或者'Fred'则打印整行
grep
grep是一个用来在一个或者多个文件或者输入流中使用RE进行查找的程序。它的name编程语言可以用来针对文件和管道进行处理。可以在手册中得到关于
grep的完整信息。这个同样古怪的名字来源于vi的一个命令，g/re/p，意思是global regular expression print。
下面的例子中我们假定在文件phone.txt中包含以下的文本，——其格式是姓加一个逗号，然后是名，然后是一个制表符，然后是电话号码：
      Francis, John           5-3871
      Wong, Fred              4-4123
      Jones, Thomas           1-4122
      Salazar, Richard        5-2522
grep命令     描述
  
grep '\t5-...1' phone.txt   把所有电话号码以5开头以1结束的行打印出来，注意制表符是用\t表示的
grep '^S[^ ]* R' phone.txt   打印所有姓以S打头和名以R打头的行
grep '^[JW]' phone.txt   打印所有姓开头是J或者W的行
grep ', ....\t' phone.txt   打印所有姓是4个字符的行，注意制表符是用\t表示的
grep -v '^[JW]' phone.txt   打印所有不以J或者W开头的行
grep '^[M-Z]' phone.txt   打印所有姓的开头是M到Z之间任一字符的行
grep '^[M-Z].*[12]' phone.txt   打印所有姓的开头是M到Z之间任一字符，并且点号号码结尾是1或者2的行
egrep
egrep是grep的一个扩展版本，它在它的正则表达式中支持更多的元字符。下面的例子中我们假定在文件phone.txt中包含以下的文本，——其格式是姓加一个逗号，然后是名，然后是一个制表符，然后是电话号码：
      Francis, John           5-3871
      Wong, Fred              4-4123
      Jones, Thomas           1-4122
      Salazar, Richard        5-2522
egrep command     Description
  
egrep '(John|Fred)' phone.txt   打印所有包含名字John或者Fred的行
egrep 'John|22$|^W' phone.txt   打印所有包含John 或者以22结束或者以W的行
egrep 'net(work)?s' report.txt   从report.txt中找到所有包含networks或者nets的行
正则表达式语法支持情况
命令或环境  .  [ ]  ^  $  \( \)  \{ \}  ?  +  |  ( )
vi   X    X    X    X    X               
Visual C++   X    X    X    X    X               
awk   X    X    X    X          X    X    X    X
sed   X    X    X    X    X    X            
Tcl   X    X    X    X    X       X    X    X    X
ex   X    X    X    X    X    X            
grep   X    X    X    X    X    X            
egrep   X    X   X    X    X       X    X    X    X
fgrep   X    X    X    X    X               
perl   X   X   X   X   X      X   X   X   X

vi替换命令简介
Vi的替换命令：
      :ranges/pat1/pat2/g
其中
      : 这是Vi的命令执行界面。
      range
是命令执行范围的指定，可以使用百分号（%）表示所有行，使用点（.）表示当前行，使用美元符号（$）表示最后一行。你还可以使用行号，例如10,20表
示第10到20行，.,$表示当前行到最后一行，.+2,$-5表示当前行后两行直到全文的倒数第五行，等等。
      s 表示其后是一个替换命令。
      pat1 这是要查找的一个正则表达式，这篇文章中有一大堆例子。
      pat2 这是希望把匹配串变成的模式的正则表达式，这篇文章中有一大堆例子。
      g 可选标志，带这个标志表示替换将针对行中每个匹配的串进行，否则则只替换行中第一个匹配串。
网上有很多vi的在线手册，你可以访问他们以获得更加完整的信息。
在线正则表达式测试工具:
http://regex.kingshang.com
               
               
               
               
               
               
               

本文来自ChinaUnix博客，如果查看原文请点：http://blog.chinaunix.net/u1/51777/showart_435485.html