正则表达进阶大讨论！欢迎参与讨论！（获奖名单已公布-2012-7-6）

瀚海书香

回复 1# send_linux
顶！

正则表达式的优劣，直接影响一个脚本语言的好坏

   

wsxedcer

回复 1# send_linux


1、在你的日常工作中会使用正则表达式解决什么样的问题？
主要是处理日志这块的，取出需要的数据，再进行后续处理的

2、正则表达式的用法在各个语言、脚本里面略有不同，你有什么学习经验可以分享给初学者？
目前只会写shell，perl学习中，所以也没什么可比较性，grep，sed，awk 的正则也略有不同，有时会写混淆，这个有点纠结，关键还是需要在工作中多运用，只看书是没有用的，不运用的话看完书就忘记了

Shell_HAT

回复 14# zooyo


牛的一B
话说当年我的毕业设计也是一个IDS，其实就是从网上找个C源码，然后在自己机器上调通，嘿嘿。

yifangyou

1、在你的日常工作中会使用正则表达式解决什么样的问题？
答：我在日常工作使用正则表达式主要解决
1) 日志分析或者查找或者替换文字，例如用perl进行统计apache中某个页面的访问量，在vi里替换
2）查找处理文件, ls a[1-5].log  ,find,或者egrep ,  用sed 替换或者删除文件内容。
3) 在开发网站时，用javascript验证表单，在php或者java验证参数格式是否正确
4)做lucene的网络蜘蛛时，用正则进行对网页url进行过滤，或者提取网页中的部分代码。
5）用php中的正则进行解析http协议
6）在apache和nginx中用url重写实现伪静态


2、正则表达式的用法在各个语言、脚本里面略有不同，你有什么学习经验可以分享给初学者？
答：
1）perl的正则表达式是最纯正的，perl的最强项就是处理文本，我个人第一次接触正则也是从perl的学习开始。
2）php作为最接近perl的一门语言，优点是没有perl语法那么晦涩难懂，把perl的灵活多变的正则表达式给继承过来，但是使用起来没有perl那么好用，而且没有perl效率高
3）javascript使用正则时和perl比较接近，个人感觉比php的正则更好用，主要用于验证用户输入，提醒输入错误，提供用户体验，没有支持perl中的translate。
下面是我一些常用的正则表达式
javascript:

1. function checkIp(tmpstr)
   
2. {
   
3.                 var patrn=/^(\d{1,3})\.(\d{1,3})\.(\d{1,3})\.(\d{1,3})$/;
   
4.                 var r=patrn.exec(tmpstr)
   
5.                 if(!r)
   
6.                 {
   
7.                         return false;
   
8.                 }
   
9.                 if(r[1]<=255 && r[2]<=255 &&r[3]<=255 && r[4]<=255 )
   
10.                         return true;
    
11.                 else
    
12.                         return false;
    
13. }
    
14. function is_numeric(tmpstr)
    
15. {
    
16.                 var patrn=/^\d+$/;
    
17.                 var r=patrn.exec(tmpstr)
    
18.                 if(!r)
    
19.                 {
    
20.                         return false;
    
21.                 }
    
22.                 return true;
    
23. }
    
24.        
    
25. String.prototype.trim = function()
    
26. {
    
27.         return this.replace(/(^\s*)|(\s*$)/g, "");
    
28. }
    
29. /*
    
30. * 只能输入英文数字.-下划线
    
31. * @param str input的value
    
32. * @use <input onkeyup="value=filterchar(value)" onafterpaste="value=filterchar(value)" />
    
33. * */
    
34. function filterchar(str){
    
35.         var p=/[^\w\-\.]/g
    
36.         return str.replace(p,'');
    
37. }
    
38. 
    
39. /*
    
40. * 过滤特殊字符
    
41. * @param str input的value
    
42. * @use <input onkeyup="value=filterschar(value)" onafterpaste="value=filterschar(value)" />
    
43. * */
    
44. function filterschar(str){
    
45.                 var p=/[\'\"#,;&%^\$!\+=\|\\\/ ]/g
    
46.                 return str.replace(p,'');
    
47. }

复制代码

php:

1. /*
   
2.         年 $matches[0]
   
3.         月 $matches[1]
   
4.         日 $matches[2]
   
5.         时 $matches[3]
   
6.         分 $matches[4]
   
7.         秒 $matches[5]
   
8.        
   
9.   解析Y-m-d H:i:s YmdHis  Y/m/d H:i:s等等
   
10. */
    
11. function analytime($adate)
    
12. {
    
13.         if(preg_match("/^(\d{4})\D{0,3}(\d{2})\D{0,3}(\d{2})\D{0,3}(\d{2})\D{0,3}(\d{2})\D{0,3}(\d{2})$/i",$adate,$matches))
    
14.         {
    
15.                 array_shift($matches);
    
16.                 return $matches;       
    
17.         }
    
18.         return 0;
    
19. }
    
20. //判断md5
    
21.         function isMd5str($str)
    
22.         {
    
23.                 return preg_match("/\w{32}/i",$str);
    
24.         }
    

复制代码

perl:

1. #本程序的功能为判断一个字符串是不是ip,是ipv4还是ipv6
   
2. #　　以下是用来将 IPv6 地址表示为文本字符串的三种常规形式：
   
3. #冒号十六进制形式
   
4. #　　这是首选形式 n:n:n:n:n:n:n:n。每个 n 都表示八个 16 位地址元素之一的十六进制值。例如：
   
5. #　　3FFE:FFFF:7654:FEDA:1245:BA98:3210:4562.
   
6. #压缩形式
   
7. #　　由于地址长度要求，地址包含由零组成的长字符串的情况十分常见。为了简化对这些地址的写入，
   
8. #     可以使用压缩形式，在这一压缩形式中，多个 0 块的单个连续序列由双冒号符号 (::) 表示。此符号只能在地址中出现一
   
9. #
   
10. #次。例如，多路广播地址 FFED:0:0:0:0:BA98:3210:4562 的压缩形式为 FFED::BA98:3210:4562。
    
11. #单播地址
    
12. #3FFE:FFFF:0:0:8:800:20C4:0 的压缩形式为 3FFE:FFFF::8:800:20C4:0。
    
13. #环回地址 0:0:0:0:0:0:0:1 的压缩形式为 ::1。
    
14. #未指定的地址 0:0:0:0:0:0:0:0 的压缩形式为 ::。
    
15. #混合形式
    
16. #　　此形式组合 IPv4 和 IPv6 地址。在此情况下，地址格式为 n:n:n:n:n:n:d.d.d.d，
    
17. #其中每个 n 都表示六个 IPv6 高序位 16 位地址元素之一的十六进制值，每个 d 都表示 IPv4 地址的十进制值。
    
18. #@author yifangyou
    
19. #@version gslb 2011-03-23
    
20. 
    
21. @testIP=("1.1.1.1","255.255.255.255","1.-2.3.4","a.b.c.d","CDCD:910A:2222:5498:8475:1111:3900:2020","::","::g","F:F:F::1:1","F:F:10F::","::F:F:10F","F:E:E:A:B:C:10.0.0.1","F:E:E:A:B:C:10.0.a.1","F::10.0.0.1","F:::10.0.0.1","::10.0.0.1");
    
22. for my $ip (@testIP) {
    
23.         my $result=isIP($ip);
    
24.         if($result){
    
25.                 print "[$ip] is ipv$result\n";
    
26.         }else{
    
27.                 print "[$ip] is not ip\n";
    
28.         }
    
29. }
    
30. 
    
31. #计算CDCD:或者:2222的个数
    
32. #@author yifangyou
    
33. #@version gslb 2011-03-23
    
34. #@return 0:表示没有找到,>0表示替换了多少个
    
35. sub cLength{
    
36.         my $s= shift;
    
37.   return  $s=~ s/([0-9a-f]{1,4}:)|(:[0-9a-f]{1,4})/ /gi;
    
38. }
    
39. 
    
40. #判断ipv4格式
    
41. #@author yifangyou
    
42. #@version gslb 2011-03-23
    
43. #@return 0:表示不是ip,4:表示ipv4,6:表示ipv6
    
44. sub isIP{
    
45.         my $tmpstr=shift;
    
46.         if(isIPv4($tmpstr)){
    
47.                 return 4;
    
48.         }
    
49.         if(isIPv6($tmpstr)){
    
50.                 return 6;       
    
51.         }
    
52.         return 0;
    
53. }
    
54. 
    
55. #判断ipv4格式
    
56. #@author yifangyou
    
57. #@version gslb 2011-03-23
    
58. #@return 0:表示不是ipv4,1:表示ipv4
    
59. sub isIPv4
    
60. {
    
61.         my $tmpstr=shift;
    
62.         if(@matches=$tmpstr=~/^(\d{1,3})\.(\d{1,3})\.(\d{1,3})\.(\d{1,3})$/i)
    
63.   {
    
64.             if($matches[0]<=255 && $matches[1]<=255 &&$matches[2]<=255 && $matches[3]<=255){
    
65.                                 return 1;
    
66.                         }
    
67.   }
    
68.   return 0;
    
69. }
    
70. 
    
71. #判断ipv6格式
    
72. #@author yifangyou
    
73. #@version gslb 2011-03-23        
    
74. #@return 0:表示不是ipv6,1:表示ipv6
    
75. sub isIPv6
    
76. {
    
77.           my $tmpstr=shift;
    
78.           
    
79. #                判断CDCD:910A:2222:5498:8475:1111:3900:2020
    
80.     if($tmpstr=~/^([0-9a-f]{1,4}:){7}[0-9a-f]{1,4}$/i){
    
81.             return 1;
    
82.     }
    
83. #                判断::
    
84.     if($tmpstr=~/^::$/i){
    
85.                     return 1;
    
86.     }
    
87. #                F:F:F::1:1  F:F:F:F:F::1  F::F:F:F:F:1格式   
    
88.     if($tmpstr=~/^(([0-9a-f]{1,4}:){1,6})((:[0-9a-f]{1,4}){1,6})$/i){
    
89.             my $c=cLength($tmpstr);
    
90.             if($c>0 && $c<=7){
    
91.                     return 1;
    
92.             }
    
93.     }
    
94.                                                
    
95. #                F:F:10F::
    
96.     if($tmpstr=~/^([0-9a-f]{1,4}:){1,7}:$/i){
    
97.             return 1;
    
98.     }
    
99.    
    
100. #                ::F:F:10F
     
101.     if($tmpstr=~/^:(:[0-9a-f]{1,4}){1,7}$/i){
     
102.             return 1;
     
103.     }
     
104.                
     
105. #                F:E:E:A:B:C:10.0.0.1格式
     
106.                 if(@matches=$tmpstr=~/^([0-9a-f]{1,4}:){6}(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})$/i){
     
107.             if(isIPv4($matches[1])){
     
108.                                 return 1;
     
109.                         }
     
110.     }
     
111. 
     
112. #   F::10.0.0.1格式
     
113.                 if(@matches=$tmpstr=~/^([0-9a-f]{1,4}:){1,5}:(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})$/i){
     
114.             if(isIPv4($matches[1])){
     
115.                                 return 1;
     
116.                         }
     
117.     }               
     
118. #                ::10.0.0.1格式
     
119.                 if(@matches=$tmpstr=~/^::(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})$/i){
     
120.             if(isIPv4($matches[0])){
     
121.                                 return 1;
     
122.                         }
     
123.     }
     
124.                 return 0;
     
125. }
     

复制代码

crazyhadoop

可以说一切表达皆正则么？ 正则告诉我们我们的表达都是有规律可循的，都符合一定的模式，通过正则匹配，我们可以找到我们想要的藏在茫茫互联网中的一切东西，网页抓取，数据整理，这都离不开正则

xdsnet

我使用bash环境下的grep/sed 来进行特殊化处理文件（包括过滤/命令特例化）

方兆国

回复 1# send_linux


    为什么现在这个超链接到其他网页的样章都下载不了，确切是那个网页进不去

send_linux

zooyo 发表于 2012-05-31 22:52
回复 5# renxiao2003

荣誉版主勋章和荣誉会员勋章早就不颁发了，还请见谅：）

xbokx

新人一个，来取经。
第一次接触正则是在用sed和gawk这俩工具时，感觉在搜索这方面确实有强大之处。
不知需要配上算法来使用否！估计会更牛。。