免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › IT运维 › 数据安全 › 自己写的一个Perl脚本dyndropip.pl(从日志文件里分析并 ...
12下一页
最近访问板块 发新帖
查看: 8854 | 回复: 10
打印 上一主题 下一主题

自己写的一个Perl脚本dyndropip.pl(从日志文件里分析并阻止恶意IP) [复制链接]

sunwan

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2008-01-15 15:26 |只看该作者 |倒序浏览
每个服务器都免不了别人的窥探，若装了入侵检测系统，好象资源占用有点大。这几天刚好在学Perl，就边学边试，写了个脚本 dyndropip.pl，
dyndropip.pl更新到1.01版本：
修复了：长期慢速探测（2天以上）造成某数据溢出而失效的问题。
dyndropip-1.01.tar.gz (10.17 KB, 下载次数: 151)
Expect-1.20.tar.gz (52.14 KB, 下载次数: 168)
IO-Tty-1.07.tar.gz (21.49 KB, 下载次数: 126)
旧的版本：
dyndropip.tar.gz (10.06 KB, 下载次数: 108)
  1. # 程序：dyndropip.pl
  2. # 版本：1.00
  3. # 简介：dyndropip.pl是一个Perl脚本，它以一定的间隔从你选定的日志文件里分析、
  4. #       筛选出符合一定规律的IP并加以阻止，过了设定的时间再放行。
  5. # 适应：类UNIX的SHELL环境
  6. # 作者：Sunwan <SunwanCN＠gmail.com | Sunwan＠zjcnnj.cn>
  7. #
  8. #
  9. #
  10. # 命令行参数：
  11. # -c 主配置文件(绝对路径)
  12. # -p pid文件(绝对路径)
  13. # -D 以守护进程运行
复制代码


我把它打包了dyndropip.tar.gz，有如下文件：
dyndropip.pl 主要脚本
dyndropip    linux daemon 启动脚本(start、stop、restart)
dyndropip.sh.iptables 执行iptables的shell脚本，我把它分离出来是为了在别的类UNIX环境使用，会的人可以添加比如  dyndropip.sh.pf、dyndropip.sh.ipfw等等，再在配置文件里修改以下，就可以用到BSD上了。
expect.example.pl 在网关联动（即除了本机可以阻断IP外，网关也可以同时阻断）时，非类UNIX的shell环境（比如一些专用的路由器）可能要定制登录网关的交互脚本，是用Perl的Expect.pm模块写的，希望有能力的人补充。
etc/dyndropip.conf.example 主配置文件，到时候改名为dyndropip.conf再编辑成适合自己的。
etc/droprules 规则文件
还有两个CPANs上的模块：Expect-1.20和IO-Tty-1.07，有网关联动的，须要先安装这两个模块。

主配置文件（dyndropip.conf）：
  1. #
  2. # 此文件为 dyndropip.pl 脚本的配置文件
  3. #
  4. # 对一些特殊符号，如'#、$、@、\'及括弧、引号等，要在符号前面添加反斜杠'\'
  5. # 这里面的值可以加引号，不区分单引号和双引号，只相当于分界符。
  6. #

  8. # 匹配规则在下面的文件里规定
  9. RULEFILE = /usr/local/dyndropip/etc/droprules

  11. # 日志文件，可查看运行状态及报表
  12. LOGFILE = /var/log/dyndropip.log

  14. ###############################################################################

  16. #
  17. # 本地端
  18. #

  20. # 在本机执行的防火墙脚本
  21. ACTSCRIPT = /usr/local/dyndropip/dyndropip.sh.iptables

  23. # 可执行文件搜索不到，可在此添加搜索路径
  24. #LOCALPROGPATH = /usr/local/iptables/sbin

  26. # 要阻断IP的提交方式。默认是刷新防火墙链，提交所有在DROP表里的IP，
  27. # 可选增量方式提交，即只提交这次新增到DROP表或从DROP表删除的IP。
  28. #LOCALSUBJECT = Inc

  30. ###############################################################################

  32. #
  33. # 远程端
  34. #

  36. # 远程端开启，默认状态没有开启
  37. #REMOTE = On

  39. # 登录命令
  40. LOGINCMD = "/usr/bin/ssh -l username 192.168.1.1"

  42. # 默认的超时秒数
  43. TIMEOUT = 10

  45. # 登录到开始执行防火墙脚本时的命令提示符
  46. PROMPT = "your\@domain ~\]\# "

  48. # 用户名，可能已经包含在命令里了
  49. #RUSERNAME = your_name

  51. # 登录密码，有可能直接写在登录时的交互配置里了
  52. #RPASSWD = "your_\$ht\@\,password4534"

  54. # 要在远端执行的防火墙脚本，要选择对应系统的脚本
  55. REMOTESCRIPT = /usr/local/dyndropip/dyndropip.sh.iptables

  57. # 远端可执行文件包含路径的全名
  58. #REMOTEACTPROG = /sbin/iptables

  60. # 要阻断IP的提交方式。默认是刷新防火墙链，提交所有在DROP表里的IP，
  61. # 可选增量方式提交，即只提交这次新增到DROP表或从DROP表删除的IP。
  62. #REMOTESUBJECT = Inc

  64. # 对特殊的路由器，可能需要定制Expect脚本，可添加Expect脚本路径全名，
  65. # 添加了定制脚本后，则下面的登录配置自动作废。
  66. #EXPECTSCRIPT = /usr/local/dyndropip/expect.example.pl

  68. ###############################################################################

  70. # 下面为Expect交互登录到出现命令提示符的配置,对UNIX类的操作系统有效。
  71. # 'EXPECT START'和'EXPEXT END'之间为配置内容，每个交互过程一行。一行中，前面
  72. # 部分为期望的提示，后面为应答(即发送的命令)，默认使用正则表达式匹配。
  73. # 如不用正则表达式，要加'-ex'：
  74. # '-ex'  'Password: '  'your_password'
  75. # 即远程端出现的提示有包含'Password: '，就发送your_password。
  76. # 使用正则表达式：
  77. # "-re"  "[Pp]assword:\s?$"  "your_password" 或
  78. # [Pp]assword:\s?$  your_password
  79. # 注：如果词中有空格要用单引号或双引号括起，各个词之间用空格或TAB键隔开
  80. # 如上面的例子可以匹配多种情况，'Password: '、'Password:'、'password: '和
  81. # 'password:'，可以匹配行尾、行头等利用正则实现准确匹配，有能力的，尽量使用
  82. # 正则表达式匹配。
  83. # 下面这个例子是用ssh登录时的过程

  85. EXPECT START

  87. \(yes\/no\)\?\s*$        yes
  88. # 应答时可以引用前面设置的变量，形式如$conf{...}，整个词只能是一个完整的变量
  89. [Uu]sername:\s?$        $conf{RUSERNAME}
  90. [Pp]assword:\s?$        $conf{RPASSWD}
  91. "name\@domain ~\]\$ $"        "su -"
  92. "[Pp]assword: $"        root_password

  94. EXPECT END

  96. # 这下面的内容都将被忽略
  97. ###############################################################################
复制代码


规则文件（droprules）：
  1. # dyndropip的规则文件
  2. # 改变此规则文件不需要重新启动主程序，在下一个分析周期自动生效。

  4. # 间歇时间，即分析周期，以分钟为单位,以此时间来界定突发速率。
  5. INTTIME = 1

  7. # 扩展时间，尽量为INTTIME的倍数值，以此作为平均检测时间。
  8. EXTTIME = 10

  10. # 符合匹配条件的记录条数。若一个IP在INTTIME或EXTTIME时间里达到此值，
  11. # 则开始阻断此IP连接。
  12. LIMIT = 15

  14. # 第一次运行时取日志的最后多少行来分析
  15. LASTLINES = 200

  17. # 阻断时间（以分钟为单位）
  18. DROPTIME = 30

  20. # 观察时间（以分钟为单位）
  21. OBTIME = 30

  23. # 加倍惩罚（On、Off）
  24. # 第一次检测到一个IP后开始阻断此IP，在阻断时间（DROPTIME若为30分钟）过后又开始
  25. # 放行，在观察时间（OBTIME）里若发现此IP又达到触发界限，则阻断时间加倍为60分钟，
  26. # 60分钟后又放行，若在观察时间里再次观测到此IP，则阻断时间再加倍为120分钟，如
  27. # 此下去，最长到48小时；若为off则阻断时间不加倍。
  28. PUNISH = On

  30. # 以下白名单中的IP不阻止，以空格分开
  31. WHITELIST = 127. 192.168. 10.8.8.8

  33. #
  34. # 以下开始为每个日志匹配的规则。
  35. # 以”F：”打头的是日志路径，绝对路径名。
  36. # 紧接着以”R：”开始的是在此日志范围里匹配的规则，以一个数字（可以省略）和一个
  37. # 在两个"/"之间的正则表达式表示。数字是每IP匹配到此表达式达到此值，则阻断，
  38. # 和前面的LIMIT只要有其中一个达到就生效。
  39. # 注意：匹配IP的表达式一定要用"()"括起来，并且是第一个匹配的括号，若有其它的
  40. # 括号，请用"(?:某某)"。
  41. #

  43. F:/var/log/messages
  44.   R:10        /sshd\[\d+\]: Failed password .+[\D]((?:\d{1,3}\.){3}\d{1,3})/
  45. #  R:        /pure-ftpd:.+[\D]((?:\d{1,3}\.){3}\d{1,3}).+\[WARNING\].+验证失败/

  47. #F:/var/log/maillog

  49. #  R:        /pop3d: LOGIN FAILED.+[\D]((?:\d{1,3}\.){3}\d{1,3})/
  50. #  R:        /vpopmail user not found.+[\D]((?:\d{1,3}\.){3}\d{1,3})/

  52. #F:/var/log/httpd/access_log
  53. #  R:10        /((?:\d{1,3}\.){3}\d{1,3}).+\/cmd(?:32)?\.exe\?/
复制代码


日志和报表(dyndropip.log)如下：
  1. 1月 14 14:14:45 Dyndropip starting ... successfully.
  2. 1月 14 14:14:45 -------- REPORTS START --------
  3. IP address        Match times
  4. 202.39.48.139        22
  5. 82.109.252.34        1
  6. 210.5.162.42        12
  7. 222.128.249.253        12
  8. -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  
  9. Rule: 10 /sshd\[\d+\]: Failed password .+[\D]((?:\d{1,3}\.){3}\d{1,3})/
  10. Total:        47        Current:        47
  11.         202.39.48.139        22
  12.         82.109.252.34        1
  13.         210.5.162.42        12
  14.         222.128.249.253        12
  15. -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  
  16. IPs at below had added to DROP list:
  17. 202.39.48.139        210.5.162.42        222.128.249.253
  18. IPs at below are in DROP list:
  19. 202.39.48.139        210.5.162.42        222.128.249.253
  20. -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  
  21. 1月 14 14:14:45 Local firewall updated successfully.
  22. 1月 14 14:14:45 Gateway firewall updated successfully.
  23. =================--------  REPORTS END  --------
  24. 1月 14 14:16:45 -------- REPORTS START --------
  25. IP address        Match times
  26. 127.0.0.1        1
  27. -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  
  28. Rule:  /pure-ftpd:.+[\D]((?:\d{1,3}\.){3}\d{1,3}).+\[WARNING\].+验证失败/
  29. Total:        1        Current:        1
  30.         127.0.0.1        1
  31. =================--------  REPORTS END  --------
  32. 1月 14 14:44:45 -------- REPORTS START --------
  33. IPs at below had removed from DROP list:
  34. 202.39.48.139        210.5.162.42        222.128.249.253
  35. Now, no IPs in DROP list!
  36. -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  
  37. 1月 14 14:44:45 Local firewall updated successfully.
  38. 1月 14 14:44:47 Gateway firewall updated successfully.
  39. =================--------  REPORTS END  --------
  40. 1月 14 14:57:45 -------- REPORTS START --------
  41. IP address        Match times
  42. 127.0.0.1        1
  43. -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  
  44. Rule:  /pure-ftpd:.+[\D]((?:\d{1,3}\.){3}\d{1,3}).+\[WARNING\].+验证失败/
  45. Total:        2        Current:        1
  46.         127.0.0.1        1
  47. =================--------  REPORTS END  --------
  48. 1月 14 18:33:45 -------- REPORTS START --------
  49. IP address        Match times
  50. 202.106.92.130        9
  51. -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  
  52. Rule: 10 /sshd\[\d+\]: Failed password .+[\D]((?:\d{1,3}\.){3}\d{1,3})/
  53. Total:        56        Current:        9
  54.         202.106.92.130        9
  55. =================--------  REPORTS END  --------
  56. 1月 14 18:34:45 -------- REPORTS START --------
  57. IP address        Match times
  58. 202.106.92.130        21
  59. -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  
  60. Rule: 10 /sshd\[\d+\]: Failed password .+[\D]((?:\d{1,3}\.){3}\d{1,3})/
  61. Total:        77        Current:        21
  62.         202.106.92.130        21
  63. -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  
  64. IPs at below had added to DROP list:
  65. 202.106.92.130
  66. IPs at below are in DROP list:
  67. 202.106.92.130
  68. -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  
  69. 1月 14 18:34:45 Local firewall updated successfully.
  70. 1月 14 18:34:47 Gateway firewall updated successfully.
  71. =================--------  REPORTS END  --------
  72. 1月 14 18:35:45 -------- REPORTS START --------
  73. IP address        Match times
  74. 202.106.92.130        1
  75. -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  
  76. Rule: 10 /sshd\[\d+\]: Failed password .+[\D]((?:\d{1,3}\.){3}\d{1,3})/
  77. Total:        78        Current:        1
  78.         202.106.92.130        1
  79. =================--------  REPORTS END  --------
  80. 1月 14 19:04:45 -------- REPORTS START --------
  81. IPs at below had removed from DROP list:
  82. 202.106.92.130
  83. Now, no IPs in DROP list!
  84. -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  
  85. 1月 14 19:04:45 Local firewall updated successfully.
  86. 1月 14 19:04:46 Gateway firewall updated successfully.
  87. =================--------  REPORTS END  --------
  88. 1月 15 03:34:46 -------- REPORTS START --------
  89. IP address        Match times
  90. 61.172.200.171        9
  91. -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  
  92. Rule: 10 /sshd\[\d+\]: Failed password .+[\D]((?:\d{1,3}\.){3}\d{1,3})/
  93. Total:        87        Current:        9
  94.         61.172.200.171        9
  95. =================--------  REPORTS END  --------
  96. 1月 15 03:35:46 -------- REPORTS START --------
  97. IP address        Match times
  98. 61.172.200.171        28
  99. -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  
  100. Rule: 10 /sshd\[\d+\]: Failed password .+[\D]((?:\d{1,3}\.){3}\d{1,3})/
  101. Total:        115        Current:        28
  102.         61.172.200.171        28
  103. -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  
  104. IPs at below had added to DROP list:
  105. 61.172.200.171
  106. IPs at below are in DROP list:
  107. 61.172.200.171
  108. -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  
  109. 1月 15 03:35:46 Local firewall updated successfully.
  110. 1月 15 03:35:48 Gateway firewall updated successfully.
  111. =================--------  REPORTS END  --------
  112. 1月 15 03:36:46 -------- REPORTS START --------
  113. IP address        Match times
  114. 61.172.200.171        1
  115. -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  
  116. Rule: 10 /sshd\[\d+\]: Failed password .+[\D]((?:\d{1,3}\.){3}\d{1,3})/
  117. Total:        116        Current:        1
  118.         61.172.200.171        1
  119. =================--------  REPORTS END  --------
  120. 1月 15 04:05:46 -------- REPORTS START --------
  121. IPs at below had removed from DROP list:
  122. 61.172.200.171
  123. Now, no IPs in DROP list!
  124. -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  
  125. 1月 15 04:05:46 Local firewall updated successfully.
  126. 1月 15 04:05:47 Gateway firewall updated successfully.
  127. =================--------  REPORTS END  --------
  128. 1月 15 15:10:47 -------- REPORTS START --------
  129. IP address        Match times
  130. 59.144.168.250        1
  131. -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  
  132. Rule: 10 /sshd\[\d+\]: Failed password .+[\D]((?:\d{1,3}\.){3}\d{1,3})/
  133. Total:        117        Current:        1
  134.         59.144.168.250        1
  135. =================--------  REPORTS END  --------
  136. 1月 15 15:40:48 -------- REPORTS START --------
  137. IP address        Match times
  138. 82.109.252.34        1
  139. -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  
  140. Rule: 10 /sshd\[\d+\]: Failed password .+[\D]((?:\d{1,3}\.){3}\d{1,3})/
  141. Total:        118        Current:        1
  142.         82.109.252.34        1
  143. =================--------  REPORTS END  --------
  144. 1月 15 15:41:48 -------- REPORTS START --------
  145. IP address        Match times
  146. 82.109.252.34        2
  147. -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  -  
  148. Rule: 10 /sshd\[\d+\]: Failed password .+[\D]((?:\d{1,3}\.){3}\d{1,3})/
  149. Total:        120        Current:        2
  150.         82.109.252.34        2
  151. =================--------  REPORTS END  --------
复制代码


安装方法（root用户）：
解压，拷贝dyndropip到一个地方，比如/usr/local/：
  1. cd /usr/local/dyndropip/etc
复制代码

编辑自己需要的dyndropip.conf和droprule；
  1. chmod 0600 dyndropip.conf  # 只允许root可见，因里面可能有网关的密码。
  2. cd ..
  3. ./dyndropip start
复制代码

就可以启动了，启动后可以到自己设置的路径里查看dyndropip.log，查看有没有问题及报表情况。
若要随机自动启动：
  1. cp dyndropip /etc/init.d
  2. cd /etc/init.d
  3. chkconfig --add dyndropip
  4. chkconfig --list dyndropip
复制代码


若要网关联动，须要先安装Expect-1.20和IO-Tty-1.07模块：
1、IO-Tty-1.07：
进入IO-Tty-1.07目录
  1.   perl Makefile.PL
  2.   make
  3.   make test
  4.   make install
复制代码

2、Expect-1.20：
进入Expect-1.20目录
  1.   perl Makefile.PL
  2.   make
  3.   make test
  4.   make install
复制代码

3、到dyndropip.conf设置一些网关需要的步骤。

本脚本在Linux服务器和一个Linux内核的路由器上测试成功，要在BSD系统上使用，需要有BSD系统上的防火墙脚本，可以参照dyndropip.sh.iptables改编。
希望改编后放上来给大家共享。

第一次用Perl写脚本，若有需要改进的，希望大家指正。

[ 本帖最后由 sunwan 于 2008-3-28 14:41 编辑 ]
skyforwing

论坛徽章:
0
2楼 [报告]
发表于 2008-01-21 20:18 |只看该作者
謝謝啦。。畢業設計要用到
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
friendshao

论坛徽章:
0
3楼 [报告]
发表于 2008-01-24 11:21 |只看该作者

好文章

好文章.支持
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
ghz_lc

论坛徽章:
0
4楼 [报告]
发表于 2008-01-28 17:13 |只看该作者
高手，不过我看不懂。
顶！！！！！！！！
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
loveflag

论坛徽章:
0
5楼 [报告]
发表于 2008-02-25 11:37 |只看该作者
谢谢 共享。  搜藏研究下。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
luo118

论坛徽章:
0
6楼 [报告]
发表于 2008-02-25 14:19 |只看该作者
测试下先
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
nemopang 该用户已被删除
7楼 [报告]
发表于 2008-04-03 23:07 |只看该作者
提示: 作者被禁止或删除 内容自动屏蔽
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
danni505 该用户已被删除
8楼 [报告]
发表于 2008-06-09 00:41 |只看该作者
提示: 作者被禁止或删除 内容自动屏蔽
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
skyadmin

论坛徽章:
0
9楼 [报告]
发表于 2008-06-13 22:04 |只看该作者
呵呵，真是太好了，我也拿来测测
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
ylcqen

论坛徽章:
0
10楼 [报告]
发表于 2008-06-25 10:18 |只看该作者
写得不错!已阅!
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
12下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP