如何加快shell批量获取url状态码的速度？

GoGo闯

写了个shell脚本来查询一批url的状态码，之后按照指定格式生成txt，能正常使用，但shell获取url状态码速度很慢，上万条url得等好长时间。如何能加快shell获取url状态码的速度？初学者，水平较菜，请高人指点下^_^

脚本如下：

1. for i in `cat url.txt`
   
2. do
   
3. STATUS_CODE=`curl -o /dev/null -s -w %{http_code} $i`                                    
   
4. echo -e "$i:\t$STATUS_CODE" >>状态码.txt                                                
   
5. done

复制代码

reyleon

可以搞个并发！ 不过感觉如果对同一个url请求太快也是个问题。

1. #!/bin/bash
   
2. 
   
3. Thread=50
   
4. CurFileName="url.txt"
   
5. FifoFile="$.fifo"
   
6. mkfifo $FifoFile
   
7. exec 6<>$FifoFile      
   
8. rm $FifoFile
   
9. for ((i=0;i<=$Thread;i++));do echo;done >&6
   
10. exec 5<$CurFileName
    
11. trap 'kill -9 0;exit 1' 1 2 3 15
    
12. 
    
13. while read -u5 line
    
14. do
    
15.         read -u6
    
16.         {
    
17.                 STATUS_CODE=$(curl -o /dev/null -s -w %{http_code} "$line")
    
18.                 echo -e "$line\t$STATUS_CODE" |tee -a code.txt   
    
19.                 echo >&6
    
20.         } &
    
21. done
    
22. wait  

复制代码

reb00t

并发大师啊～ 请用大蛇写一下并发。

惟吾无为

说下思路。

1. wget --spider -nv -i url.txt -o out.log # -i处理url列表，免得重复fork子进程、ip绑定和dns解析。--spider 只HEAD不GET。
   
2. 自己sed/awk处理out.log吧。

复制代码

其他情况你自己试。

1. froms@1312ax:/dev/shm$ wget --spider localhost/d -nv
   
2. http://localhost/d:
   
3. Remote file does not exist -- broken link!!!
   
4. froms@1312ax:/dev/shm$ wget --spider localhost/api -nv
   
5. 2013-11-07 13:34:14 URL: http://localhost/api/ 200 OK
   

复制代码

GoGo闯

大神，刚测试下跑出来的是这种情况~~


回复 2# reyleon


   

personball

回复 1# GoGo闯


    用curl -I选项就行了，只要http响应头

1. [root@centOS ~]# curl -I http://nb.eehu.com
   
2. HTTP/1.1 200 OK
   
3. Server: nginx
   
4. Date: Thu, 07 Nov 2013 06:19:11 GMT
   
5. Content-Type: text/html; charset=utf-8
   
6. Content-Length: 121762
   
7. Connection: keep-alive
   
8. Vary: Accept-Encoding
   
9. Cache-Control: private
   
10. X-AspNetMvc-Version: 3.0
    
11. X-AspNet-Version: 4.0.30319
    
12. X-Powered-By: ASP.NET

复制代码

关阴月飞

回复 5# GoGo闯


    把你的代码贴一下

惟吾无为

1. sh.souxuexiao.com/school-153153
   
2. sh.souxuexiao.com/kc-366979
   
3. sh.souxuexiao.com/kc-367143
   
4. sh.souxuexiao.com/kc-366993
   

复制代码

我找对几个链接？

reyleon

回复 5# GoGo闯


    我测试没问题，另外你可以根据6楼的方法，再加上一个 -I 参数，只取头部，在原来的基础上又会快一些

reyleon

回复 5# GoGo闯

1. [root@centos6-1 ~]#
   
2. [root@centos6-1 ~]# wc -l url.txt
   
3. 15000 url.txt
   
4. [root@centos6-1 ~]#
   
5. [root@centos6-1 ~]# head url.txt
   
6. www.ifeng.com
   
7. www.163.com
   
8. www.ifeng.com
   
9. www.hao123.com
   
10. www.youku.com
    
11. www.ifeng.com
    
12. www.hao123.com
    
13. www.hao123.com
    
14. www.youku.com
    
15. www.baidu.com
    
16. [root@centos6-1 ~]#
    
17. [root@centos6-1 ~]# cat test.sh
    
18. #!/bin/bash
    
19. 
    
20. Thread=100
    
21. CurFileName="url.txt"
    
22. #CurFileName="ip.txt"
    
23. FifoFile="$.fifo"
    
24. mkfifo $FifoFile
    
25. exec 6<>$FifoFile      
    
26. rm $FifoFile
    
27. for ((i=0;i<=$Thread;i++));do echo;done >&6
    
28. exec 5<$CurFileName
    
29. trap 'kill -9 0;exit 1' 1 2 3 15
    
30. 
    
31. while read -u5 line
    
32. do
    
33.         read -u6
    
34.         {
    
35.                 STATUS_CODE=$(curl -I -o /dev/null -s -w %{http_code} "$line")
    
36.                 echo -e "$line\t$STATUS_CODE" |tee -a code.txt   
    
37.                 #ssh $line "ls /tmp/ &>/dev/null"
    
38.                 #echo ok
    
39.                 echo >&6
    
40.         } &
    
41. done
    
42. wait  
    
43. [root@centos6-1 ~]# time sh test.sh &>/dev/null
    
44. 
    
45. real    3m42.393s
    
46. user    0m36.823s
    
47. sys     1m41.365s
    
48. [root@centos6-1 ~]#

复制代码

15000条记录，花了 3 分多钟。