如何加快shell批量获取url状态码的速度？

GoGo闯

都对~~回复 8# 惟吾无为


   

damcool

以前写过类似脚本，但是脚本快不一定是算法好，还可能是带宽大而已。
并行脚本

1. #!/bin/bash
   
2. function url_status()
   
3. {
   
4.         local url=$1
   
5.         local status=$(curl -m 60 -sI $url|head -1|cut -d " " -f2)
   
6.         [ "1" != "1" ]
   
7.         while [ $? -ne 0 ]; do
   
8.         mkdir lock &>/dev/null && printf "%s\t%d\n" $url $status >> "status.txt" && rmdir lock
   
9.         done
   
10. }
    
11. 
    
12. line=0
    
13. limit=100
    
14. for url in $(cat url.txt); do
    
15.         line=$((line+1))
    
16.         while [ $(($line - $(cat "status.txt" 2>/dev/null|wc -l ))) -gt $limit ]; do
    
17.         :
    
18.         done
    
19.         url_status "$url" &
    
20. done
    
21. wait

复制代码