求批量访问网页返回码及链接 命令

老狼000

求助达人：需求：批量打开类似http://www.xxx.com/id.html     id 从1-100万  ，读取txt中url，然后一个个访问访问。 求思路与Code 读出返回码跟URl 就行。







OK。我已解决，感谢达人，
这是我自己写的sh文件：
cat url.txt|while read line;do curl -I  "$line" url.txt|sed -n '1,1p'|awk '{print $2}' >>http.txt;done;
paste -d " "  http.txt url.txt >>jieguo.txt;

关阴月飞

话说url不是有规律么？ 还用得着从文件读？

reyleon

蛋蛋疼 ，这是要作甚？

老狼000

回复 2# 关阴月飞

url.txt
http://w.idu.com/
http://www.sina.com.cn/
http://www.163.com/

cat url.txt|while read line;do curl -I  "$line" url.txt|sed -n '1,1p'|awk '{print $2}';done;  介这样好像不行，求指点下。

关阴月飞

回复 4# 老狼000

是要这样么：

1. while read line
   
2. do
   
3.     curl -I  "$line" |awk 'NR==1{print $2;exit}'
   
4. done <url.txt

复制代码

老狼000

回复 5# 关阴月飞

一个个 请求 url.txt中的url。导出 返回码 跟对应URL

导出结果
http://www.xx.com/1.html  200
http;//www.xx.com/d/d.html 302

   

我的环境 及版本

win7下cygwin

关阴月飞

回复 6# 老狼000


用下面的就行：

1. while read line
   
2. do
   
3. curl -w "$line "%{http_code}"\n" -s -o /dev/null -I "$line"
   
4. done <url.txt

复制代码

1. pf@x201-windows7 ~
   
2. $ cygcheck.exe -c cygwin
   
3. Cygwin Package Information
   
4. Package              Version        Status
   
5. cygwin               1.7.17-1       OK
   
6. 
   
7. pf@x201-windows7 ~
   
8. $  cat url.txt
   
9. www.qq.com
   
10. www.baidu.com
    
11. www.163.com
    
12. www.sina.com
    
13. 
    
14. pf@x201-windows7 ~
    
15. $ while read line
    
16. > do
    
17. > curl -w "$line "%{http_code}"\n" -s -o /dev/null -I "$line"
    
18. > done <url.txt
    
19. www.qq.com 200
    
20. www.baidu.com 200
    
21. www.163.com 200
    
22. www.sina.com 200
    
23. 
    
24. pf@x201-windows7 ~
    
25. $

复制代码