关于使用python的多线程检测文本中的url是否为404

myw58

有个文本文件，里边有好几万个url，想通过curl检测url的head是否返回404，判断url是否可用。
之前用shell跑太慢了，能不能用python的threading模块实现多线程，加速任务呢？

huangxiaohen

1. from multiprocessing.dummy import Pool as ThreadPool
   
2. import requests
   
3. siteList = []
   
4. with open("1.txt") as f:
   
5.    for line in f.readlines():
   
6.        siteList.append(line)
   
7. results = pool.map(requests.get, siteList)
   
8. for r in results:
   
9.    print r.status()
   

复制代码

myw58

我消化一下。。。回复 2# huangxiaohen


   

huangxiaohen

pool = ThreadPool()，忘记实例了。回复 3# myw58


   

myw58

学习了，已经成功运行，谢谢！回复 4# huangxiaohen