requests 下载保存网页

Tina0910

大家好，我想用python把txt里的网页保存到文件夹里。

比如

1．从sampleURL.txt里面读取网址，比如网址如下：

      www.baidu.com

      www.sina.com

      www.qq.com

      www.126.com

2． 要把以上这些网页分别保存到文件夹URL里（目录“C:\URL”），以HTML格式或者txt保存源代码。

我用的python3

程序如下：

import requests

path = r'C:\URL'

file = open("sampleURL.txt","r")

for line in file.readlines():

    r =requests.get(line)

   

但是就是不知道怎么存在文件夹里。

谢谢！

Tina0910

求idea~ 谢谢

gymgod

前面的怎么去遍历文件拿网址就不写了，主要写一下怎么扒网页信息并保存吧，不知道是不是需要这样的，你可以参考一下
r=requests.get('http://www.baidu.com')
print(r.content)
with open('file.txt','wb') as f:
    for line in r.content:
        f.write(line)

gymgod

前面的怎么去遍历文件拿网址就不写了，主要写一下怎么扒网页信息并保存吧，不知道是不是需要这样的，你可以参考一下

1. r=requests.get('http://www.baidu.com')
   
2. print(r.content)
   
3. with open('file.txt','wb') as f:
   
4.     for line in r.content:
   
5.         f.write(line)

复制代码

gymgod

前面的怎么去遍历文件拿网址就不写了，主要写一下怎么扒网页信息并保存吧，不知道是不是需要这样的，你可以参考一下

1. r=requests.get('http://www.baidu.com')
   
2. print(r.content)
   
3. with open('file.txt','wb') as f:
   
4.     for line in r.content:
   
5.         f.write(line)

复制代码