Chinaunix

标题: requests 下载保存网页 [打印本页]

作者: Tina0910 时间: 2017-04-25 22:10
标题: requests 下载保存网页

大家好，我想用python把txt里的网页保存到文件夹里。

比如

1．从sampleURL.txt里面读取网址，比如网址如下：

www.baidu.com

www.sina.com

www.qq.com

www.126.com

2．要把以上这些网页分别保存到文件夹URL里（目录“C:\URL”），以HTML格式或者txt保存源代码。

我用的python3

程序如下：

import requests

path = r'C:\URL'

file = open("sampleURL.txt","r")

for line in file.readlines():

r =requests.get(line)

但是就是不知道怎么存在文件夹里。

谢谢！

作者: Tina0910 时间: 2017-04-26 12:17
求idea~ 谢谢

作者: gymgod 时间: 2017-05-03 21:29
前面的怎么去遍历文件拿网址就不写了，主要写一下怎么扒网页信息并保存吧，不知道是不是需要这样的，你可以参考一下
r=requests.get('http://www.baidu.com')
print(r.content)
with open('file.txt','wb') as f:
for line in r.content:
f.write(line)

作者: gymgod 时间: 2017-05-03 21:30
前面的怎么去遍历文件拿网址就不写了，主要写一下怎么扒网页信息并保存吧，不知道是不是需要这样的，你可以参考一下

r=requests.get('http://www.baidu.com')
print(r.content)
with open('file.txt','wb') as f:
for line in r.content:
f.write(line)

复制代码

作者: gymgod 时间: 2017-05-03 21:31
前面的怎么去遍历文件拿网址就不写了，主要写一下怎么扒网页信息并保存吧，不知道是不是需要这样的，你可以参考一下

r=requests.get('http://www.baidu.com')
print(r.content)
with open('file.txt','wb') as f:
for line in r.content:
f.write(line)

复制代码

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)