忘记密码   免费注册 查看新帖 | 论坛精华区

ChinaUnix.net

  平台 论坛 博客 认证专区 大话IT 视频 徽章 文库 沙龙 自测 下载 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
最近访问板块 发新帖
查看: 587 | 回复: 4

requests 下载保存网页 [复制链接]

论坛徽章:
0
发表于 2017-04-25 22:10 |显示全部楼层
大家好,我想用pythontxt里的网页保存到文件夹里。
比如
1.从sampleURL.txt里面读取网址,比如网址如下:
      www.baidu.com
      www.sina.com
      www.qq.com
      www.126.com
2 要把以上这些网页分别保存到文件夹URL里(目录“C:\URL”),以HTML格式或者txt保存源代码。
我用的python3

程序如下:
import requests
path = r'C:\URL'
file = open("sampleURL.txt","r")
for line in file.readlines():
    r =requests.get(line)
   
但是就是不知道怎么存在文件夹里。
谢谢!

论坛徽章:
0
发表于 2017-04-26 12:17 |显示全部楼层
求idea~ 谢谢

论坛徽章:
0
发表于 2017-05-03 21:29 |显示全部楼层
前面的怎么去遍历文件拿网址就不写了,主要写一下怎么扒网页信息并保存吧,不知道是不是需要这样的,你可以参考一下
r=requests.get('http://www.baidu.com')
print(r.content)
with open('file.txt','wb') as f:
    for line in r.content:
        f.write(line)

论坛徽章:
0
发表于 2017-05-03 21:30 |显示全部楼层
前面的怎么去遍历文件拿网址就不写了,主要写一下怎么扒网页信息并保存吧,不知道是不是需要这样的,你可以参考一下
  1. r=requests.get('http://www.baidu.com')
  2. print(r.content)
  3. with open('file.txt','wb') as f:
  4.     for line in r.content:
  5.         f.write(line)
复制代码


论坛徽章:
0
发表于 2017-05-03 21:31 |显示全部楼层
前面的怎么去遍历文件拿网址就不写了,主要写一下怎么扒网页信息并保存吧,不知道是不是需要这样的,你可以参考一下
  1. r=requests.get('http://www.baidu.com')
  2. print(r.content)
  3. with open('file.txt','wb') as f:
  4.     for line in r.content:
  5.         f.write(line)
复制代码


您需要登录后才可以回帖 登录 | 注册

本版积分规则

【有奖调查】AI时代如何迎接未知挑战?

人工智能一直在医疗行业扮演着重要角色,最早的专家系统和后来的基因诊断都是人工智能技术在医疗的行业探索。近年来,随着深度学习等技术的进步,人工智能在医疗行业的应用领域不断扩展,医学影像智能诊断、语音电子病历、癌症智能诊断等均已逐渐成为热门发展方向。
而作为人工智能重要推动力的深度学习技术的快速发展却亟需认知系统的强力支撑。
----------------------------------------
活动时间:2017年5月15日-6月5日

调查入口>>
  

北京皓辰网域网络信息技术有限公司. 版权所有 京ICP证:060528号 北京市公安局海淀分局网监中心备案编号:1101082001
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP