免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 14868 | 回复: 12

[系统管理] 【新手求助】wget大文件,如果保证下载完成? [复制链接]

论坛徽章:
1
2015年迎新春徽章
日期:2015-03-04 09:55:28
发表于 2015-06-24 12:17 |显示全部楼层
shell新手求助:

最近遇到个问题,需要定时(每周一次,自动执行)wget大文件到本地,文件大小几十G到上百G,命令如下:
  1. nohup wget -c 远程url连接 -O 本地文件名 &
复制代码
但是发现wget有中断的现象:
wget_fail.jpg
如果通过shell写到crontab里执行,肯定就断掉了,所以想请教下,有什么办法能保证wget下载完整呢?

目前想到的笨方法,每隔个把小时启动个检查用的shell,去检查nohup文件,如果发现giving up字符串,就清空nohup,重新wget -c ,一直到检查出:The file is already fully retrieved; nothing to do.
不知道这种方法是否可行,或者有没有更好的办法?
wget_sucess.jpg

论坛徽章:
145
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
发表于 2015-06-24 12:37 |显示全部楼层
回复 1# xinglu1983

How about the MD5 checksum

https://zh.wikipedia.org/zh-cn/MD5

应用
MD5已经广泛使用在为文件传输提供一定的可靠性方面。例如,服务器预先提供一个MD5校验和,用户下载完文件以后,用MD5算法计算下载文件的MD5校验和,然后通过检查这两个校验和是否一致,就能判断下载的文件是否出错。


$ man md5sum
NAME
       md5sum - compute and check MD5 message digest

SYNOPSIS
       md5sum [OPTION]... [FILE]...
...

论坛徽章:
10
2015亚冠之全北现代
日期:2015-06-16 09:16:24CU十四周年纪念徽章
日期:2016-08-08 11:20:3915-16赛季CBA联赛之青岛
日期:2016-02-17 09:14:2015-16赛季CBA联赛之北京
日期:2016-02-12 22:23:3215-16赛季CBA联赛之同曦
日期:2016-01-15 11:11:0815-16赛季CBA联赛之广东
日期:2016-01-15 10:46:4215-16赛季CBA联赛之北控
日期:2015-12-19 18:20:002015亚冠之山东鲁能
日期:2015-07-02 14:03:482015亚冠之吉达阿赫利
日期:2015-06-28 14:08:4015-16赛季CBA联赛之天津
日期:2017-04-21 10:37:41
发表于 2015-06-24 13:06 |显示全部楼层
本帖最后由 huazai0715 于 2015-06-24 13:06 编辑

wget -b
对于下载非常大的文件的时候,可以使用参数-b进行后台下载。

论坛徽章:
1
2015年迎新春徽章
日期:2015-03-04 09:55:28
发表于 2015-06-24 13:39 |显示全部楼层
回复 2# jason680


    问题是需要下载的文件并没有提供md5.。。。

论坛徽章:
1
2015年迎新春徽章
日期:2015-03-04 09:55:28
发表于 2015-06-24 13:39 |显示全部楼层
回复 3# huazai0715


    这个后台下载可以避免中断吗? 和 “&” 的作用有什么区别?

论坛徽章:
54
2015亚冠之德黑兰石油
日期:2015-07-07 13:00:1615-16赛季CBA联赛之深圳
日期:2016-03-31 09:03:5415-16赛季CBA联赛之辽宁
日期:2016-05-09 20:38:15程序设计版块每日发帖之星
日期:2016-05-12 06:20:0015-16赛季CBA联赛之四川
日期:2016-05-13 15:19:4715-16赛季CBA联赛之福建
日期:2016-05-15 20:24:34每日论坛发贴之星
日期:2016-05-16 06:20:0015-16赛季CBA联赛之吉林
日期:2016-05-26 11:49:4715-16赛季CBA联赛之广东
日期:2016-05-26 13:49:18极客徽章
日期:2016-12-07 14:05:2315-16赛季CBA联赛之广夏
日期:2016-12-20 17:33:532017金鸡报晓
日期:2017-01-10 15:19:56
发表于 2015-06-24 13:41 |显示全部楼层
回复 1# xinglu1983

就直接前台下载好了,


运行 screen

然后 wget ...

这样SSH断了也可以
   

论坛徽章:
33
ChinaUnix元老
日期:2015-02-02 08:55:39CU十四周年纪念徽章
日期:2019-08-20 08:30:3720周年集字徽章-周	
日期:2020-10-28 14:13:3020周年集字徽章-20	
日期:2020-10-28 14:04:3019周年集字徽章-CU
日期:2019-09-08 23:26:2519周年集字徽章-19
日期:2019-08-27 13:31:262016科比退役纪念章
日期:2022-04-24 14:33:24
发表于 2015-06-24 13:59 |显示全部楼层
回复 6# haooooaaa


    应该不是这个原因,楼主的 nohup xxx & 和你说的 screen 差别不大。

论坛徽章:
54
2015亚冠之德黑兰石油
日期:2015-07-07 13:00:1615-16赛季CBA联赛之深圳
日期:2016-03-31 09:03:5415-16赛季CBA联赛之辽宁
日期:2016-05-09 20:38:15程序设计版块每日发帖之星
日期:2016-05-12 06:20:0015-16赛季CBA联赛之四川
日期:2016-05-13 15:19:4715-16赛季CBA联赛之福建
日期:2016-05-15 20:24:34每日论坛发贴之星
日期:2016-05-16 06:20:0015-16赛季CBA联赛之吉林
日期:2016-05-26 11:49:4715-16赛季CBA联赛之广东
日期:2016-05-26 13:49:18极客徽章
日期:2016-12-07 14:05:2315-16赛季CBA联赛之广夏
日期:2016-12-20 17:33:532017金鸡报晓
日期:2017-01-10 15:19:56
发表于 2015-06-24 14:08 |显示全部楼层
或者换个下载工具,

据说 linux 也有迅雷了。

论坛徽章:
145
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
发表于 2015-06-24 14:14 |显示全部楼层
回复 4# xinglu1983

那你还每周下载??
   

论坛徽章:
1
2015年迎新春徽章
日期:2015-03-04 09:55:28
发表于 2015-06-25 09:37 |显示全部楼层
回复 9# jason680


    他没提供md5和我每周下载有什么关系?
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP