【新手求助】wget大文件，如果保证下载完成？

xinglu1983

shell新手求助：

最近遇到个问题，需要定时（每周一次，自动执行）wget大文件到本地，文件大小几十G到上百G，命令如下：

1. nohup wget -c 远程url连接 -O 本地文件名 &

复制代码

但是发现wget有中断的现象：

如果通过shell写到crontab里执行，肯定就断掉了，所以想请教下，有什么办法能保证wget下载完整呢？

目前想到的笨方法，每隔个把小时启动个检查用的shell，去检查nohup文件，如果发现giving up字符串，就清空nohup，重新wget -c ,一直到检查出：The file is already fully retrieved; nothing to do.
不知道这种方法是否可行，或者有没有更好的办法？

jason680

回复 1# xinglu1983

How about the MD5 checksum

https://zh.wikipedia.org/zh-cn/MD5

应用
MD5已经广泛使用在为文件传输提供一定的可靠性方面。例如，服务器预先提供一个MD5校验和，用户下载完文件以后，用MD5算法计算下载文件的MD5校验和，然后通过检查这两个校验和是否一致，就能判断下载的文件是否出错。


$ man md5sum
NAME
       md5sum - compute and check MD5 message digest

SYNOPSIS
       md5sum [OPTION]... [FILE]...
...

huazai0715

wget -b
对于下载非常大的文件的时候，可以使用参数-b进行后台下载。

xinglu1983

回复 2# jason680


    问题是需要下载的文件并没有提供md5.。。。

xinglu1983

回复 3# huazai0715


    这个后台下载可以避免中断吗？ 和 “&” 的作用有什么区别？

haooooaaa

回复 1# xinglu1983

就直接前台下载好了，


运行 screen

然后 wget ...

这样SSH断了也可以
   

Shell_HAT

回复 6# haooooaaa


    应该不是这个原因，楼主的 nohup xxx & 和你说的 screen 差别不大。

haooooaaa

或者换个下载工具，

据说 linux 也有迅雷了。

jason680

回复 4# xinglu1983

那你还每周下载??
   

xinglu1983

回复 9# jason680


    他没提供md5和我每周下载有什么关系？