基于流式的md5计算-多线程下载工具介绍

amos613

流式md5计算 多线程下载工具——Lwget
在数据传输的时候，我们希望实现以下目标：
1. 使用多线程传输，加速下载速度
2. 数据在传输过程中,进行流式md5计算，避免在传输完毕之后校验大文件
3. 支持断点续传
4. 支持http协议和ftp协议
5. 代码尽可能的简单，利于维护

实现目标
1. 使用多线程传输，加速下载速度
2. 数据在传输过程中,进行流式md5计算，避免在传输完毕之后校验大文件
3. 支持断点续传
4. 支持http协议和ftp协议
5. 代码尽可能的简单，利于维护

系统依赖
1. perl,版本>=5.8.5
2. linux or windows

目前实现的功能
支持FTP和HTTP下载
支持断点续传（HTTP and FTP）
多线程下载加速（线程数目可以任意指定）
支持限速
 下载的同时进行流式的md5计算，下载完毕即可生成整个文件的md5（可以使用参数指定是否需要计算md5）
命令行参数选项类似于wget
跨平台(windows && linux)

使用示例./lwget -v 输出帮助信息

因长度受限：http://hi.baidu.com/ops_bd/blog/item/a73b9e2bad1bf1ff8b1399ac.html

nagaregawa

谢谢分享