免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 3641 | 回复: 11
打印 上一主题 下一主题

如何用perl写多线程或者多进程下载? [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2010-02-22 15:25 |只看该作者 |倒序浏览
公司最近禁止了下载,每次下载东西我都去远程服务器上下载,然后拷贝到本机。

我打算写一个多线程或者多进程的下载脚本从远程到本机之间使用,不知道大家谁有过此方面的经验,能不吝赐教。

我对网路协议什么的不熟悉,不知道如何分割文件块,断点续传,下载完成后如何将这些文件在本地整合到一起?

                           






                                                 百拜稽首

论坛徽章:
0
2 [报告]
发表于 2010-02-22 16:19 |只看该作者
怎么给这个帖子设置分数啊?

论坛徽章:
0
3 [报告]
发表于 2010-02-22 16:27 |只看该作者
创建的时候有个得分选择

论坛徽章:
0
4 [报告]
发表于 2010-02-22 16:54 |只看该作者
不是有现成俄工具的吗?干嘛要写呢

1.下载用wget
2.拷贝用scp (sshd工具)

论坛徽章:
0
5 [报告]
发表于 2010-02-22 17:05 |只看该作者
创建的时候有个得分选择
Perl_Er 发表于 2010-02-22 16:27



    多谢,新年快乐

论坛徽章:
0
6 [报告]
发表于 2010-02-22 17:07 |只看该作者
不是有现成俄工具的吗?干嘛要写呢

1.下载用wget
2.拷贝用scp (sshd工具)
Pro_sky 发表于 2010-02-22 16:54



    我平时用的就是scp,它是单进程的。太慢了

论坛徽章:
0
7 [报告]
发表于 2010-02-22 17:45 |只看该作者
回复 6# dahe_1984

额。。。你多起几个不就多进程了吗

一般来说把源文件压缩了用scp还是很快的,如果文件很大,就压缩成多个文件,起多个scp分别去拷各个压缩文件

考到本地再解压缩这些文件

论坛徽章:
0
8 [报告]
发表于 2010-02-22 17:47 |只看该作者
再说慢不慢不是看是不是多进程的吧,主要还是看网络带宽的

论坛徽章:
0
9 [报告]
发表于 2010-02-22 18:00 |只看该作者
回复  dahe_1984

额。。。你多起几个不就多进程了吗

一般来说把源文件压缩了用scp还是很快的,如果文 ...
Pro_sky 发表于 2010-02-22 17:45



   你说的可能就是我想要达到的,就是如何自动化这一套东西呢? 尤其是压缩大的文件,如果切成小块以后很难再整合。

论坛徽章:
0
10 [报告]
发表于 2010-02-22 18:05 |只看该作者
就好比迅雷或者flashget下载,先显示一堆小方框,然后可以看见小方框中分成几段开始跑。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP