免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 3515 | 回复: 15
打印 上一主题 下一主题

谁能帮我写个shell做的网络蚂蚁? [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2004-03-12 10:22 |只看该作者 |倒序浏览
要求不高:
1. 协议不要太多,支持http下载即可
2. 功能不要太多,支持断点续传即可
3. 速度不要太快,支持多进程同时下即可
     谢谢先

论坛徽章:
0
2 [报告]
发表于 2004-03-12 13:04 |只看该作者

谁能帮我写个shell做的网络蚂蚁?

用wget实现?
完全用shell实现?这样对工作/学习有意义吗?

论坛徽章:
0
3 [报告]
发表于 2004-03-12 19:56 |只看该作者

谁能帮我写个shell做的网络蚂蚁?

飞灰橙之春天升级版         
发表于: 2004-03-12 10:22    发表主题: 谁能帮我写个shell做的网络蚂蚁?
要求不高:
1. 协议不要太多,支持http下载即可
2. 功能不要太多,支持断点续传即可
3. 速度不要太快,支持多进程同时下即可
谢谢先


再补充几个:
4. 移植性不用太强,支持Solaris,AIX,HP-UNIX,BSD,Linux平台,可以运行在ksh,bash,csh,zsh下即可
5. 占用资源不要太多,2M内存即可
6. 代码不要太长,Shell版的XDJM们都可以按需修改
:em11:  :em11:  :em11:

论坛徽章:
0
4 [报告]
发表于 2004-03-12 22:56 |只看该作者

谁能帮我写个shell做的网络蚂蚁?

对,为什么不用wget?

论坛徽章:
7
荣誉版主
日期:2011-11-23 16:44:17子鼠
日期:2014-07-24 15:38:07狮子座
日期:2014-07-24 11:00:54巨蟹座
日期:2014-07-21 19:03:10双子座
日期:2014-05-22 12:00:09卯兔
日期:2014-05-08 19:43:17卯兔
日期:2014-08-22 13:39:09
5 [报告]
发表于 2004-03-13 01:21 |只看该作者

谁能帮我写个shell做的网络蚂蚁?

理论上可以实现楼主的要求,用bash或用awk(不知道可不可以使用外部命令?),如果用纯shell,目前只知道bash可以实现。前提是,知道客户端发出get命令后,web主机返回信息的具体格式,如果返回文件的内容在服务器端进行了编码,如base64,那么接收端还需要解码,才能得到正确的文件。
如果有人能提供http协议的细节(主要是get命令的应答过程方面就可以了),我可以尝试做一个。

论坛徽章:
1
荣誉版主
日期:2011-11-23 16:44:17
6 [报告]
发表于 2004-03-13 16:49 |只看该作者

谁能帮我写个shell做的网络蚂蚁?

若是純學習或研究立場,我為樓上加油...  ^_^

不過,若是從單純的應用面出發,我會選擇 wget ...

论坛徽章:
0
7 [报告]
发表于 2004-03-13 17:46 |只看该作者

谁能帮我写个shell做的网络蚂蚁?

用prozilla...

超酷的字符界面的多线程下载工具

论坛徽章:
0
8 [报告]
发表于 2004-03-15 09:07 |只看该作者

谁能帮我写个shell做的网络蚂蚁?

谢谢各位 小弟原先都还不知道有这么些好工具可用

论坛徽章:
0
9 [报告]
发表于 2004-03-15 09:21 |只看该作者

谁能帮我写个shell做的网络蚂蚁?

[quote]原帖由 "r2007"]理论上可以实现楼主的要求,用bash或用awk(不知道可不可以使用外部命令?),如果用纯shell,目前只知道bash可以实现。前提是,知道客户端发出get命令后,web主机返回信息的具体格式,如果返回文件的内容在服务器端进..........[/quote 发表:


web返回的格式,
需要解析的大部分集中在http header,
其中有用的可能就是http header开头的那个返回码了,
解析http格式不是问题。其中包含在http头里的用户名和
密码或是其他可能用base64表示,也可以借用一条perl语句实现。
比较麻烦的是那些需要经过ssl认证URL,就不知道咋实现啦

其实真正的难点可能是多进程(或线程)同时下载,
就像网络蚂蚁做的那样,这个如何实现?
比方说下载一个文件,先发个head命令,得到文件长度
假设为900字节,然后分三个进程,分别用get命令下载
   0 - 300字节
   301 - 600字节
   601 - 900字节
这三个进程用shell怎么管理,看起来是个问题。

论坛徽章:
0
10 [报告]
发表于 2004-03-15 09:39 |只看该作者

谁能帮我写个shell做的网络蚂蚁?

[quote]原帖由 "r2007"]如果有人能提供http协议的细节(主要是get命令的应答过程方面就可以了)[/quote 发表:


http 1.1的细节参考
http://www.embed.com.cn/protocol/rfc/rfc2616.txt
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP