源码阅读第一期:axel和wget

goingstudy

哦，原来不用这么麻烦，在配置文件configure中将DEBUG开关打开就可以

zhjl616

请问一下conf.c文件中
fscanf( fp, "%100[^\n#]s", s );
fscanf( fp, "%*[^\n]s" );
fgetc( fp );                        /* Skip newline                */
表示什么意思

zhjl616

回复 82# duanjigang


    您好，源码里面的：sprintf( s, "http://www.filesearching.com/cgi-bin/s?q=%s&w=a&l=en&"
                "t=f&e=on&m=%i&o=n&s1=%lld&s2=%lld&x=15&y=15",
                conn->file, results->conf->search_amount,
                conn->size, conn->size );
这个url似乎不行吧，我用了一个试试看但是打不开。比如我试了下搜索文件mysql-5.0.67.tar.gz，生成的url：
http://www.filesearching.com/cgi ... 0&x=15&y=15
但这个url打不开呀，而且在filesearching.com里面搜索是可以搜出来的，这个是为什么呢？

gsnumen

我遇到一个这样的问题:
我在使用axel多线程下载工具时,axel运行一段时间后, 就不再下载数据, 用strace跟踪发现,axel在不断的调用pthread_create(),而被创建的 thread 停止在
futex(0xb77bcde0, FUTEX_WAIT_PRIVATE, 2, NULL <unfinished ...>
In main thread , 因为设置了20秒超时
if( gettime() > axel->conn[i].last_transfer + axel->conf->reconnect_delay
{
    pthread_cancel( *axel->conn[i].setup_thread );
    axel->conn[i].state = 0;
}
被创建的线程不断的被cancel. 就这样线程被不断的创建,又被不断的cancel, 导致 url download fail.

env:

$> axel -V
Axel version 2.4 (Linux)

Copyright 2001-2002 Wilmer van der Gaast

$> axel -a -n 10 -s 409600 "myurl"

值得思考的地方:
1 strace的结果中 futex() 的调用的第一个参数几乎是同一个地址.
26045 15:02:14.142785 futex(0xb77bcde0, FUTEX_WAIT_PRIVATE, 2, NULL <unfinished ...>
26047 15:02:14.143323 futex(0xb77bcde0, FUTEX_WAIT_PRIVATE, 2, NULL <unfinished ...>
26046 15:02:14.143363 futex(0xb77bcde0, FUTEX_WAIT_PRIVATE, 2, NULL <unfinished ...>
26048 15:02:14.143597 futex(0xb77bcde0, FUTEX_WAIT_PRIVATE, 2, NULL <unfinished ...>
26049 15:02:14.143819 futex(0xb77bcde0, FUTEX_WAIT_PRIVATE, 2, NULL <unfinished ...>
26050 15:02:14.144037 futex(0xb77bcde0, FUTEX_WAIT_PRIVATE, 2, NULL <unfinished ...>
26051 15:02:14.144258 futex(0xb77bcde0, FUTEX_WAIT_PRIVATE, 2, NULL <unfinished ...>

希望能得到您的帮助.

lijundianxin082

支持一下，呵呵回复 1# duanjigang


   

lijundianxin082

支持一下，好好学习回复 1# duanjigang


   

VIP_fuck

回复 6# duanjigang


  请教版主，-n 是连接数量，而不是线程数。这样做有什么好处？或者说为什么用多连接？
  --------------------------------------------------------------------------
  代码还没有看完。。。。原来是每个连接一个线程。
   

duanjigang

对于网络来说，多线程并不能提高多少网络的吞吐量，换句话说，一个进程使劲读写网络和N个线程并发读写性能差别不大，因此，网络上的并发下载就体现
为多连接而不是多线程了。
回复 257# VIP_fuck



   

VIP_fuck

回复 258# duanjigang


    请教版主，为什么多连接可以提高吞吐量？

   另外，最近我一直在看架构版的几个并发相关的帖子，也一直在学习并发服务器的设计。版主能不能推荐一下资料或者什么好办法？
  
   感谢。

idi0t

早上走路的时候刚有打算学习axel源码的想法，哈，刚好看到这文章，不错！