源码阅读第一期:axel和wget [复制链接]

论坛徽章:: 0

102楼 [报告]

发表于 2011-10-03 22:59 |只看该作者

最后剩下axel_do下载主体部分了，明天搞，基本上就over了

论坛徽章:: 0

103楼 [报告]

发表于 2011-10-04 14:15 |只看该作者

下载的主循环:

signal( SIGINT, stop );
signal( SIGTERM, stop );
//没收下载完或者收到停止信号前,一直下载
//axel_start中已经把axel->ready置为0了
//stop信号处理中会把run置为0
while( !axel->ready && run )
{
long long int prev, done;
prev = axel->bytes_done;
//进入下载函数，进行数据接收
axel_do( axel );
//配置了-a方式打印信息的话
if( conf->alternate_output )
{
//有信息需要打印而且有进度产生
if( !axel->message && prev != axel->bytes_done )
print_alternate_output( axel );
}
else//否则，用wget打印的方式去打印信息
{
/* The infamous wget-like 'interface'.. ;) */
//转换成K,下载增量
done = ( axel->bytes_done / 1024 ) - ( prev / 1024 );
//下载不为0K，而且要打印
if( done && conf->verbose > -1 )
{
for( i = 0; i < done; i ++ )
{
i += ( prev / 1024 );
//50个字符一换行
if( ( i % 50 ) == 0 )
{
//大于1K
if( prev >= 1024 )
printf( " [%6.1fKB/s]", (double) axel->bytes_per_second / 1024 );
//打印进度。。百分比
//文件小于10M
if( axel->size < 10240000 )
printf( "\n[%3lld%%] ", min( 100, 102400 * i / axel->size ) );
else//大于等于10M
printf( "\n[%3lld%%] ", min( 100, i / ( axel->size / 102400 ) ) );
}//10个字符一个空格
else if( ( i % 10 ) == 0 )
{
putchar( ' ' );
}
putchar( '.' );
i -= ( prev / 1024 );
}
fflush( stdout );
}
}
if( axel->message )
{
if(conf->alternate_output==1)
{
/* clreol-simulation */
putchar( '\r' );
for( i = 0; i < 79; i++ ) /* linewidth known? */
putchar( ' ' );
putchar( '\r' );
}
else
{
putchar( '\n' );
}
print_messages( axel );
if( !axel->ready )
{
if(conf->alternate_output!=1)
print_commas( axel->bytes_done );
else
print_alternate_output(axel);
}
}
else if( axel->ready )
{
putchar( '\n' );
}
}
//下载完成,打印信息
strcpy( string + MAX_STRING / 2,
size_human( axel->bytes_done - axel->start_byte ) );
//打印下载速度
printf( _("\nDownloaded %s in %s. (%.2f KB/s)\n"),
string + MAX_STRING / 2,
time_human( gettime() - axel->start_time ),
(double) axel->bytes_per_second / 1024 );
i = axel->ready ? 0 : 2;
//关闭连接
axel_close( axel );

复制代码

论坛徽章:: 0

104楼 [报告]

发表于 2011-10-04 15:12 |只看该作者

axel_do主体部分，尝试从多个连接select方式去读取数据，如果读取失败或者连接超时就重新连接。
觉得这里有一点似乎不妥，除了一些致命的错误，比如写文件，select出错，axel会退出外，别的情况，比如连接资源超时，下载失败，都会重新开启线程建立连接，重新下载。
个人觉得这种重复尝试也应该有个超时限制，比如重复了10次或者10分钟，没成功，就认为失败，这样似乎合理些，但是Axel却是一直在try.不过，从另外一方面，也能解释通，因为前面的过程，建立连接还有search，其实都测试过了，如果能走到这一步，站点都是可靠能访问的，这样一直重试似乎也是可行的。
呵呵，不知道别的人怎么想。
下面是代码分析.

//下载的主循环
void axel_do( axel_t *axel )
{
fd_set fds[1];
int hifd, i;
long long int remaining,size;
struct timeval timeval[1];
/* Create statefile if necessary */
//如果到了保存状态的时间，保存当前状态到状态文件
if( gettime() > axel->next_state )
{
//把连接的个数，当前下载量，每个连接当前的下载进度保存起来，
//如果状态文件已经存在，就清空重写，目的是只保存一份
//这样的话，如果程序异常退出，下次开启任务时，就能从状态文件中
//重新加载最近的下载状态(不是100%准确的状态，因为保存状态是有周期的),
//接着下载
save_state( axel );
//计算下一次状态保存时间
axel->next_state = gettime() + axel->conf->save_state_interval;
}
//采用多线程做连接，但是还是单线程select做传输
/* Wait for data on (one of) the connections */
FD_ZERO( fds );
hifd = 0;
//经典的select方式，把有用的socket描述符加入到集合中
//而且，限于文件下载的特殊任务方式，基本上每个建立好的连接
//都不会太空，有恒定持续的数据传输，因此在这里select的效率并不弱于epoll
for( i = 0; i < axel->conf->num_connections; i ++ )
{
if( axel->conn[i].enabled )
FD_SET( axel->conn[i].fd, fds );
hifd = max( hifd, axel->conn[i].fd );
}
//没有任何连接，等待。。。重试
if( hifd == 0 )
{
/* No connections yet. Wait... */
usleep( 100000 );
goto conn_check;
}
else
{
//超时0.1秒
timeval->tv_sec = 0;
timeval->tv_usec = 100000;
/* A select() error probably means it was interrupted
by a signal, or that something else's very wrong... */
//select等待数据到来
if( select( hifd + 1, fds, NULL, NULL, timeval ) == -1 )
{
//值位ready为-1，这样，下载的主循环将退出，下载失败
axel->ready = -1;
return;
}
}
/* Handle connections which need attention */
//循环读取每个socket的数据
for( i = 0; i < axel->conf->num_connections; i ++ )
if( axel->conn[i].enabled ) {
//检测，如果该socket有数据到来，就读取
if( FD_ISSET( axel->conn[i].fd, fds ) )
{
//更新最后一次读取数据的时间
axel->conn[i].last_transfer = gettime();
//尝试读取数据
size = read( axel->conn[i].fd, buffer, axel->conf->buffer_size );
//读取失败
if( size == -1 )
{
if( axel->conf->verbose )
{
axel_message( axel, _("Error on connection %i! "
"Connection closed"), i );
}
//关闭当前连接，并不等于放弃，还可能重新连接。。
axel->conn[i].enabled = 0;
conn_disconnect( &axel->conn[i] );
continue;
}//当前连接的数据读取结束
else if( size == 0 )
{
if( axel->conf->verbose )
{
/* Only abnormal behaviour if: */
if( axel->conn[i].currentbyte < axel->conn[i].lastbyte && axel->size != INT_MAX )
{
axel_message( axel, _("Connection %i unexpectedly closed"), i );
}
else
{
axel_message( axel, _("Connection %i finished"), i );
}
}
//如果是不支持并发分片下载(也就是说是单连接下载)，表明下载完成
if( !axel->conn[0].supported )
{
axel->ready = 1;
}
axel->conn[i].enabled = 0;
conn_disconnect( &axel->conn[i] );
continue;
}
/* remaining == Bytes to go */
remaining = axel->conn[i].lastbyte - axel->conn[i].currentbyte + 1;
//需要填充的小于读取的，下载完成
if( remaining < size )
{
if( axel->conf->verbose )
{
axel_message( axel, _("Connection %i finished"), i );
}
axel->conn[i].enabled = 0;
//关闭连接
conn_disconnect( &axel->conn[i] );
//修改需要的数据量大小，比如需要20字节，下载了30字节，那么就只要20字节
size = remaining;
/* Don't terminate, still stuff to write! */
}
/* This should always succeed.. */
//调整偏移，写文件
lseek( axel->outfd, axel->conn[i].currentbyte, SEEK_SET );
if( write( axel->outfd, buffer, size ) != size )
{
//写失败，退出
axel_message( axel, _("Write error!") );
axel->ready = -1;
return;
}
//修改偏移
axel->conn[i].currentbyte += size;
axel->bytes_done += size;
}
else //当前socket描述符不在select中，检查超时
{
//传输超时，关闭连接
if( gettime() > axel->conn[i].last_transfer + axel->conf->connection_timeout )
{
if( axel->conf->verbose )
axel_message( axel, _("Connection %i timed out"), i );
conn_disconnect( &axel->conn[i] );
axel->conn[i].enabled = 0;
}
} }
//如果一切ok，就返回
if( axel->ready )
return;
conn_check:
/* Look for aborted connections and attempt to restart them. */
//检查有问题的连接,如果未下载完，并且出错了，重新启动线程，开始传输
for( i = 0; i < axel->conf->num_connections; i ++ )
{
//连接无效并且未下载完
if( !axel->conn[i].enabled && axel->conn[i].currentbyte < axel->conn[i].lastbyte )
{
//状态为0,表明setup_thread是成功执行了的，并且已经执行问，因此，连接的初始化没问题，调用join回收
if( axel->conn[i].state == 0 )
{
// Wait for termination of this thread
pthread_join(*(axel->conn[i].setup_thread), NULL);
conn_set( &axel->conn[i], axel->url->text );
axel->url = axel->url->next;
/* axel->conn[i].local_if = axel->conf->interfaces->text;
axel->conf->interfaces = axel->conf->interfaces->next; */
if( axel->conf->verbose >= 2 )
axel_message( axel, _("Connection %i downloading from %s:%i using interface %s"),
i, axel->conn[i].host, axel->conn[i].port, axel->conn[i].local_if );
//状态设置为1，表示setup_thread开始执行，设置为0，表示setup_thread线程执行结束
axel->conn[i].state = 1;
if( pthread_create( axel->conn[i].setup_thread, NULL, setup_thread, &axel->conn[i] ) == 0 )
{
axel->conn[i].last_transfer = gettime();
}
else
{
axel_message( axel, _("pthread error!!!") );
axel->ready = -1;
}
}
else //setup_thread线程还未执行完，也就是说连接建立过程还未完成，需要检查连接超时
{
//超时了，就取消她...
if( gettime() > axel->conn[i].last_transfer + axel->conf->reconnect_delay )
{
pthread_cancel( *axel->conn[i].setup_thread );
axel->conn[i].state = 0;
}
}
}
}
/* Calculate current average speed and finish_time */
//计算平均速度
axel->bytes_per_second = (int) ( (double) ( axel->bytes_done - axel->start_byte ) / ( gettime() - axel->start_time ) );
//估算结束时间
axel->finish_time = (int) ( axel->start_time + (double) ( axel->size - axel->start_byte ) / axel->bytes_per_second );
/* Check speed. If too high, delay for some time to slow things
down a bit. I think a 5% deviation should be acceptable. */
//速度调整
if( axel->conf->max_speed > 0 )
{
//如果超速了
if( (float) axel->bytes_per_second / axel->conf->max_speed > 1.05 )
axel->delay_time += 10000;
//速度太低，少休息会儿
else if( ( (float) axel->bytes_per_second / axel->conf->max_speed < 0.95 ) && ( axel->delay_time >= 10000 ) )
axel->delay_time -= 10000;
//速度太低，干脆不休息
else if( ( (float) axel->bytes_per_second / axel->conf->max_speed < 0.95 ) )
axel->delay_time = 0;
usleep( axel->delay_time );
}
/* Ready? */
//下载完了？
if( axel->bytes_done == axel->size )
axel->ready = 1;
}

复制代码

论坛徽章:: 0

105楼 [报告]

发表于 2011-10-04 15:15 |只看该作者

到此为止，axel基本分析完成，从文件，函数，数据结构，到核心代码。不同层面做了展示。
如果哪些部分有错误或者含糊不清的地方，欢迎诸路朋友跟帖交流，呵呵，尽量避免站内消息，那样不方便交流，而且对问题跟踪也不利，在帖子里讨论，更多的人能受益或者发表意见。

休息两天，开始curl代码的分析

wangzhen11aaa

论坛徽章:: 0

106楼 [报告]

发表于 2011-10-04 20:50 |只看该作者

貌似，calltree -gb -np -m 这个命令是有局限的。把我带进了test.c中的main()入口函数。如今我遇到其他的几个文件中也有main()函数，有点让我迷糊。不过还是听一个前辈lengyuex的话，从main.c中读吧。前面的有点跑题，测试不知道在哪里进行的。难道. . . . . .还是不瞎猜了。知识有限，只能认为是多进程的。。。。。。。

VIP_fuck

论坛徽章:: 12

107楼 [报告]

发表于 2011-10-04 21:07 |只看该作者

如果配置文件里边的参数是分组的怎么办？
举个例子，ipsec-tools的配置文件：
remote anonymous
{
exchange_mode main,aggressive;
doi ipsec_doi;
situation identity_only;

my_identifier asn1dn;
certificate_type x509 "my.cert.pem" "my.key.pem";

nonce_size 16;
initial_contact on;
proposal_check strict; # obey, strict, or claim

proposal {
encryption_algorithm 3des;
hash_algorithm sha1;
authentication_method rsasig;
dh_group 2;
}
}

有颜色的是关键字其他的是配置的值。
它的解决办法是用yacc&lex。能不能有个更简单的办法呢？

ccnufufan

白手起家

论坛徽章:: 0

108楼 [报告]

发表于 2011-10-04 21:57 |只看该作者

到此为止，axel基本分析完成，从文件，函数，数据结构，到核心代码。不同层面做了展示。
如果哪些部分有错 ...
duanjigang 发表于 2011-10-04 15:15

弱弱的问一句，tcp.c文件中的int fd = socket( PF_INET, SOCK_DGRAM, IPPROTO_IP );其中这些参数的设置有什么意义，我平时看到的都是int fd = socket( PF_INET, SOCK_DGRAM, 0 );
为什么protocol参数是IPPROTO_IP，这和取网卡的信息是否有联系？然后楼主能不能举一反三的讲解下参数的搭配问题与适用情形，本人初学网络编程没什么经验，谢谢先！

VIP_fuck

论坛徽章:: 12

109楼 [报告]

发表于 2011-10-04 22:21 |只看该作者

回复 108# ccnufufan

socket( PF_INET, SOCK_DGRAM, IPPROTO_IP );

PF_INET ：指定协议族，这里是IP协议族
SOCK_DGRAM ：指定套接口类型,这里指定udp的
IPPROTO_IP ：指定协议，这里是Ip协议。

就是说，定一个运用IP协议族中ip协议的UDP累套接字。不知道这么说会不会很绕，呵呵。unpv1讲解很详细，推荐看看。

wangzhen11aaa