1 ... 9 10 11 121314 15 16 17 ... 28 / 28 页下一页

源码阅读第一期:axel和wget [复制链接]

duanjigang

版主

论坛徽章:: 0

121楼 [报告]

发表于 2011-10-06 10:48 |只看该作者

回复 duanjigang

哦,我说的是第五行
假设no_proxy被axel处理后内容为:
,bbs.chinaunix.net,t ...
seufy88 发表于 2011-10-05 21:31

不好意思，我看到你那个问题怎么都是斜体字，就想编辑下。。不想到数据弄丢了。。

对不起啊，有空的话，你把那个帖子重新编辑下，补充上完整内容，实在不好意思

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

duanjigang

版主

论坛徽章:: 0

122楼 [报告]

发表于 2011-10-06 10:54 |只看该作者

本帖最后由 duanjigang 于 2011-10-06 11:08 编辑

首先，配置文件中可以这么写

no_proxy=www.126.com,bbs.chinaunix.net,www.test.com

复制代码

然后，在文件
conf.c中的函数conf_init中能看到对no_proxy进行加工的代码

/* Convert no_proxy to a 0-separated-and-00-terminated list.. */
for( i = 0; conf->no_proxy[i]; i ++ )
if( conf->no_proxy[i] == ',' )
conf->no_proxy[i] = 0;
conf->no_proxy[i+1] = 0;

复制代码

no_proxy中的url是用0分割，00结束的字符串
conn_init函数中

//注意，host指向第一个字符串
char *proxy = conn->conf->http_proxy, *host = conn->conf->no_proxy;
int i;
//如果本身就没设置代理服务器，那么就无所谓no_proxy了，因为没有任何代理
if( *conn->conf->http_proxy == 0 )
{
proxy = NULL;
}//如果设置了代理的话
else if( *conn->conf->no_proxy != 0 )//no_proxy不是空串，也就是说no_proxy中是有内容的，需要对某些url不进行代理访问
{
//遍历no_proxy
//no_proxy
for( i = 0; ; i ++ )
//找到一个字符串的结束
if( conn->conf->no_proxy[i] == 0 )
{
//www.126.com\0bbs.chinaunix.net\0www.test.com\0\0
//如果host在conn->host中出现了, www.126.com如果在url中出现了的话，
//针对于conn->host的代理就为空
if( strstr( conn->host, host ) != NULL )
proxy = NULL;
//host指向下一个url的开始
host = &conn->conf->no_proxy[i+1];
//如果紧邻两个字符都是0,则表明结束了，退出
if( conn->conf->no_proxy[i+1] == 0 )
break;
}
}

复制代码

不知道这下说清楚没？呵呵，可能我理解问题能力比较弱。。

对了，发现host后，proxy置空，应该当时就break,这样比找到结尾再退出更合理。
因此，我觉得这段代码

if( strstr( conn->host, host ) != NULL )
proxy = NULL;

复制代码

是不是应该改为

if( strstr( conn->host, host ) != NULL )
{
proxy = NULL;
break;
}

复制代码

更合理些？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

seufy88

家境小康

论坛徽章:: 1

123楼 [报告]

发表于 2011-10-06 14:34 |只看该作者

本帖最后由 seufy88 于 2011-10-06 14:36 编辑

回复 122# duanjigang

很感谢.
no_proxy中各url是以\0分隔的话就说的通了.还没看到conf.c这个文件呢.不好意思.
另外,conn->host中只能存放一个url,不能像no_proxy一样存放多个.这点应该可以明确了.:wink:

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

wangzhen11aaa

小富即安

论坛徽章:: 0

124楼 [报告]

发表于 2011-10-06 15:49 |只看该作者

本帖最后由 wangzhen11aaa 于 2011-10-09 16:53 编辑

init_switch(opt->type)
{
. . . . . .
case OPT_VALUE: /*一般是指短选项含有参数，此类型是含有参数为 1.
longopt->has_arg = required_argumet;
if (opt->short_name) /*如果短选项不为空*/
*p++ = ';'; /*将":"添入char 类型short_options数组中,因为还有有参将会出现这样的形式：比如：'A' ':'*/
break; /*其他返回*/
case OPT_BOOLEN: /*这里是指的是长选项*/
longopt->has_arg = optional_argument; /* # define optional_argument 2
此值定义为2，表示理想参数为 2*/
longopt = &long_options[o++]; /*操作 long_options数组，因为是BOOLEN类型，所以要有不包含即“no-"的选项*/
longopt->name = no_prefix (opt->long_name); /1、___---->main.c添入long_options数组的元素的域,no_prefix()表示加上"no-"表示没有*/
longopt->has_arg = no_argument; /*没有参数为 0*/
longopt->val = i | BOOLEAN_NEG_MARKER; /*longopt->val的值为一个大于1024的数作为不包含的条件*/
break;
default:
assert (opt->argtype != -1); /*如果argtype不是 -1*/
longopt->has_arg = opt->argtype; /*has_arg指向opt->argtype指向的地方*/
if (opt->short_name) /*如果短选项不为 0*;
{
if (longopt->has_arg == required_argument)
*p++ = ':'; 这里因为有short_name且不为0，并且有参数1，格式为 “X" ":";
84
385 }
386 }
387 }
388 /* Terminate short_options. */
389 *p = '\0'; /*在short_options数组中存放了一个"最后放入终结字符"\0""/
392 assert (o <= countof (long_options)); /*循环的大小当然是小于总个数了*/
393 }

复制代码

1、_________________------------------>

302 no_prefix (const char *s)
303 {
304 static char buffer[1024];
305 static char *p = buffer;
306
307 char *cp = p;
308 int size = 3 + strlen (s) + 1; /*看样子no- 和string不是在一起的。在options_tables[]中既可以看出 "no-STRING\0" 加上前面的"no-" 和后面的 \0字符*/
309 if (p + size >= buffer + sizeof (buffer)) /*如果字符串地址大于了buffer数组的地址那么就abort()*/
310 abort ();
311
312 cp[0] = 'n', cp[1] = 'o', cp[2] = '-'; /*给前面这几个字符赋值*/
313 strcpy (cp + 3, s); /*然后copy*/
314 p += size; /*用p记录当前使用的最后位置即为\0后面第一个字符位置*/
315 return cp; /*返回字符初始地址*/
316 }

复制代码

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

wangzhen11aaa

小富即安

论坛徽章:: 0

125楼 [报告]

发表于 2011-10-06 19:52 |只看该作者

本帖最后由 wangzhen11aaa 于 2011-10-09 16:55 编辑

getopt_long()函数应该是最重要的解析函数

。
main(int argc, char **argv)
{
923 longindex = -1;
924 int retconf;
925 bool use_userconfig = false;
926
927 while ((retconf = getopt_long (argc, argv,
928 short_options, long_options, &longindex)) != -1) 1、____-------> /lib/getoptl.c*/
929 {
930 int confval;
931 bool userrc_ret = true;
932 struct cmdline_option *config_opt;
933 confval = long_options[longindex].val; /*这里是控制数组大小在1024以内，因为1024以外的是那些no-形式的*/
934 config_opt = &option_data[confval & ~BOOLEAN_NEG_MARKER];
935 if (strcmp (config_opt->long_name, "config") == 0) /*看是否此长类型名已经注册*/
936 {
937 userrc_ret &= run_wgetrc (optarg); /*如果注册，那么就读刚刚到配置文件*/
938 use_userconfig = true; /*use_userconfig 表示可用*/
939 }
940 if (!userrc_ret)
941 {
942 printf ("Exiting due to error in %s\n", optarg);/*如果没有，那么就返回错误*/
943 exit (2);
944 }
945 else
946 break;
947 }

复制代码

1、_____-------------->

39 int
40 getopt_long (int argc, char *__getopt_argv_const *argv, const char *options,
41 const struct option *long_options, int *opt_index) /*+++++=====>/lib/getopt.in.h*/
42 {
43 return _getopt_internal (argc, (char **) argv, options, long_options,
44 opt_index, 0, 0);/*2、________---------->lib/getopt.c*/
45 }
+++++=========>

复制代码

/* 如果独立的程序获得正确的getopt_long()和getopt_long_only()函数；声明char **argv。但是libc用char * const * argv这是不正确的,因为getopt_long()和getopt_long_only()可以改变argv的值*/
95 #if !defined __need_getopt /*这原来是#if defined __GETOPT_PREFIX && !defined __need_getopt,但是这会引起重定义警告，如果unistd.h和getopt.h被包含，因为unistd.h包含了已经原来定义__need_getopt的getopt.h。*/
96 # if defined __GETOPT_PREFIX  /*如果包含了getopt.h，那么就使用使用char **argv。
97 #  define __getopt_argv_const /* empty */
98 # else  /*如果没有包含,就定义为 char *const *argv*/
99 #  define __getopt_argv_const const
100 # endif
101 #endif

2、_____________---------------->
1127 int
1128 _getopt_internal (int argc, char **argv, const char *optstring,
1129 const struct option *longopts, int *longind, int long_only,
1130 int posixly_correct)
1131 {
1132 int result;
1133
1134 getopt_data.optind = optind; /*初始化为 1。++++++++======>getopt_data[]数组类型为*/
1135 getopt_data.opterr = opterr; /*初始化为1*/
1136
1137 result = _getopt_internal_r (argc, argv, optstring, longopts,
1138 longind, long_only, &getopt_data,
1139 posixly_correct); /*3、_______------->初始化getopt_data/
1140
1141 optind = getopt_data.optind; /*表示下一个选项字符的索引值*/
1142 optarg = getopt_data.optarg; /*下一个选项字符*/
1143 optopt = getopt_data.optopt; /*
1144
1145 return result;
1146 }

复制代码

++++=============>

97 static struct _getopt_data getopt_data;
/*见前面*/
[code]
3、____________------------->
345 int
346 _getopt_internal_r (int argc, char **argv, const char *optstring,
347 const struct option *longopts, int *longind,
348 int long_only, struct _getopt_data *d, int posixly_correct)
349 {
350 int print_errors = d->opterr;
351
352 if (argc < 1) /*argc小于0是不可能的*/
353 return -1;
354
355 d->optarg = NULL; /*是否带有参数*/
356
357 if (d->optind == 0 || !d->__initialized) /*如果没有初始化，或者d->optind == 0*/
358 {
359 if (d->optind == 0)
360 d->optind = 1; /* Don't scan ARGV[0], the program name. */
361 optstring = _getopt_initialize (argc, argv, optstring, d,
362 posixly_correct); /*4、________-------->lib/getopt.c*/
363 d->__initialized = 1; /*已经初始化*/
364 }
365 else if (optstring[0] == '-' || optstring[0] == '+')
366 optstring++;
367 if (optstring[0] == ':') /*表示带有参数*/
368 print_errors = 0;
374 #if defined _LIBC && defined USE_NONOPTION_FLAGS 如果使用零选项标记例子：- 就是一种非选项的格式。
375 # define NONOPTION_P (argv[d->optind][0] != '-' || argv[d->optind][1] == '\0' \
376 || (d->optind < d->__nonoption_flags_len \
377 && __getopt_nonoption_flags[d->optind] == '1'))
378 #else
379 # define NONOPTION_P (argv[d->optind][0] != '-' || argv[d->optind][1] == '\0')
380 #endif
381
382 if (d->__nextchar == NULL || *d->__nextchar == '\0') /*如果下一个选项字符为 NULL*/
388 if (d->__last_nonopt > d->optind) /*d->optind表示下一个选项字符的索引*/
389 d->__last_nonopt = d->optind;
390 if (d->__first_nonopt > d->optind)
391 d->__first_nonopt = d->optind;
画个图 |-A| | B 234|(这个是非选项| |- Q|
这种情况就会让|-A| |- Q| 他们放在一起，后面才是非选项。这个就是后面从新排序的一个例子*/
392
393 if (d->__ordering == PERMUTE) /*如果是PERMUTE处理方法*/
394 {
395
398 if (d->__first_nonopt != d->__last_nonopt
399 && d->__last_nonopt != d->optind)
400 exchange ((char **) argv, d); /*交换空选项和非空选项的位置5、______----->*/
401 else if (d->__last_nonopt != d->optind)
402 d->__first_nonopt = d->optind; /*交换后，地址互换*/
403
404
405
406
407 while (d->optind < argc && NONOPTION_P) /*如果下个要取的索引小于参数总数和如果还是非选项，那么依次加，为了计算最后那个非选项的位置。.*/
408 d->optind++;
409 d->__last_nonopt = d->optind;
410 }
/*这里处理的就是长选项*/
417 if (d->optind != argc && !strcmp (argv[d->optind], "--"))
418 {
419 d->optind++;
420
421 if (d->__first_nonopt != d->__last_nonopt
422 && d->__last_nonopt != d->optind)
423 exchange ((char **) argv, d); /*将 -- 也看作一个空选项，依然要交换*/
424 else if (d->__first_nonopt == d->__last_nonopt)
425 d->__first_nonopt = d->optind; /*如果两者相等说明没有空选项*/
426 d->__last_nonopt = argc;
427
428 d->optind = argc;
429 }
434 if (d->optind == argc)
435 {
436
438 if (d->__first_nonopt != d->__last_nonopt)
439 d->optind = d->__first_nonopt;
440 return -1; /*这里交换完毕，记住返回的是－ 1*/
441 }
442

复制代码

第二种情况
446 if (NONOPTION_P) /*如果是-- 开头，根据REQUIRE_ORDER规则就直接返回－1*/
447 {
448 if (d->__ordering == REQUIRE_ORDER)
449 return -1;
450 d->optarg = argv[d->optind++];
451 return 1;
452 }
/*要是其他就计算后面的那个字符*/
457 d->__nextchar = (argv[d->optind] + 1
458 + (longopts != NULL && argv[d->optind][1] == '-')); 如果下个是 -那么就返回 argv[d->optind] + 1 + 1的那个字符。
459 }
476 if (longopts != NULL /*判断是否为长选项必须是 - - 格式，后面再判断是否还有字符，如果有一个字符，并且规定了long_only这个数值*/
477 && (argv[d->optind][1] == '-'
478 || (long_only && (argv[d->optind][2]
479 || !strchr (optstring, argv[d->optind][1]))))) /*optring就是短选项数组*/
480 {
481 char *nameend;
482 unsigned int namelen;
483 const struct option *p;
484 const struct option *pfound = NULL;
485 struct option_list
486 {
487 const struct option *p;
488 struct option_list *next;
489 } *ambig_list = NULL;
490 int exact = 0;
491 int indfound = -1;
492 int option_index;
493
494 for (nameend = d->__nextchar; *nameend && *nameend != '='; nameend++)
495 ;
496 namelen = nameend - d->__nextchar; /*计算长选项的长度*/
500 for (p = longopts, option_index = 0; p->name; p++, option_index++) /*整个测试，来检测到底是哪个长选项*/
501 if (!strncmp (p->name, d->__nextchar, namelen))
502 {
503 if (namelen == (unsigned int) strlen (p->name))/*这是判断字符串大小的函数，如果相等就返回 0 */
{
505
506 pfound = p; /*如果找到了,对应选项*/
507 indfound = option_index; /*索引项赋给给indfound*/
508 exact = 1;
509 break;
510 }
/*第一次找到了前n个字符相等的，但是长度不相等*/
511 else if (pfound == NULL)
512 {
513 pfound = p;
515 indfound = option_index;
516 } /*后面如果再次前n个字符相等，但是长度不同的，那么如下面作*/
517 else if (long_only
518 || pfound->has_arg != p->has_arg /*如果包含参数也不同*/
519 || pfound->flag != p->flag
520 || pfound->val != p->val)
521 {
523 struct option_list *newp = malloc (sizeof (*newp)); /*就链入链表*/
524 newp->p = p;
525 newp->next = ambig_list;
526 ambig_list = newp;
527 }
528 }
530 if (ambig_list != NULL && !exact)
531 {
532 if (print_errors) 如果不为0，而且exact 为 0，就是没有找到！？
533 {
534 struct option_list first;
535 first.p = pfound; /*记录第一个那个前n个相同，长度不同的结构,将其链入链表*/
536 first.next = ambig_list;
537 ambig_list = &first;
539 #if defined _LIBC && defined USE_IN_LIBIO
540 char *buf = NULL;
541 size_t buflen = 0;
542
543 FILE *fp = open_memstream (&buf, &buflen); /*打开
}

复制代码

4、_________________----------->

224 static const char *
225 _getopt_initialize (int argc _GL_UNUSED,
226 char **argv _GL_UNUSED, const char *optstring,
227 struct _getopt_data *d, int posixly_correct)
228 {
229
232
233 d->__first_nonopt = d->__last_nonopt = d->optind; /*初始化为1*/
234
235 d->__nextchar = NULL; /*下一个选项字符*/
236
237 d->__posixly_correct = posixly_correct || !!getenv ("POSIXLY_CORRECT"); /*返回getenv()是返回环境的常量值*/
238
239
240
241 if (optstring[0] == '-')
242 {
243 d->__ordering = RETURN_IN_ORDER; /*根据开头的字符来判断检测选项类型的方法，见前面的分析*/
244 ++optstring;
245 }
246 else if (optstring[0] == '+')
247 {
248 d->__ordering = REQUIRE_ORDER;
249 ++optstring;
250 }
251 else if (d->__posixly_correct)

复制代码

5、_________--------->
143 static void
144 exchange (char **argv, struct _getopt_data *d)
145 {
146 int bottom = d->__first_nonopt; /*第一个空选项索引*/
147 int middle = d->__last_nonopt; /*空选项后的第一个字符索引*/
148 int top = d->optind; /*下一次要去访问的字符选项的索引*/
149 char *tem;
160 if (d->__nonoption_flags_len > 0 && top >= d->__nonoption_flags_max_len)
161 {
162 /* We must extend the array. 如果下一次要访问的索引大于整个大小，所以要拓展到top+1*/
163 presents new arguments. */
164 char *new_str = malloc (top + 1);
165 if (new_str == NULL)
166 d->__nonoption_flags_len = d->__nonoption_flags_max_len = 0;
167 else
168 {
169 memset (__mempcpy (new_str, __getopt_nonoption_flags,
170 d->__nonoption_flags_max_len),
171 '\0', top + 1 - d->__nonoption_flags_max_len); /*__mempcpy()函数是memcpy()的类似函数，不同的是它返回指向最后一个元素\0的指针,然后初始化为\0*/
172 d->__nonoption_flags_max_len = top + 1;
173 __getopt_nonoption_flags = new_str; /*
174 }
175 }
176 #endif
177
178 while (top > middle && middle > bottom)
179 {
180 if (top - middle > middle - bottom)
181 {
182 /* Bottom segment is the short one. */
183 int len = middle - bottom; /*如果空选项所占字符小于非空选项大小，那么只移动空字符大小的那部分*/
184 register int i;
187 for (i = 0; i < len; i++)
188 {
189 tem = argv[bottom + i];
190 argv[bottom + i] = argv[top - (middle - bottom) + i];
191 argv[top - (middle - bottom) + i] = tem;
192 SWAP_FLAGS (bottom + i, top - (middle - bottom) + i);
193 }
194 /* Exclude the moved bottom segment from further swapping. */
195 top -= len; /*top空选项首位置*/
196 }
197 else
198 {
199 /* Top segment is the short one. */
200 int len = top - middle;
201 register int i;
202
203 /* Swap it with the bottom part of the bottom segment. */
204 for (i = 0; i < len; i++)
205 { /*典型的交换算法*/
206 tem = argv[bottom + i];
207 argv[bottom + i] = argv[middle + i];
208 argv[middle + i] = tem;
209 SWAP_FLAGS (bottom + i, middle + i);
210 }
212 bottom += len; /*空选项的开始所在索引*/
213 }
214 }
215
216 /* Update records for the slots the non-options now occupy. */
217
218 d->__first_nonopt += (d->optind - d->__last_nonopt); /*更新位置,*/
219 d->__last_nonopt = d->optind;
220