源码阅读第二期之curl-7.22.0

linggang_2011

恩，支持段老哥。。
正在看着curl呢

duanjigang

回复 21# linggang_2011


    呵呵，最近比较懒，都没怎么分析这个代码

duanjigang

尝试从 curl 的 main 函数去分析处理流程，后来发现楼主写的已经比较细了，因此我就从别的角度做些分析吧。
想起来我以前做过的基于 libcurl 的应用，看了下 curl 的 main 函数，发现流程主题上是一样的。
都是基于 libcurl 的框架实现的，下面看看基于 libcurl 开发的一般流程。

有些库，自身实现的很复杂，但是它用起来却很简单，而且会把调用的流程规定的很死。libcurl 就是其中一款。比如我们以前公司搞开发的一般流程是

1. 
   
2. 
   
3. 
   
4. 初始化
   
5. 
   
6. 
   
7. while (结束条件未到)
   
8. {
   
9.    执行任务
   
10. }
    
11. 
    
12. 释放资源
    
13. 退出
    

复制代码

大概所有程序都是这样的流程吧。基于 libcurl 的应用大概流程是这样的

1. 
   
2. 
   
3. //初始化
   
4. curl_global_init();
   
5. curl = curl_easy_init();
   
6. 
   
7. //设置参数
   
8. curl_easy_setopt(...)//一堆setopt
   
9. //目的就是设置URL参数，处理函数，等等参数。
   
10. 
    
11. //执行任务
    
12. res = curl_easy_perform(curl);
    
13. 
    
14. //释放资源
    
15. 
    
16. curl_easy_cleanup(curl);
    

复制代码

http://curl.haxx.se/libcurl/c/ftpget.html
这里有N多例子都是这样处理的

duanjigang

看一个最简单的例子，是如何按照这个流程走的:

1. 
   
2. /***************************************************************************
   
3. *                                  _   _ ____  _
   
4. *  Project                     ___| | | |  _ \| |
   
5. *                             / __| | | | |_) | |
   
6. *                            | (__| |_| |  _ <| |___
   
7. *                             \___|\___/|_| \_\_____|
   
8. *
   
9. * Copyright (C) 1998 - 2011, Daniel Stenberg, <daniel@haxx.se>, et al.
   
10. *
    
11. * This software is licensed as described in the file COPYING, which
    
12. * you should have received as part of this distribution. The terms
    
13. * are also available at http://curl.haxx.se/docs/copyright.html.
    
14. *
    
15. * You may opt to use, copy, modify, merge, publish, distribute and/or sell
    
16. * copies of the Software, and permit persons to whom the Software is
    
17. * furnished to do so, under the terms of the COPYING file.
    
18. *
    
19. * This software is distributed on an "AS IS" basis, WITHOUT WARRANTY OF ANY
    
20. * KIND, either express or implied.
    
21. *
    
22. ***************************************************************************/
    
23. #include <stdio.h>
    
24. 
    
25. #include <curl/curl.h>
    
26. 
    
27. /*
    
28. * This is an example showing how to get a single file from an FTP server.
    
29. * It delays the actual destination file creation until the first write
    
30. * callback so that it won't create an empty file in case the remote file
    
31. * doesn't exist or something else fails.
    
32. */
    
33. 
    
34. struct FtpFile {
    
35.   const char *filename;
    
36.   FILE *stream;
    
37. };
    
38. 
    
39. static size_t my_fwrite(void *buffer, size_t size, size_t nmemb, void *stream)
    
40. {
    
41.   struct FtpFile *out=(struct FtpFile *)stream;
    
42.   if(out && !out->stream) {
    
43.     /* open file for writing */
    
44.     out->stream=fopen(out->filename, "wb");
    
45.     if(!out->stream)
    
46.       return -1; /* failure, can't open file to write */
    
47.   }
    
48.   return fwrite(buffer, size, nmemb, out->stream);
    
49. }
    
50. 
    
51. 
    
52. int main(void)
    
53. {
    
54.   CURL *curl;
    
55.   CURLcode res;
    
56.   struct FtpFile ftpfile={
    
57.     "curl.tar.gz", /* name to store the file as if succesful */
    
58.     NULL
    
59.   };
    
60. 
    
61.   curl_global_init(CURL_GLOBAL_DEFAULT);
    
62. 
    
63.   curl = curl_easy_init();
    
64.   if(curl) {
    
65.     /*
    
66.      * You better replace the URL with one that works!
    
67.      */
    
68.     curl_easy_setopt(curl, CURLOPT_URL,
    
69.                      "ftp://ftp.example.com/pub/www/utilities/curl/curl-7.9.2.tar.gz");
    
70.     /* Define our callback to get called when there's data to be written */
    
71.     curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, my_fwrite);
    
72.     /* Set a pointer to our struct to pass to the callback */
    
73.     curl_easy_setopt(curl, CURLOPT_WRITEDATA, &ftpfile);
    
74. 
    
75.     /* Switch on full protocol/debug output */
    
76.     curl_easy_setopt(curl, CURLOPT_VERBOSE, 1L);
    
77. 
    
78.     res = curl_easy_perform(curl);
    
79. 
    
80.     /* always cleanup */
    
81.     curl_easy_cleanup(curl);
    
82. 
    
83.     if(CURLE_OK != res) {
    
84.       /* we failed */
    
85.       fprintf(stderr, "curl told us %d\n", res);
    
86.     }
    
87.   }
    
88. 
    
89.   if(ftpfile.stream)
    
90.     fclose(ftpfile.stream); /* close the local file */
    
91. 
    
92.   curl_global_cleanup();
    
93. 
    
94.   return 0;
    
95. }
    
96. 
    

复制代码

duanjigang

对这个例子做个简单的注解，就很明白了。

1. 
   
2. Download ftpget.c
   
3. 
   
4. /***************************************************************************
   
5. *                                  _   _ ____  _
   
6. *  Project                     ___| | | |  _ \| |
   
7. *                             / __| | | | |_) | |
   
8. *                            | (__| |_| |  _ <| |___
   
9. *                             \___|\___/|_| \_\_____|
   
10. *
    
11. * Copyright (C) 1998 - 2011, Daniel Stenberg, <daniel@haxx.se>, et al.
    
12. *
    
13. * This software is licensed as described in the file COPYING, which
    
14. * you should have received as part of this distribution. The terms
    
15. * are also available at http://curl.haxx.se/docs/copyright.html.
    
16. *
    
17. * You may opt to use, copy, modify, merge, publish, distribute and/or sell
    
18. * copies of the Software, and permit persons to whom the Software is
    
19. * furnished to do so, under the terms of the COPYING file.
    
20. *
    
21. * This software is distributed on an "AS IS" basis, WITHOUT WARRANTY OF ANY
    
22. * KIND, either express or implied.
    
23. *
    
24. ***************************************************************************/
    
25. #include <stdio.h>
    
26. 
    
27. #include <curl/curl.h>
    
28. 
    
29. /*
    
30. * This is an example showing how to get a single file from an FTP server.
    
31. * It delays the actual destination file creation until the first write
    
32. * callback so that it won't create an empty file in case the remote file
    
33. * doesn't exist or something else fails.
    
34. */
    
35. 
    
36. //结构体，用来存储当前应用的私有数据，这个数据结构会被存储在该应用对应的会话流中
    
37. struct FtpFile
    
38. {
    
39.         const char *filename;
    
40.         FILE *stream;
    
41. };
    
42. //写回调函数，当ftp 数据到来时，curl 会调用 开发者初始化时传入的这个回调函数进行数据处理
    
43. static size_t my_fwrite(void *buffer, size_t size, size_t nmemb, void *stream)
    
44. {
    
45.         //首先从流中拿出来我们自己定义得私有数据
    
46.         struct FtpFile *out=(struct FtpFile *)stream;
    
47.         //如果是第一次调用(文件还没创建)，创建文件
    
48.         if(out && !out->stream) {
    
49.                 /* open file for writing */
    
50.                 out->stream=fopen(out->filename, "wb");
    
51.                 if(!out->stream)
    
52.                         return -1; /* failure, can't open file to write */
    
53.         }
    
54.         //不是第一次调用，直接写入数据就行了
    
55.         return fwrite(buffer, size, nmemb, out->stream);
    
56. }
    
57. 
    
58. 
    
59. int main(void)
    
60. {
    
61.         CURL *curl;
    
62.         CURLcode res;
    
63.         //私有数据结构初始化，文件名称和文件指针
    
64.         struct FtpFile ftpfile={
    
65.                 "curl.tar.gz", /* name to store the file as if succesful */
    
66.                         NULL
    
67.         };
    
68.        
    
69.         //初始化部分
    
70.         curl_global_init(CURL_GLOBAL_DEFAULT);
    
71.         //获取句柄
    
72.         curl = curl_easy_init();
    
73.        
    
74.         //下面是参数设置过程
    
75.         if(curl) {
    
76.     /*
    
77.         * You better replace the URL with one that works!
    
78.                 */
    
79.                 //设置 URL 参数
    
80.                 curl_easy_setopt(curl, CURLOPT_URL,
    
81.                         "ftp://ftp.example.com/pub/www/utilities/curl/curl-7.9.2.tar.gz");
    
82.                 /* Define our callback to get called when there's data to be written */
    
83.                 //设置写回调函数
    
84.                 curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, my_fwrite);
    
85.                 /* Set a pointer to our struct to pass to the callback */
    
86.                 //设置私有数据，ftpfile 这个结构会被存储到 curl 对应的流中，方便我们在回调函数中使用
    
87.                 curl_easy_setopt(curl, CURLOPT_WRITEDATA, &ftpfile);
    
88.                
    
89.                 /* Switch on full protocol/debug output */
    
90.                 //打印信息
    
91.                 curl_easy_setopt(curl, CURLOPT_VERBOSE, 1L);
    
92.                
    
93.                 //执行任务
    
94.                 res = curl_easy_perform(curl);
    
95.                
    
96.                 /* always cleanup */
    
97.                 //释放资源
    
98.                 curl_easy_cleanup(curl);
    
99.                
    
100.                 if(CURLE_OK != res) {
     
101.                         /* we failed */
     
102.                         fprintf(stderr, "curl told us %d\n", res);
     
103.                 }
     
104.         }
     
105.         //关闭文件
     
106.         if(ftpfile.stream)
     
107.                 fclose(ftpfile.stream); /* close the local file */
     
108.         //全局释放资源
     
109.         curl_global_cleanup();
     
110.        
     
111.         return 0;
     
112. }
     

复制代码

duanjigang

然后来看看 curl 的 初始化 设置参数， 执行任务， 释放资源都是在哪里？


首先，是在 main 函数的 main_init 中调用了 global_init 函数:

1. 
   
2. ///////main 函数
   
3. if(main_init() != CURLE_OK) {
   
4.     helpf(config->errors, "error initializing curl library\n");
   
5.     return CURLE_FAILED_INIT;
   
6.   }
   
7. 。。。。。。。。。。。。
   
8. 
   
9. static CURLcode main_init(void)
   
10. {
    
11. #ifdef DJGPP
    
12.   /* stop stat() wasting time */
    
13.   _djstat_flags |= _STAT_INODE | _STAT_EXEC_MAGIC | _STAT_DIRSIZE;
    
14. #endif
    
15. 
    
16.   return curl_global_init(CURL_GLOBAL_DEFAULT);
    
17. }
    

复制代码

在 main_init 调用之后，紧接着就是 easy_init 的调用:

1. 
   
2. curl = curl_easy_init();
   
3.   if(!curl) {
   
4.     clean_getout(config);
   
5.     return CURLE_FAILED_INIT;
   
6.   }
   

复制代码

duanjigang

然后从 src/main.c 的 5264 行开始 到 5640 这 近乎 400行的代码都是在做 设置参数的工作
当然
my_setopt_str 和 my_setopt 也被调用的淋漓尽致
（注意 curl_easy_setopt 是 通过 my_setopt 函数族实现的）

1. 
   
2. my_setopt(curl, CURLOPT_READDATA, &input);
   
3.         /* what call to read */
   
4. ..................
   
5. 
   
6. /* new in 7.22.0 */
   
7.         if(config->gssapi_delegation)
   
8.           my_setopt_str(curl, CURLOPT_GSSAPI_DELEGATION,
   
9.                         config->gssapi_delegation);
   

复制代码

紧接着，是执行任务函数，通过 perform 函数来体现

1. 
   
2.   for(;;) {
   
3.           res = curl_easy_perform(curl);
   
4.           if(!curl_slist_append(easycode, "ret = curl_easy_perform(hnd);")) {
   
5.             res = CURLE_OUT_OF_MEMORY;
   
6.             break;
   
7.           }
   

复制代码

最后一行，main_free 完成释放工作。

1. 
   
2. main_free(); /* cleanup */
   
3. 
   

复制代码

redsomnus

请问，libcurl的续传中支持http上传续传吗？

yiqingfeng0215

呵呵，终于找到高人了，一定要请教下
遇到个问题，一个网站，返回的头文件有多个set-cookie，例如

header("Set-Cookie:test=sid;domain=; path=/");
header("Set-Cookie:test2=sid;domain=; path=/");


我在自己的电脑上用php的curl，想模拟登录这个网站，但curl返回的信息中，test这个cookie消失了，只有test2这个cookie，请问该如何处理啊？
curl有办法取得这两个cookie吗？我测试了一下，也只能获得test2这个cookie

zhoupangde

C下面我使用的libcurl里有可以把接收到的cookie信息保存到文件里，下次在发送请求时，可以在使用这个cookie文件

curl_easy_setopt(curl, CURLOPT_COOKIEFILE, "cookie_file.txt");  这是设置提交保存的cookie文件

curl_easy_setopt(curl, CURLOPT_COOKIEJAR, "cookie_file.txt");  这是设置保存cookie的文件

回复 29# yiqingfeng0215