给定url集合，如何用C语言编程实现去下载网页源代码

berlin860

照http/1.1来写啊，一般用
GET url http/1.1
就可以获得该网页（源码）了。至于具体的socket编程，要看UNP哇～

W.Z.T

1. 
   
2. /*
   
3.    Wget V. 0.7 Download File Form Url
   
4.    
   
5.    by wzt <[email]wzt@xsec.org[/email]>
   
6.    
   
7. */
   
8. 
   
9. #include <stdio.h>
   
10. #include <string.h>
    
11. #include <stdlib.h>
    
12. #include <sys/socket.h>
    
13. #include <sys/types.h>
    
14. #include <sys/wait.h>
    
15. #include <netinet/in.h>
    
16. #include <netdb.h>
    
17. #include <time.h>
    
18. 
    
19. #define MAXLINE 65535
    
20. #define SENDDATA 1000
    
21. 
    
22. #define PORT 80
    
23. 
    
24. struct hostent *host;
    
25. 
    
26. char *data_m="Accept: */*\r\n"
    
27.         "Accept-Language: zh-cn\r\n"
    
28.         "UA-CPU: x86\r\n"
    
29.         "Accept-Encoding: gzip, deflate\r\n"
    
30.         "User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; TencentTraveler ; .NET CLR 1.1.4322)\r\n";
    
31.       
    
32.       
    
33. char *data_e="Connection: Keep-Alive\r\n\r\n";
    
34. 
    
35. typedef struct DWONLOAD_FILE{
    
36.    char hosts[100];
    
37.    char ports[200];
    
38.    char file[200];
    
39.    int port;
    
40. }DOWN;
    
41. 
    
42. void usage(char *pro);
    
43. void ver();
    
44. DOWN abstract_host(char *src);
    
45. void download_file(char *url_t,char *local_file);
    
46. int connect_server(int port);
    
47. 
    
48. void usage(char *pro)
    
49. {
    
50.    ver();
    
51.    printf("usage : %s <remote file> <local file>\n",pro);
    
52.    printf("exp: %s [url]http://tthacker.sitesled.com/backdoor/bindtty.c[/url] bindtty.c\n",pro);
    
53.    exit(0);
    
54. }
    
55. 
    
56. void ver()
    
57. {
    
58.    printf("\nWget Ver 0.6 by W.Z.T, [email]wzt@xsec.org[/email] 2006/10/27\n");
    
59. }
    
60. 
    
61. int connect_server(int port)
    
62. {
    
63.    struct sockaddr_in remote;
    
64.    int sock_id;
    
65.    
    
66.    if((sock_id=socket(AF_INET,SOCK_STREAM,0))<0){
    
67.        perror("sock_id");
    
68.        exit(0);
    
69.    }
    
70.    
    
71.    remote.sin_family=AF_INET;
    
72.    remote.sin_port=htons(port);
    
73.    remote.sin_addr=*((struct in_addr *)host->h_addr);
    
74.    
    
75.    if(connect(sock_id,(struct sockaddr *)&remote,sizeof(struct sockaddr))<0){
    
76.        perror("connect");
    
77.        return -1;
    
78.    }
    
79.    
    
80.    printf("\n[+] Connect :%s:%d OK!\r\n",inet_ntoa(remote.sin_addr),ntohs(remote.sin_port));
    
81.    
    
82.    return sock_id;
    
83. }
    
84. 
    
85. void download_file(char *url_t,char *local_file)
    
86. {
    
87.    DOWN file_get;
    
88.    FILE *fp;
    
89.    time_t t_s,t_e;
    
90.    char download_url[SENDDATA];
    
91.    char recv_data[MAXLINE];
    
92.    int sock_fd;
    
93.    long get_file_len=0;
    
94.    int r_len;
    
95.    int http_check;
    
96.    char *real_data_pos;
    
97.       
    
98.    ver();
    
99.    file_get=abstract_host(url_t);
    
100. 
     
101.    printf("\n[+] Host :%s\n",file_get.hosts);
     
102.    printf("[+] Port :%d\n",file_get.port);
     
103.    printf("[+] File :%s\n",file_get.file);
     
104.    
     
105.    
     
106.    if((fp=fopen(local_file,"w+"))==NULL){
     
107.        printf("\n[-] Create Local File %s Failed.\n",local_file);
     
108.        exit(1);
     
109.    }
     
110.    
     
111.    if((host=gethostbyname(file_get.hosts))==NULL){
     
112.        herror("gethostbyname");
     
113.        exit(0);
     
114.    }
     
115. 
     
116. // 提交url
     
117. 
     
118.    sprintf(download_url,"GET %s HTTP/1.1\r\n%sHost: %s\r\n%s",file_get.file,data_m,file_get.hosts,data_e);
     
119.    
     
120. // printf("%s",download_url);
     
121. 
     
122.    
     
123.    sock_fd=connect_server(file_get.port);
     
124.    
     
125.    if(sock_fd==-1){
     
126.        printf("connect error.\n");
     
127.        exit(1);
     
128.    }
     
129. 
     
130.    time(&t_s);
     
131.    printf("\n[+] Starting Download at %s",ctime(&t_s)+4);
     
132.       
     
133. // 接受并处理第-批数据
     
134. 
     
135.    
     
136.    write(sock_fd,download_url,strlen(download_url));
     
137.    r_len=read(sock_fd,recv_data,MAXLINE);
     
138.    
     
139. // printf("%s",recv_data);
     
140. 
     
141.    http_check=atoi(recv_data+9);
     
142.    
     
143. // printf("%d\n",http_check);
     
144. 
     
145.    if(http_check == 200 || http_check == 206){
     
146. // printf("\n[+] Download Begin ...\n");
     
147. 
     
148.    }
     
149.    else{
     
150.        printf("\n[-] Bad request.\n");
     
151.        exit(1);
     
152.    }
     
153. 
     
154. // 获得文件大小
     
155. 
     
156.    
     
157.    get_file_len=atoi(strstr(recv_data,"Content-Length: ")+16);
     
158.    printf("\n[+] File Size: %ld\n",get_file_len);
     
159. 
     
160. // 寻找真正的文件开始位置
     
161. 
     
162.    
     
163.    real_data_pos=strstr(recv_data,"\r\n\r\n")+4;
     
164.    fputs(real_data_pos,fp);
     
165. 
     
166. // 循环读取数据
     
167. 
     
168.    
     
169.    memset(recv_data,0,MAXLINE);
     
170.    while((r_len=read(sock_fd,recv_data,MAXLINE))>0){
     
171.        fputs(recv_data,fp);
     
172. // printf("%d\n",r_len);
     
173. 
     
174.        memset(recv_data,0,MAXLINE);
     
175.    }
     
176.    
     
177.    fclose(fp);
     
178.       
     
179.    time(&t_e);
     
180.    printf("\n[+] Download File OK at %s",ctime(&t_e)+4);
     
181.    
     
182. }
     
183. 
     
184. DOWN abstract_host(char src[])
     
185. {
     
186.    DOWN file_download;
     
187.    char *http="http://";
     
188.    int port;
     
189.    int port_flag=0;
     
190.    int i,j=0,k,l=0,h;
     
191. 
     
192.    i=strlen(http);
     
193.    for(;i<strlen(src);i++){
     
194.        if(src[i]==':'){
     
195.            port_flag=1;
     
196.            h=i-1;
     
197.            i++;
     
198.            for(;src[i]!='/';i++){ /* 提取ports */
     
199.                file_download.ports[j++]=src[i];
     
200.            }
     
201.            file_download.ports[j]='\0';
     
202.        }
     
203.        if(src[i]=='/'){
     
204.            k=i-1;
     
205.            break;
     
206.        }
     
207.    }
     
208.    
     
209. /////////////////////////////////////////////////////////////////////
     
210. 
     
211. 
     
212.    for(;i<strlen(src);i++){ /* 提取file */
     
213.        file_download.file[l++]=src[i];
     
214.    }
     
215.    file_download.file[l]='\0';
     
216. 
     
217. ////////////////////////////////////////////////////////////////////
     
218. 
     
219. 
     
220.    i=strlen(http); /* 提取主机名 */
     
221.    j=0;
     
222.    k=((port_flag==1)?h:k);
     
223.    
     
224.    for(;i<=k;i++)
     
225.        file_download.hosts[j++]=src[i];
     
226.    file_download.hosts[j]='\0';
     
227.    
     
228. ////////////////////////////////////////////////////////////////////
     
229. 
     
230. 
     
231.    if(port_flag==0) /* 提取port */
     
232.        file_download.port=PORT;
     
233.    else
     
234.        file_download.port=atoi(file_download.ports);
     
235.    
     
236. ////////////////////////////////////////////////////////////////////
     
237. 
     
238.    
     
239.    return file_download;
     
240. }
     
241. 
     
242. int main(int argc,char **argv)
     
243. {
     
244.    if(argc<3){
     
245.        usage(argv[0]);
     
246.    }
     
247.    
     
248.    download_file(argv[1],argv[2]);
     
249.       
     
250.    return 0;
     
251. }
     

复制代码

jlspzxs

其实看看rfc手册1626好象是这个．关于http的非常详细了．
请求行
头标
空行
请求内容

用socket_write方法请求
然后用socket_read获取
返回一般包括的就是
响应行
服务器头标
空行
响应数据了．
这个应该好实现吧．
任何语言实现起来都不难．

sohusina

W.Z.T 写的不错，学习。

阿南

搜索C HTTP协议.会有很多的.

ikillmeba

我最近也在弄这个东西，用原始套接字，按照http协议的要求，发起GET 然后接受web服务器发过来的内容，在解析一下就好了

hijzhang

用c做网页下载和分析是**打蚊子。必须用python，ruby这样的语言啊

1053304571

通过套接字 send 发送 GET 请求报文  recv 接收 源码
或者用  WinAPI   UrlDownload下载   

justmao945

这里有个服务器和客户端还是什么的http协议的例子。。要找http协议请google http protocol。
https://github.com/justmao945/toy/tree/master/http-ev

http://www.w3.org/Protocols/这个我觉得不太容易看懂。。。应该有容易懂的文档的。。

plp626

wget 不支持断点续传