socket接收数据问题，大家帮帮忙

青野志狼

我正在写一个分析网页的程序，碰到点儿问题：

接收数据:

1. 
   
2. .....
   
3. memset(buf,0,sizeof(buf));
   
4. while( (n=read(sock_fd,buf,1024))>0 ){
   
5.         printf("have read data [%d]\n\n", n);
   
6.         anaylizeBaidu(buf);
   
7.         memset(buf,0,sizeof(buf));
   
8. }
   
9. printf("\n\nok");
   
10. ...
    

复制代码

为什么数据已经全都收完了，程序还没有打印出"ok"，但也没有打印出"have read data..."。

本来想获取头部的content-length，根据这个判断大小来结束，但是www.sina.com.cn等网站没有返回content-length这一项，而www.baidu.com就有这一项，我改怎么办？各位大哥大姐帮帮忙，小弟在此先谢过了

思一克

等待在read地方了。

mq110

看精华贴里我的那篇关于CURL的文章.

bleem1998

你根据什么判断数据收完了?

W.Z.T

请看下我写的一个简单wget,或许有点帮助

1. 
   
2. /*
   
3.         Wget V. 0.7 Download File Form Url
   
4.        
   
5.         code by W.Z.T        <wzt@xsec.org>
   
6.        
   
7. */
   
8. 
   
9. #include <stdio.h>
   
10. #include <string.h>
    
11. #include <stdlib.h>
    
12. #include <sys/socket.h>
    
13. #include <sys/types.h>
    
14. #include <sys/wait.h>
    
15. #include <netinet/in.h>
    
16. #include <netdb.h>
    
17. 
    
18. #define        MAXLINE         65535
    
19. #define SENDDATA        1000
    
20. 
    
21. #define PORT                80
    
22. 
    
23. struct hostent *host;
    
24. 
    
25. char *data_m="Accept: */*\r\n"
    
26.              "Accept-Language: zh-cn\r\n"
    
27.              "UA-CPU: x86\r\n"
    
28.              "Accept-Encoding: gzip, deflate\r\n"
    
29.              "User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; TencentTraveler ; .NET CLR 1.1.4322)\r\n";
    
30.             
    
31.             
    
32. char *data_e="Connection: Keep-Alive\r\n\r\n";
    
33. 
    
34. typedef struct DWONLOAD_FILE{
    
35.         char hosts[100];
    
36.         char ports[200];
    
37.         char file[200];
    
38.         int  port;
    
39. }DOWN;
    
40. 
    
41. void usage(char *pro);
    
42. void ver();
    
43. DOWN abstract_host(char *src);
    
44. void download_file(char *url_t,char *local_file);
    
45. int connect_server(int port);
    
46. 
    
47. void usage(char *pro)
    
48. {
    
49.         ver();
    
50.         printf("usage : %s <remote file> <local file>\n",pro);
    
51.         printf("exp: %s http://tthacker.sitesled.com/backdoor/bindtty.c bindtty.c\n",pro);
    
52.         exit(0);
    
53. }
    
54. 
    
55. void ver()
    
56. {
    
57.         printf("\nWget Ver 0.6 by W.Z.T, wzt@xsec.org 2006/10/27\n\n");
    
58. }
    
59. 
    
60. int connect_server(int port)
    
61. {
    
62.         struct sockaddr_in remote;
    
63.         int sock_id;
    
64.        
    
65.         if((sock_id=socket(AF_INET,SOCK_STREAM,0))<0){
    
66.                 perror("sock_id");
    
67.                 exit(0);
    
68.         }
    
69.        
    
70.         remote.sin_family=AF_INET;
    
71.         remote.sin_port=htons(port);
    
72.         remote.sin_addr=*((struct in_addr *)host->h_addr);
    
73.        
    
74.         if(connect(sock_id,(struct sockaddr *)&remote,sizeof(struct sockaddr))<0){
    
75.                 perror("connect");
    
76.                 return -1;
    
77.         }
    
78.        
    
79.         printf("\n[+] Connect :%s:%d OK!\r\n",inet_ntoa(remote.sin_addr),ntohs(remote.sin_port));
    
80.        
    
81.         return sock_id;
    
82. }
    
83. 
    
84. void download_file(char *url_t,char *local_file)
    
85. {
    
86.         DOWN file_get;
    
87.         FILE *fp;
    
88.         char download_url[SENDDATA];
    
89.         char recv_data[MAXLINE];
    
90.         int sock_fd;
    
91.         long get_file_len=0;
    
92.         int r_len;
    
93.         int http_check;
    
94.         char *real_data_pos;
    
95.                
    
96.         ver();
    
97.         file_get=abstract_host(url_t);
    
98. 
    
99.         printf("\n[+] Host :%s\n",file_get.hosts);
    
100.         printf("[+] Port :%d\n",file_get.port);
     
101.         printf("[+] File :%s\n",file_get.file);
     
102.        
     
103.        
     
104.         if((fp=fopen(local_file,"w+"))==NULL){
     
105.                 printf("\n[-] Create Local File %s Failed.\n",local_file);
     
106.                 exit(1);
     
107.         }
     
108.        
     
109.         if((host=gethostbyname(file_get.hosts))==NULL){
     
110.                 herror("gethostbyname");
     
111.                 exit(0);
     
112.         }
     
113. 
     
114. // 提交url
     
115.         sprintf(download_url,"GET %s HTTP/1.1\r\n%sHost: %s\r\n%s",file_get.file,data_m,file_get.hosts,data_e);
     
116.        
     
117. //        printf("%s",download_url);
     
118.        
     
119.         sock_fd=connect_server(file_get.port);
     
120.        
     
121.         if(sock_fd==-1){
     
122.                 printf("connect error.\n");
     
123.                 exit(1);
     
124.         }
     
125. 
     
126. // 接受并处理第-批数据
     
127.        
     
128.         write(sock_fd,download_url,strlen(download_url));
     
129.         r_len=read(sock_fd,recv_data,MAXLINE);
     
130.        
     
131. //        printf("%s",recv_data);
     
132.         http_check=atoi(recv_data+9);
     
133.        
     
134. //        printf("%d\n",http_check);
     
135.         if(http_check == 200 || http_check == 206){
     
136.                 printf("\n[+] Download Begin ...\n");
     
137.         }
     
138.         else{
     
139.                 printf("\n[-] Bad request.\n");
     
140.                 exit(1);
     
141.         }
     
142. 
     
143. // 获得文件大小
     
144.        
     
145.         get_file_len=atoi(strstr(recv_data,"Content-Length: ")+16);
     
146.         printf("\n[+] File Size: %ld\n",get_file_len);
     
147. 
     
148. // 寻找真正的文件开始位置
     
149.        
     
150.         printf("\n[+] Waiting ...\n");
     
151.         real_data_pos=strstr(recv_data,"\r\n\r\n")+4;
     
152.         fputs(real_data_pos,fp);
     
153. 
     
154. // 循环读取数据
     
155.        
     
156.         memset(recv_data,0,MAXLINE);
     
157.         while((r_len=read(sock_fd,recv_data,MAXLINE))>0){       
     
158.                 fputs(recv_data,fp);
     
159. //                printf("%s",recv_data);
     
160.                 memset(recv_data,0,MAXLINE);
     
161.         }
     
162.        
     
163.         fclose(fp);
     
164.         printf("\n[+] Download File OK!\n");       
     
165.        
     
166. }
     
167. 
     
168. DOWN abstract_host(char src[])
     
169. {
     
170.         DOWN file_download;
     
171.         char *http="http://";
     
172.         int port;
     
173.         int port_flag=0;
     
174.         int i,j=0,k,l=0,h;
     
175. 
     
176.         i=strlen(http);
     
177.         for(;i<strlen(src);i++){
     
178.                 if(src[i]==':'){
     
179.                         port_flag=1;
     
180.                         h=i-1;
     
181.                         i++;
     
182.                         for(;src[i]!='/';i++){        /* 提取ports */
     
183.                                 file_download.ports[j++]=src[i];
     
184.                         }
     
185.                         file_download.ports[j]='\0';
     
186.                 }
     
187.                 if(src[i]=='/'){
     
188.                         k=i-1;
     
189.                         break;
     
190.                 }
     
191.         }
     
192.        
     
193. /////////////////////////////////////////////////////////////////////       
     
194. 
     
195.         for(;i<strlen(src);i++){        /* 提取file */
     
196.                 file_download.file[l++]=src[i];
     
197.         }
     
198.         file_download.file[l]='\0';
     
199. 
     
200. ////////////////////////////////////////////////////////////////////
     
201. 
     
202.         i=strlen(http);     /* 提取主机名 */
     
203.         j=0;
     
204.         k=((port_flag==1)?h:k);
     
205.        
     
206.         for(;i<=k;i++)
     
207.                 file_download.hosts[j++]=src[i];
     
208.         file_download.hosts[j]='\0';
     
209.        
     
210. ////////////////////////////////////////////////////////////////////
     
211. 
     
212.         if(port_flag==0)   /* 提取port */
     
213.                 file_download.port=PORT;       
     
214.         else
     
215.                 file_download.port=atoi(file_download.ports);
     
216.        
     
217. ////////////////////////////////////////////////////////////////////       
     
218.        
     
219.         return file_download;
     
220. }
     
221. 
     
222. int main(int argc,char **argv)
     
223. {
     
224.         if(argc<3){
     
225.                 usage(argv[0]);
     
226.         }
     
227.        
     
228.         download_file(argv[1],argv[2]);
     
229.                
     
230.         return 0;
     
231. }
     

复制代码

langue

楼主请看这里：

http://bbs.chinaunix.net/viewthread.php?tid=876489

sevendays

等待原因就是socket阻塞，等待读取...
对于HTTP协议，你可以去看看RFC文档，估计是做爬虫吧
1>请求头可以发送 connection:close,处理完毕http服务器会关闭TCP连接，也就是说你read到结束的时候会有0返回
2> 对于长连接：keep-alive，这样的话如果没有content-length 也会有chunk传输编码，都能正确找到结尾
3> 如果是做爬虫，抓取效率很大程度上取决于抓取策略...

原帖由 青野志狼 于 2006-12-26 16:59 发表
我正在写一个分析网页的程序，碰到点儿问题：

接收数据:

[code]
.....
memset(buf,0,sizeof(buf));
while( (n=read(sock_fd,buf,1024))>0 ){
        printf("have read data [%d]\n\n", n);
        a ...

青野志狼

多谢大家的回复，做的确实是个蜘蛛。
To W.Z.T:
     看了你的代码，在read时那个连接是自动关闭的。

To sevendays:
    根据chunk如何分析是否结束？

找了一篇相关的文章：
http://hack.bluebing.cn/Html/wgpd/wljs/1253920060918143521.html

sevendays

呵呵，去找RFC文档啊
chunk编码最后是0\r\n\r\n(或者0\n\n)，具体看RFC吧，自己变看文档多找几个网站测试一下就清楚了
或者下载个 httpwatch来看看也行

原帖由 青野志狼 于 2007-1-9 16:04 发表
多谢大家的回复，做的确实是个蜘蛛。
To W.Z.T:
     看了你的代码，在read时那个连接是自动关闭的。

To sevendays:
    根据chunk如何分析是否结束？

找了一篇相关的文章：
[url]http://hack.bluebing ...