linux c获取网页的问题

goingstudy

最近学习网络编程，从网上找了个抓取网页的代码，但是不知为什么不能够获取整个网页，代码如下：

1. 
   
2. #include <stdio.h>
   
3. #include <stdlib.h>
   
4. #include <sys/socket.h>
   
5. #include <string.h>
   
6. #include <netinet/in.h>
   
7. #include <netdb.h>
   
8. #include <string.h>
   
9. 
   
10. #define  HTTPPORT 80
    
11. 
    
12. char *head = "GET /about HTTP/1.1\r\n"
    
13.             "Accept: */*\r\n"
    
14.             "Accept-Language:zh-cn\r\n"
    
15.             "Accept-Encoding:gzip,deflate\r\n"
    
16.             "Host:www.ietf.org\r\n"
    
17.             "Connection:Keep-Alive\r\n\n";
    
18. int connect_URL(char *domain,int port)
    
19. {
    
20.     int sock;
    
21.     struct hostent *host;
    
22.     struct sockaddr_in server;
    
23.     host = gethostbyname(domain);
    
24.     if(host == NULL)
    
25.     {
    
26.         printf("gethostbyname error\n");
    
27.         return -2;
    
28.     }
    
29. 
    
30.     sock = socket(AF_INET,SOCK_STREAM,0);
    
31.     if(sock < 0)
    
32.     {
    
33.         printf("invalid socket\n");
    
34.         return -1;
    
35.     }
    
36.     memset(&server,0,sizeof(struct sockaddr_in));
    
37.     memcpy(&server.sin_addr,host->h_addr_list[0],host->h_length);
    
38.     server.sin_family = AF_INET;
    
39.     server.sin_port = htons(port);
    
40.     if(connect(sock,(struct sockaddr *) &server,sizeof(struct sockaddr)) < 0 )
    
41.         return -1;
    
42.     else
    
43.         return sock;
    
44. }
    
45. 
    
46. int main()
    
47. {
    
48.     int sock;
    
49.     int n;
    
50.     char buf[1024];
    
51.     char *domain ="www.ietf.org";
    
52.     FILE *fp;
    
53.    
    
54.     fp = fopen("test.txt","w");
    
55.     if(NULL == fp)
    
56.     {
    
57.         printf("can't open stockcode file\n");
    
58.         return -1;
    
59.     }
    
60.     sock = connect_URL(domain,HTTPPORT);
    
61.     if(sock < 0)
    
62.     {
    
63.         printf("connect errror\n");
    
64.         return -1;
    
65.     }
    
66. 
    
67.     send(sock,head,strlen(head),0);
    
68.     while(1)
    
69.     {
    
70.         if((n=recv(sock,buf,1024,MSG_WAITALL)) < 1)
    
71.             break;
    
72.         printf("%d\n",n);
    
73.         fprintf(fp,"%s",buf);
    
74.     }
    
75.     fclose(fp);
    
76.     close(sock);
    
77.     printf("bye\n");
    
78.     return 0;
    
79. }
    
80. 
    
81.    
    

复制代码

求大神们帮忙看一下

goingstudy

还有个问题是，如果服务器发送的数据太大，无法一次接受，那应该怎么办？

goingstudy

自己顶。。。

Godbach

回复 1# goingstudy
看一下 wget 的源代码吧，或者可以考虑使用 libcurl


   

goingstudy

谢谢，知道怎么了

goingstudy

应该是网址的原因，会重定向