Socket编程无法获取网页内容

amonest

小弟近日在看《GNU/Linux编程指南》，里面有web_server.c和web_client.c的源码，实际测试了很久都无法成功，在这里发帖求助。

在我的本机上有Apache服务器，端口为10088，在htdocs目录下有一个abc.html文件，使用浏览器访问http://localhost:10088/abc.html或者http://127.0.0.1:10088/abc.html都成功。

我直接测试的是web_client.c，连接的是Apache服务。

web_client.c代码如下：

1. #include <stdio.h>
   
2. #include <stdlib.h>
   
3. #include <string.h>
   
4. #include <sys/socket.h>
   
5. #include <sys/types.h>
   
6. #include <sys/wait.h>
   
7. #include <netinet/in.h>
   
8. #include <arpa/inet.h>
   
9. #include <netdb.h>
   
10. #include <error.h>
    
11. 
    
12. char * host_name = "127.0.0.1";
    
13. int port = 10088;
    
14. 
    
15. int main(int argc, char *argv[])
    
16. {
    
17.         char buf[8192];
    
18.         char message[256];
    
19.         int sd;
    
20.         struct sockaddr_in pin;
    
21.         struct hostent *nlp_host;
    
22. 
    
23.         if ((nlp_host = gethostbyname(host_name)) == 0)
    
24.         {
    
25.                 printf("Error resolving local host\n");
    
26.                 exit(1);
    
27.         }
    
28. 
    
29.         bzero(&pin, sizeof(pin));
    
30.         pin.sin_family = AF_INET;
    
31.         pin.sin_addr.s_addr = htonl(INADDR_ANY);
    
32.         pin.sin_addr.s_addr = ((struct in_addr *)(nlp_host->h_addr))->s_addr;
    
33.         pin.sin_port = htons(port);
    
34. 
    
35.         if ((sd = socket(AF_INET, SOCK_STREAM, 0)) == -1)
    
36.         {
    
37.                 printf("Error opening socket\n");
    
38.                 exit(1);
    
39.         }
    
40. 
    
41.         if (connect(sd, (void *)&pin, sizeof(pin)) == -1)
    
42.         {
    
43.                 printf("Error connecting to socket\n");
    
44.                 exit(1);
    
45.         }
    
46. 
    
47.         sprintf(message, "GET /abc.html HTTP/1.1\n");
    
48.         printf("Sending message %s to web_server...\n", message);
    
49. 
    
50.         if (send(sd, message, strlen(message), 0) == -1)
    
51.         {
    
52.                 printf("Error in send\n");
    
53.                 exit(1);
    
54.         }
    
55. 
    
56.         printf(".. sent message.. wait for response...\n");
    
57. 
    
58.         if (recv(sd, buf, 8192, 0) == -1)
    
59.         {
    
60.                 printf("Error in receiving response from HTTPServer\n");
    
61.                 exit(1);
    
62.         }
    
63. 
    
64.         printf("\nResponse from HTTPServer:\n\n%s\n", buf);
    
65. 
    
66.         close(sd);
    
67.         exit(0);
    
68. }
    

复制代码

每次执行到recv的时候代码就停下来，前面的都正常。

盼望高手能指点迷津！

mulh0117

sprintf(message, "GET /abc.html HTTP/1.1\n");
是不是应该
sprintf(message, "GET /abc.html HTTP/1.1\r\n\r\n");

mulh0117

sprintf(message, "GET /abc.html HTTP/1.1\n");
是不是应该
sprintf(message, "GET /abc.html HTTP/1.1\r\n\r\n");

mulh0117

回复 3# mulh0117

怎么发了2遍。。

amonest

看了两篇文章，确实应该在GET后面再插入一空行。
http://www.cqinc.com.tw/coopermaa/932-DC/practice/WWWIntro.htm
http://grachel1986.blog.163.com/ ... 932009212104539235/

修改成sprintf(message, "GET /abc.html HTTP/1.1\r\n\r\n");以后，代码顺利执行，但是返回的是400 BAD REQUEST。这是为什么？

newzy

按照 http 协议的要求, 还要包含 HOST 头, 一般 webserver 的都会检测这个字段.
如访问 google 的 HTTP 头部:

1. GET / HTTP/1.1
   
2. Accept: */*
   
3. Accept-Language: zh-cn,zh; q=0.5
   
4. User-Agent: EasyAgent/1.2.0
   
5. Connection: close
   
6. Host: www.google.com
   
7. 
   

复制代码

这是一段 DUMP http 请求及应答的例子:

1. C:\Documents and Settings\jli5>hc -F stdout "http://www.google.com"
   
2. GET / HTTP/1.1
   
3. Accept: */*
   
4. Accept-Language: zh-cn,zh; q=0.5
   
5. User-Agent: EasyAgent/1.2.0
   
6. Connection: close
   
7. Host: www.google.com
   
8. 
   
9. HTTP/1.1 302 Found
   
10. Location: http://www.google.com.hk/url?sa=p&hl=zh-CN&pref=hkredirect&pval=yes&q=http://www.google.com.hk/&ust=1310107866
    
11. 189790&usg=AFQjCNFMhWleVFm86qWbu0JoFYcqA4LYmg
    
12. Cache-Control: private
    
13. Content-Type: text/html; charset=UTF-8
    
14. Set-Cookie: PREF=ID=73a6c22d3bdba59f:FF=0:NW=1:TM=1310107836:LM=1310107836:S=0Bq0eYnCnmJMCuLK; expires=Sun, 07-Jul-2013
    
15. 06:50:36 GMT; path=/; domain=.google.com
    
16. Date: Fri, 08 Jul 2011 06:50:36 GMT
    
17. Server: gws
    
18. X-XSS-Protection: 1; mode=block
    
19. Content-Length: 376
    
20. Via: 1.1 cnsha-ironweb.tellabs.fi:80 (IronPort-WSA/7.1.0-307)
    
21. Connection: close
    
22. 
    
23. <HTML><HEAD><meta http-equiv="content-type" content="text/html;charset=utf-8">
    
24. <TITLE>302 Moved</TITLE></HEAD><BODY>
    
25. <H1>302 Moved</H1>
    
26. The document has moved
    
27. <A HREF="http://www.google.com.hk/url?sa=p&amp;hl=zh-CN&amp;pref=hkredirect&amp;pval=yes&amp;q=http://www.google.com.hk/
    
28. &amp;ust=1310107866189790&amp;usg=AFQjCNFMhWleVFm86qWbu0JoFYcqA4LYmg">here</A>.
    
29. </BODY></HTML>
    
30. 
    
31. Server Protocol         : http
    
32. Server Hostname         : www.google.com
    
33. Server Port             : 80
    
34. Document Path           :
    
35. Concurrency Level       : 1
    
36. Complete requests       : 1
    
37. Failed requests         : 0
    
38. Time taken for tests    : 0.109 [sec] (mean)
    
39. Requests per second     : 9.14 [#/sec] (mean)

复制代码

yellowbug

每个HTTP属性设置后加"\r\n"，最后还要以"\r\n"表示请求头结束，而且你发送请求后最好用while(recv)模式接收，我在CSDN上有个例子你可以参考一下(http://download.csdn.net/source/3419419)，如果你还想详细了解最好找份HTTP协议看看.