C语言抓http gzip包并解压失败 - Chinaunix

Chinaunix

标题:

作者:

时间:

标题:

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <errno.h>
#include <zlib.h>

#define BUFSIZE 10240
#define DestIp "58.61.166.67"
#define DestPort 80
#define Req "GET /cgi-bin/qqshow_user_searchitem?search_str=搞怪&style=1&nowpage=1&sorttype=0&content=&sex=0 HTTP/1.1\r\nAccept: */*\r\nAccept-Language: zh-cn\r\nAccept-Encoding: gzip, deflate\r\nUser-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)\r\nHost: 58.61.166.67\r\nConnection: Keep-Alive\r\nCookie: pvid=1250811316; edition=4m16.mail.qq.com; CCSHOW=0000; ruv=3715021559298\r\n\r\n"
#define ReqLen sizeof(Req)

int main(int argc, char *argv[])
{
ssize_t i;
int nRequestLen;
int templen = 0;
int c;

gzFile file, zip;
Byte compr[BUFSIZE], uncompr[BUFSIZE];
uLong comprLen, uncomprLen;

char strResponse[BUFSIZE]={0};
char strRequest[BUFSIZE]={0};
char strGzip[BUFSIZE]={0};
char *pA = NULL;

int sockfd, numbytes;
struct sockaddr_in dest_addr; /* connector's address information */

if ((sockfd = socket(AF_INET, SOCK_STREAM, 0)) == -1) {
      perror("socket");
      exit(1);
}

dest_addr.sin_family = AF_INET; /* host byte order */
dest_addr.sin_port = htons(DestPort); /* short, network byte order */
dest_addr.sin_addr.s_addr = inet_addr(DestIp);

/* Create and setup the connection */
if (connect(sockfd, (struct sockaddr *)&dest_addr,sizeof(struct sockaddr)) == -1) {
      perror("connect");
      exit(1);
      }

/* Send the request */
strncpy(strRequest, Req,ReqLen);
nRequestLen = ReqLen;
if (write(sockfd,strRequest,nRequestLen) == -1) {
perror("write");
exit(1);
}
/* Read in the response */
while(1) {
      i = read(sockfd,strResponse + templen,BUFSIZE-1);
      if(0 >= i){
         break;
      }
      //strResponse='\0';
templen = templen + i;
}
      printf(strResponse);
pA = strstr(strResponse, "\r\n\r\n");

printf("%d\n", templen);
printf("%d\n", pA - strResponse);
printf(pA);

memcpy(strGzip, pA + 4, templen - ((pA - strResponse) + 4));
printf("\nooooooo\n");

//gzprintf(file, strGzip);

//comprLen = sizeof(file) / sizeof(compr[0]);
comprLen = (templen - ((pA - strResponse) +4));
printf("%d\n", comprLen);

//strcpy((char *)uncompr, "garbage");
int err = uncompress(uncompr, &uncomprLen, (const Bytef*)strGzip, comprLen);
if (err != Z_OK){
      printf("uncompress error:%d\n", err);
      exit(1);
}

/* Close the connection */
close(sockfd);
}

按理论来说，成功的话应该返回解压内容的，可是结果却是：

HTTP/1.1 200 OK
Date: Tue, 10 Jul 2007 07:05:46 GMT
Server: Apache
Expires: 0
Vary: Accept-Encoding
Content-Encoding: gzip
Content-Length: 61
Connection: close
Content-Type: text/html; charset=gb2312

272
207

ooooooo
61
uncompress error:-3

请问有人写过类似的程序吗？

[ 本帖最后由 tedli 于 2007-7-10 15:12 编辑 ]

作者: gaosen2463 时间: 2007-07-10 17:29
我的也不对
不知道什么原因
郁闷啊

作者: hibernator 时间: 2007-07-10 19:57
gzip文件不是文本格式，而你用字符串函数strstr等进行处理，这肯定是不行的.

作者: connet 时间: 2007-07-11 08:27
Content-Length: 61
指定了返回内容的长度， \r\n\r\n 后面是返回内容，应该就是你的gzip文件
你的程序都没 http 解析，怎么用？

作者: 福瑞哈哥 时间: 2007-07-11 09:39
gzip和deflate又不是同一种压缩格式。
你不管服务器是否返回了200，不管服务器是否采用了chunked传输，不管它的压缩格式是什么，直接用uncompress解压，怎么可能成功。

作者: tedli 时间: 2007-07-11 10:43
标题: 回复 #5 福瑞哈哥的帖子
谢谢你的提醒啊。
我想问问有没有相关的文档连接可以让我学习一下呢？
我是刚刚开始学习网络编程，所以很多问题不是很懂。^_^

作者: 福瑞哈哥 时间: 2007-07-11 10:48

原帖由 tedli 于 2007-7-11 10:43 发表
谢谢你的提醒啊。
我想问问有没有相关的文档连接可以让我学习一下呢？
我是刚刚开始学习网络编程，所以很多问题不是很懂。^_^

gzip格式rfc 1952 http://www.ietf.org/rfc/rfc1952.txt
deflate格式rfc 1951 http://www.ietf.org/rfc/rfc1951.txt
zlib开发库 http://www.zlib.net/manual.html

作者: tedli 时间: 2007-08-07 16:41

原帖由 福瑞哈哥 于 2007-7-11 09:39 发表
不管服务器是否采用了chunked传输

我加了一小段程序测试是不是chunked传输,但是没有反应，不知道是不是写错了？：

      if ((tmp = strstr(strResponse, CHUNKED)) == NULL)
         flag = 0;
      else
         flag = 1;
      if (flag == 1)
         printf ("find chunk");

即全程序如下：

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <errno.h>
#include <zlib.h>

#define BUFSIZE 10240
#define CHUNKED "Transfer-Encoding: chunked\r\n"
#define DestIp "58.61.166.67"
#define DestPort 80
#define Req "GET /cgi-bin/qqshow_user_searchitem?search_str=搞怪&style=1&nowpage=1&sorttype=0&content=&sex=0 HTTP/1.1\r\nAccept: */*\r\nAccept-Language: zh-cn\r\nAccept-Encoding: gzip, deflate\r\nUser-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)\r\nHost: 58.61.166.67\r\nConnection: Keep-Alive\r\nCookie: pvid=1250811316; edition=4m16.mail.qq.com; CCSHOW=0000; ruv=3715021559298\r\n\r\n"
#define ReqLen sizeof(Req)

int main(int argc, char *argv[])
{
ssize_t i;
int nRequestLen;
int templen = 0;
int flag = -1;
char *tmp = NULL;
int c;

gzFile file, zip;
Byte compr[BUFSIZE], uncompr[BUFSIZE];
uLong comprLen, uncomprLen;

char strResponse[BUFSIZE]={0};
char strRequest[BUFSIZE]={0};
char strGzip[BUFSIZE]={0};
char *pA = NULL;

int sockfd, numbytes;
struct sockaddr_in dest_addr; /* connector's address information */

if ((sockfd = socket(AF_INET, SOCK_STREAM, 0)) == -1) {
      perror("socket");
      exit(1);
}

dest_addr.sin_family = AF_INET; /* host byte order */
dest_addr.sin_port = htons(DestPort); /* short, network byte order */
dest_addr.sin_addr.s_addr = inet_addr(DestIp);

/* Create and setup the connection */
if (connect(sockfd, (struct sockaddr *)&dest_addr,sizeof(struct sockaddr)) == -1) {
      perror("connect");
      exit(1);
      }

/* Send the request */
strncpy(strRequest, Req,ReqLen);
nRequestLen = ReqLen;
if (write(sockfd,strRequest,nRequestLen) == -1) {
perror("write");
exit(1);
}
/* Read in the response */
while(1) {
      i = read(sockfd,strResponse + templen,BUFSIZE-1);
      if(0 >= i){
         break;
      }
      //strResponse='\0';
templen = templen + i;
}
      printf(strResponse);
pA = strstr(strResponse, "\r\n\r\n");
      if ((tmp = strstr(strResponse, CHUNKED)) == NULL)
         flag = 0;
      else
         flag = 1;
      if (flag == 1)
         printf ("find chunk");

printf("%d\n", templen);
printf("%d\n", pA - strResponse);
printf(pA);

memcpy(strGzip, pA + 4, templen - ((pA - strResponse) + 4));
printf("\nooooooo\n");

//gzprintf(file, strGzip);

//comprLen = sizeof(file) / sizeof(compr[0]);
comprLen = (templen - ((pA - strResponse) +4));
printf("%d\n", comprLen);

//strcpy((char *)uncompr, "garbage");
/*int err = uncompress(uncompr, &uncomprLen, (const Bytef*)strGzip, comprLen);
if (err != Z_OK){
      printf("uncompress error:%d\n", err);
      exit(1);
}*/

/* Close the connection */
close(sockfd);
}

作者: flw 时间: 2007-08-07 16:50
到底是 http 失败，还是 gzip 解压失败啊？
这都搞不清，还能干什么？
作者: 福瑞哈哥 时间: 2007-08-07 17:07

原帖由 tedli 于 2007-8-7 16:41 发表

我加了一小段程序测试是不是chunked传输,但是没有反应，不知道是不是写错了？：

即全程序如下：

你的程序错误的地方目前看来还是比较多的。
while(1) {
i = read(sockfd,strResponse + templen,BUFSIZE-1);
}这个循环有可能在很长时间内都不会结束，如果你一定要这样循环，把请求头中的Connection: Keep-Alive改成Connection: close
而且每次用BUFSIZE-1有可能造成内存越界。
你用strstr查找CHUNKED时，要先把某个位置设为字符串结束位置，设为'\0'
事实上你不应该查找CHUNKED，你应该先对协议头的每一行查找Transfer-Encoding: ，然后再比较它的值是不是chunked，应该是用strncasecmp，大小写不分的。

综上，建议使用libcurl库。

欢迎光临 Chinaunix (http://bbs.chinaunix.net/) Powered by Discuz! X3.2