HTTP代理系统的问题

ohyeahbbs

小弟跟着老师在弄一个HTTP代理系统；捣鼓了一个星期终于容易可以代理成功了，却发现html的页面只能打开一两个，然后用top查看Linux系统资源发现代理占据资源达到了七八十%。
哪位大虾帮忙看看，优化一下。。。
采用线程绑定文件描述字的方法。。。。
代码如下：

1. 1，proxy：
   
2. 
   
3. #include "threadpool/include/threadpool.hpp"
   
4. #include<iostream>
   
5. #include<string.h>// char *strerror(int errnum);errnum(通常就是errno)
   
6. #include<sys/socket.h>
   
7. #include<errno.h>
   
8. #include<arpa/inet.h>
   
9. #include<unistd.h>
   
10. #include<signal.h>
    
11. #include<stdlib.h>
    
12. 
    
13. #define BACKLOG 128
    
14. 
    
15. using namespace std;
    
16. 
    
17. int         httpproxy(void *fd);
    
18. 
    
19. int        listenfd;                //文件(套接字socket)描述符
    
20. volatile bool        gIsRunning;        //volatile表示把gIsRunning添加到内存中
    
21. 
    
22. boost::threadpool::pool threadPool; //利用线程池创建线程并设线程大小为66
    
23. 
    
24. /* 关闭proxy */
    
25. void sysclosed(int signal)   
    
26. {
    
27.         gIsRunning = false;
    
28.         cout<<"Waiting for proxy threads..."<<endl;
    
29.             threadPool.wait();
    
30.         close(listenfd);
    
31.         cout<<"proxy is closed"<<endl;
    
32. }
    
33. 
    
34. int main()
    
35. {
    
36.         int                        *connfd;        //accept所返回的文件(套接字)描述符                       
    
37.         socklen_t                client;
    
38.         struct sockaddr_in        cliaddr,servaddr;
    
39.         gIsRunning = true;
    
40. 
    
41.         system("service iptables restart");
    
42.         sleep(3);
    
43. 
    
44.         /* 端口80重点向为本地端口9997 */
    
45.           system("iptables -t nat -A PREROUTING -p tcp --dport 80 -j REDIRECT --to-port 9997");
    
46.         cout<<"iptables prerouting success"<<endl;
    
47. 
    
48.         /* 创立并监听socket */
    
49.         cout<<"Start the server..."<<endl;
    
50.         if((listenfd = socket(AF_INET, SOCK_STREAM, 0))<0 )
    
51.         {
    
52.                 cout<<"Creat the socket error!"<<endl;
    
53.                 exit(-1);       
    
54.         }
    
55.         else cout<<"Creat the socket success"<<endl;
    
56.        
    
57.         memset(&servaddr,0,sizeof(servaddr));
    
58.         servaddr.sin_addr.s_addr  = INADDR_ANY;
    
59.         servaddr.sin_family            = AF_INET;
    
60.         servaddr.sin_port        = htons(9997);
    
61.                
    
62.         /* 绑定任意IP及特定端口 */
    
63.         if(bind(listenfd,(struct sockaddr *)&servaddr, sizeof(servaddr)) <0 )
    
64.         {
    
65.                 cout<<"Bind error"<<strerror(errno)<<endl;
    
66.         }
    
67.         else cout<<"Bind the port success"<<endl;
    
68. 
    
69.         /* 在socket上监听连接 */
    
70.         if(listen(listenfd, BACKLOG) != 0 )
    
71.         {
    
72.                 cout<<"Listen error"<<strerror(errno)<<endl;
    
73.         }
    
74.         else cout<<"Listen is running..."<<endl;
    
75.        
    
76.         threadPool.size_controller().resize(66);
    
77.           
    
78.         signal(SIGINT, sysclosed);
    
79. 
    
80.         /* 循环接受TCP连接 */       
    
81.         for( ; gIsRunning == 1 ; )
    
82.         //while(gIsRunning)
    
83.         {
    
84.                 client = sizeof(cliaddr);
    
85.                 connfd = (int*)malloc(sizeof(int));
    
86. 
    
87.                 /* accept所返回的文件描述符是新的套接字描述符和原始套接字listenfd具有相同的套接字类型和地址簇
    
88.                  * 传给accept的原始套接字没有关联到这个连接，而是继续保持可用状态并接受其他连接请求 */
    
89.                 if((*connfd = accept(listenfd, (struct sockaddr *)&cliaddr, &client))<0)
    
90.                 {
    
91.                
    
92.                         /*accetp()是慢系统调用，在信号产生时会中断其调用并将
    
93.                          errno变量设置为EINTR，此时应重新调用accept()。*/
    
94.                         if( errno == EINTR )
    
95.                         {
    
96.                                 cout<<"Accept error (EINTR):"<<strerror(errno)<<endl;
    
97.                                 continue;
    
98.                         }
    
99.                                else
    
100.                                {
     
101.                                 cout<<"Accept error:"<<strerror(errno)<<endl;
     
102.                                 exit(1);
     
103.                         }
     
104.                 }
     
105.                 else cout<<"Start the http connect!"<<endl;
     
106. 
     
107.                 /* 把accept返回的套接字描述符与线程httpproxy绑定 */
     
108.                 threadPool.schedule(boost::bind(&httpproxy, (void *)connfd));
     
109. 
     
110.         }
     
111. }
     
112. 
     
113. 
     
114. 2，forwarddata:
     
115. 
     
116.                 #include<sys/select.h>
     
117. #include<iostream>
     
118. #include<string.h>
     
119. #include<sys/socket.h>
     
120. #include<errno.h>
     
121. #include<arpa/inet.h>
     
122. #include <linux/kernel.h>
     
123. #include <linux/netfilter_ipv4.h>
     
124. 
     
125. #define MAXLINE 4096  
     
126. 
     
127. /* 声明外部变量gIsRunning */
     
128. extern volatile bool gIsRunning;
     
129. 
     
130. using namespace std;
     
131. 
     
132. int forwarddata(int connfd, int remotefd);
     
133. 
     
134. int max(int a, int b)
     
135. {
     
136.         return a>b?a:b;
     
137. }
     
138. 
     
139. int httpproxy(void *fd)
     
140. {
     
141.         int                 connfd,remotefd,port;
     
142.         socklen_t        len;
     
143.         char                buff[100+1];
     
144.         const char *        ipaddr;
     
145. 
     
146.         struct sockaddr_in        remoteserv;
     
147.         struct sockaddr_in        dest;
     
148. 
     
149.         connfd = *((int *)fd);
     
150.         free(fd);
     
151. 
     
152.         /* 获取连接的目的IP和PORT */
     
153.         memset(buff, 0x00, sizeof(buff));
     
154.         len =sizeof(dest);
     
155.         memset(&dest, 0, len);
     
156.         if(getsockopt(connfd, SOL_IP, SO_ORIGINAL_DST, &dest, &len)< 0)
     
157.         {
     
158.                 cout<<"Getsockopt error:"<<strerror(errno)<<endl;
     
159.                 return -1;
     
160.         }
     
161.         else
     
162.         {
     
163.                 ipaddr = inet_ntop(AF_INET, &dest.sin_addr, buff, sizeof(buff));
     
164.                 port   = ntohs(dest.sin_port);
     
165.                 cout<<"Iptables transparent destination:"<<ipaddr<<":"<<port<<endl;
     
166.         }
     
167. 
     
168.         cout<<"buff="<<buff<<" "<<"port="<<port<<endl;
     
169. 
     
170.         /* 创建到服务器socket */
     
171.         if((remotefd = socket(AF_INET, SOCK_STREAM, 0))<0)
     
172.         {
     
173.                 cout<<"Remote error:"<<strerror(errno)<<endl;
     
174.                 return -1;
     
175.         }
     
176.         memset(&remoteserv, 0x00, sizeof(remoteserv));
     
177.         remoteserv.sin_family = AF_INET;
     
178.         remoteserv.sin_port   = htons(ntohs(dest.sin_port));
     
179.         inet_pton(AF_INET, buff, &remoteserv.sin_addr);
     
180.        
     
181.         /* 按目的地址建立连接 */
     
182.         if(connect(remotefd, (struct sockaddr *)&remoteserv, sizeof(remoteserv))<0)
     
183.         {
     
184.                 cout<<"Connect remote server error:"<<strerror(errno)<<endl;
     
185.                 //goto STOP_THREAD;
     
186.                 return -1;
     
187.         }
     
188.         else
     
189.         {       
     
190.                 /* 处理connfd和remotefd的数据交换 */
     
191.                 forwarddata(connfd, remotefd);
     
192.         }
     
193.         return 0;
     
194. }
     
195. 
     
196. int forwarddata(int connfd, int remotefd)
     
197. {
     
198.         int        maxfdp1;
     
199.         int        ret, n;
     
200.         char        buff[MAXLINE];
     
201.         fd_set        rset;                 //分配一个状态描述符类型的变量
     
202.         struct timeval val;
     
203.         val.tv_sec = 10;
     
204.         val.tv_usec = 0;
     
205. 
     
206.         FD_ZERO(&rset);                //将一个指定的fd_set变量的所有位设置为0.
     
207.         ret = 0;
     
208.        
     
209.         /* 循环地从客户端读，向服务端写；从服务器端读，向客户端写 */
     
210.         for( ; gIsRunning==1 ; )
     
211.         //printf("test3=%d\n", gIsRunning);
     
212.         //while(gIsRunning)
     
213.         {
     
214.                 /* 调用FD_SET设置一个fd_set变量的指定位。添加描述符到描述符集合*/
     
215.                 FD_SET(connfd, &rset);
     
216.                 FD_SET(remotefd, &rset);
     
217.        
     
218.                 /* 因为描述符编号从0开始，所以要在最大描述符编号值上加1 */
     
219.                 maxfdp1 = max(connfd, remotefd) + 1;
     
220.                
     
221.                 /* 返还值-1表示出错 */
     
222.                 if((n = select(maxfdp1, &rset, NULL, NULL, &val))<0)
     
223.                 {
     
224.                         cout<<"Select serror!"<<endl;
     
225.                         break;
     
226.                 }
     
227.                 /* 判断是否为超时返回 */
     
228.                 if( n == 0 )
     
229.                         continue;
     
230. 
     
231.                 /* 从客户端读recv(client) */
     
232.                 if(FD_ISSET(connfd, &rset)) //测试一指定位是否设置，检查FD集合中FD是否准备好
     
233.                 {
     
234.                         memset(buff, 0x00, sizeof(buff));
     
235.                         ret = recv(connfd, buff, MAXLINE, 0);
     
236.                         if(ret > 0)
     
237.                         {
     
238.                                 cout<<"Client to server..."<<endl;
     
239. 
     
240.                                 /* 向服务器端写send(server) */
     
241.                                 ret = send(remotefd, buff, ret, 0);
     
242.                                 if(ret == -1)
     
243.                                 {
     
244.                                         cout<<"Send data to real server error"<<endl;
     
245.                                         break;
     
246.                                 }
     
247.                         }
     
248.                         /* 没读到数据关闭连接 */
     
249.                         else if(ret == 0)
     
250.                         {
     
251.                                 break;
     
252.                         }
     
253.                         /* 从客户端接受数据错误 */
     
254.                         else
     
255.                         {
     
256.                                 break;
     
257.                         }
     
258.                 }
     
259. 
     
260.                 /* 从服务器端读recv(server) */
     
261.                 if(FD_ISSET(remotefd, &rset))
     
262.                 {
     
263.                         memset(buff, 0x00, sizeof(buff));
     
264.                         ret = recv(remotefd, buff, MAXLINE, 0);
     
265.                         if(ret > 0)
     
266.                         {
     
267.                                 cout<<"Remote to client..."<<endl;
     
268. 
     
269.                                 /* 向客户端写send(client) */
     
270.                                 ret = send(connfd, buff, ret, 0);
     
271.                                 if(ret == -1)
     
272.                                 {
     
273.                                         cout<<"Send data to client error"<<endl;
     
274.                                         break;
     
275.                                 }
     
276.                         }
     
277.                         /* 没读到数据关闭连接 */
     
278.                         else if(ret == 0)
     
279.                         {
     
280.                                 break;
     
281.                         }
     
282.                         /* 从客户端接受数据错误 */
     
283.                         else
     
284.                         {
     
285.                                 break;
     
286.                         }
     
287.                 }
     
288. 
     
289.         }
     
290.         return 0;
     
291. 
     
292. }

复制代码

ohyeahbbs

坐等高人··指点····

ohyeahbbs

xiboboy123

val.tv_sec = 10;
val.tv_usec = 0;
放到select函数前面就成。。。

ohyeahbbs

val.tv_sec = 10;
val.tv_usec = 0;
放到select函数前面就成。。。
xiboboy123 发表于 2011-07-13 16:08

嗯嗯，top  中的pproxy代理占用资源的确有明显大量的减少，可以html代理连接的页面依然只能代理2~3个页面，点击多个时打不开·········

ohyeahbbs

是不是线程绑定的资源没有释放导致不能打开多个页面的链接吖。。。。？？

如果后面我不采用线程来绑定文件秒数字来处理调用httpproxy函数的调用，
而采用进程来调用就不会产生不能打开多个页面的问题。。。这是为什么呢？？？
进程替换线程代码如下：
要替换的：

1.       /* 把accept返回的套接字描述符与线程httpproxy绑定 */
   
2.                 threadPool.schedule(boost::bind(&httpproxy, (void *)connfd));

复制代码

替换为：

1. /* 创建子进程，处理请求 */
   
2.                 if((pid = fork()) > 0)
   
3.                 {
   
4.                         /* 父进程处理 */
   
5.                         free(connfd);
   
6.                         continue ;
   
7.                 }
   
8.                 else if(pid == 0)
   
9.                 {
   
10.                         /* 子进程处理 */
    
11.                         close(listenfd);
    
12.                         cout<<"Start the http connect!"<<endl;
    
13.                         httpproxy((void *)connfd);
    
14.                         exit(0);
    
15.                 }
    
16.                 else if(pid < 0)
    
17.                 {
    
18.                         cout<<"Creat the child process fail! "<<endl;
    
19.                         exit(2);
    
20.                 }
    
21.                 close(listenfd);

复制代码

这样就可以打开多个网页了······不懂真不懂这是为啥？？？？线程不是用完自动释放，重复利用的麽？？
望大虾指点·····

ohyeahbbs

是不是由这个原因啊？？？有木有大虾啊？？
由于程序用select等待连接完成，可以设置一个select等待时间限制，从而缩短connect超时时间。多数实现中，connect的超时时间在75秒到几分钟之间。有时程序希望在等待一定时间内结束，使用非阻塞connect可以防止阻塞75秒，在多线程网络编程中，尤其必要。   例如有一个通过建立线程与其他主机进行socket通信的应用程序，如果建立的线程使用阻塞connect与远程通信，当有几百个线程并发的时候，由于网络延迟而全部阻塞，阻塞的线程不会释放系统的资源，同一时刻阻塞线程超过一定数量时候，系统就不再允许建立新的线程（每个进程由于进程空间的原因能产生的线程有限），如果使用非阻塞的connect，连接失败使用select等待很短时间，如果还没有连接后，线程立刻结束释放资源，防止大量线程阻塞而使程序崩溃。