php gearmand 大并发的哥们关注下，谢谢

sickcat2004

php gearmand 大并发后报这个错误，哪个英雄哥遇到过，分享一下解决经验。。谢谢！
>Message:  GearmanClient::doBackground(): gearman_con_read:lost connection to server (104)

linux_c_py_php

服务端连接关闭, 看一下Gearmand服务端的配置, 是否限制了连接数.

sickcat2004

linux_c_py_php 发表于 2012-09-24 18:38
服务端连接关闭, 看一下Gearmand服务端的配置, 是否限制了连接数.

geamand 没有配置文件

linux_c_py_php

看了一下, 是一个rpc extension, 你的worker进程开了几个? 单循环Loop accept?

sickcat2004

linux_c_py_php 发表于 2012-09-25 12:28
看了一下, 是一个rpc extension, 你的worker进程开了几个? 单循环Loop accept?

谢谢兄台的更近，比较忙没有及时反馈，惭愧！

gearmand 3台，跑在centos 5.5下
每台6个workers，
一共18个，当我并发在2500以上以后，
出现 本出题php警告。。。。
我是用php 前端curl 请求 php worker 脚本处理的。。。。
我怀疑是不是机器资源不够，但是 top cup 都在65%以下！
搜索了各大论坛。。相关的讨论几乎没有，
没时间看geamand的源代码，我以为它一直很稳定！

linux_c_py_php

为什么php是用curl请求php worker呢, gearmand不是有开发接口吗, 你这个中途又走了什么中间代理吗

sickcat2004

linux_c_py_php 发表于 2012-09-25 17:33
为什么php是用curl请求php worker呢, gearmand不是有开发接口吗, 你这个中途又走了什么中间代理吗

oh， 是这样，我这是一个计数器，类似文章点击率或者微博粉丝数目什么的，是提供 web serviec api的方式：


前端开发人员 功过  ajax，curl的get或者post方式传送数据给php脚本服务端，然后我在服务端脚本里接受参数
，我上代码吧！

1. class Hit extends CI_Controller {
   
2.         private $_data=array();
   
3. 
   
4.         private function _echo($msg="ok",$errno=1,$data=array()){
   
5.                 $re = array();
   
6.                 $re['msg']=$msg;
   
7.                 $re['state']=$errno;
   
8.                 $re['data']=$data;
   
9.                 $this->re_json($this->_data['callback'],json_encode($re));
   
10.                 exit;
    
11.         }
    
12.         private function re_json($callback,$json_re)
    
13.         {
    
14.                 //__DEBUG__ AND $json_re="'".$json_re."'";
    
15.                 $this->_data['fe_debug'] AND $json_re="'".$json_re."'";
    
16.                 if($callback){
    
17.                         echo $callback."(".$json_re.")";
    
18.                 }else{
    
19.                         echo $json_re;
    
20.                 }   
    
21.         }
    
22. 
    
23.         private function init(){
    
24.                 $this->_data['callback']="";
    
25.                 $this->_data['platform_name']="";
    
26.                 $this->_data['platform_id']=0;
    
27.                 $this->_data['object_id'] =0;
    
28.                 $this->_data['event_id'] = 0;
    
29.                 $this->_data['fe_debug']=0;
    
30. 
    
31.         }
    
32.         public function insert(){//new_click
    
33.                 $this->init();
    
34.                 isset($_REQUEST['callback']) AND $this->_data['callback']=$_REQUEST['callback'];
    
35.                 isset($_REQUEST['debug']) AND $this->_data['fe_debug']=intval($_REQUEST['debug']);
    
36.                 $data = array();
    
37.                 isset($_REQUEST['callback']) AND $data= $this->input->get();
    
38.                 $data OR $data = $this->input->post();
    
39.                 $data OR $data = $this->uri->uri_to_assoc();
    
40.                 $data = $this->check_data($data);
    
41.                  $data_=array();
    
42.                 $data_['platform_id']=$data['platform_id'];
    
43.                 $data_['object_id']=$data['object_id'];
    
44.                 $data_['event_id']=$data['event_id'];
    
45.                 $this->in_queue($data_);
    
46. 
    
47.         }
    
48.         private function check_data($data){
    
49.                 if(empty($data) OR !is_array($data)){
    
50.                         $this->_echo("no any data","-400");
    
51.                 }
    
52.                 $event_id=0;
    
53.                 $object_id=0;
    
54.                 $platform_name="";
    
55.                 extract($data);
    
56.                 //isset($callback) AND $this->_data['callback']=$callback;
    
57.                 isset($platform_name) AND $this->_data['platform_name']=$platform_name;
    
58.                 isset($object_id)  AND  $this->_data['object_id']=intval($object_id);
    
59.                 isset($event_id) AND   $this->_data['event_id']=intval($event_id);
    
60.                 if(!$this->_data['platform_name']){
    
61.                         $this->_echo("platform_name is NULL",-5);
    
62.                 }
    
63.                 //print_r($event_id);
    
64.                 global $g_platform_list,$g_event_list;
    
65.                 if(!$platform_id=array_search($platform_name,$g_platform_list)){
    
66.                         $this->_echo("platform_name error",-1);
    
67.                 }
    
68.                 if(!array_key_exists( intval($event_id),$g_event_list) ){
    
69.                         $this->_echo("event_id error",-2);
    
70.                 }
    
71.                 if(!intval($object_id)){
    
72.                         $this->_echo("object_id error",-3);
    
73.                 }
    
74.                 $this->_data['platform_id']=$platform_id;
    
75.                 return $this->_data;
    
76.         }
    
77.         private function in_queue($data){
    
78. 
    
79.                 global $g_gearman;
    
80.                 $client = new GearmanClient();
    
81.                 foreach($g_gearman as $key=>$v){
    
82.                         $tmp_array = explode(":",$v);
    
83.                         $client->addServer($tmp_array[0],$tmp_array[1]);
    
84.                 }
    
85.                 $str = json_encode($data);
    
86.                 $client->doBackground("in_queue_now",$str);
    
87.                 if($client->returnCode() != GEARMAN_SUCCESS){
    
88.                         $this->_echo("gearman error",-500);
    
89.                 }
    
90.                 __DEBUG__ AND  $this->_echo("ok",1,$data);
    
91.                 __DEBUG__ OR   $this->_echo("ok",1);
    
92.         }
    
93. }

复制代码

1. private function in_queue($data){
   
2. 
   
3.                 global $g_gearman;
   
4.                 $client = new GearmanClient();
   
5.                 foreach($g_gearman as $key=>$v){
   
6.                         $tmp_array = explode(":",$v);
   
7.                         $client->addServer($tmp_array[0],$tmp_array[1]);
   
8.                 }
   
9.                 $str = json_encode($data);
   
10.                 $client->doBackground("in_queue_now",$str);
    
11.                 if($client->returnCode() != GEARMAN_SUCCESS){
    
12.                         $this->_echo("gearman error",-500);
    
13.                 }
    

复制代码

look ：：：：
in_queue 这个私有成员方法里面加入geamand服务器然后 处理的，然后另外一台服务器在从消息队列里面取出数据插入mongo，谢谢跟进！

linux_c_py_php

知道了, 那你先增加worker进程数, 压力测试一下QPS到多少不响应.

这样实现不行就不能用这个扩展了, 这个gearmand和zeromq工作模式应该是类似的, 没有中心服务器, 可以考虑使用zeromq来做这件事, 如果你能接受有中心服务器的MQ, 可以选择RabbitMQ.

sickcat2004

linux_c_py_php 发表于 2012-09-25 18:38
知道了, 那你先增加worker进程数, 压力测试一下QPS到多少不响应.

这样实现不行就不能用这个扩展了, 这个 ...

  多谢建议，我明天用webbench 压一下，
看看能抗多少。。。不行的话，
估计要考虑水平扩展worker和gearmand server ，
现在换另外的消息队列，估计boss不同意了。。。要上线了！

linux_c_py_php

gearmand server 是有中心服务器的?