“多线程”采集技术 可行性

bs

单线采集太慢了

有哪位老兄用多线程方式吗？

HonestQiao

本版我发过文章，完全可行，而且给商业客户做过这样子的东西，切实可用。

但是是多进程，而不是多线程。

achieverain

原帖由 HonestQiao 于 2007-4-25 16:29 发表
本版我发过文章，完全可行，而且给商业客户做过这样子的东西，切实可用。

但是是多进程，而不是多线程。

是 php-cli模式下的多进程吗？

hightman

多进程完全可以的，php-cli下的话

bs

hoho..谢谢，找到 ：）

bs

发现问题了...

可能是

1. 
   
2.         function thread($id,$url)
   
3.         {       
   
4.                 $PHP_SELF        =$PHP_SELF?$PHP_SELF:$_SERVER['PHP_SELF'];        //获取本身路径
   
5.                 $host                =fsockopen($_SERVER['HTTP_HOST'],80);                //获取主机地址
   
6.                 fputs($host,"GET {$PHP_SELF}?id={$id}&url={$url}\r\n");        //对当前文件发送请求
   
7.                 fclose($host);
   
8.         }
   

复制代码

fputs 被主机拒绝了？

[Fri Apr 27 00:53:12 2007] [error] [client 222.77.189.xx] client denied by server configuration: D:/apache

HonestQiao

原帖由 bs 于 2007-4-27 08:34 发表
发现问题了...

可能是

[code]
        function thread($id,$url)
        {       
                $PHP_SELF        =$PHP_SELF?$PHP_SELF_SERVER['PHP_SELF'];        //获取本身路径
                $host                =fsockopen($_SERVER['HTTP_HOST'],80);                //获取主机 ...

主机完全可以也有权这么做。

netkiller

你可以复合式的.

fork{
     thread{
           fsockopen()
    }
}

写一个程序 php cli运行它..然后他自己fork 进程. 每个进程里有N个线程..... 和apache mpm-work 一样...

bs

问题解决了，是因为我用fputs了非标准的http头

换成：
fputs($host,"GET http://{$hostname}:80{$PHP_SELF}?id={$id}&url={$url}\r\n Host:{$hostname}\r\n");

后问题解决!!

bs

原帖由 netkiller 于 2007-4-27 18:03 发表
你可以复合式的.

fork{
     thread{
           fsockopen()
    }
}

写一个程序 php cli运行它..然后他自己fork 进程. 每个进程里有N个线程..... 和apache mpm-work 一样...

谢谢，这个是真正的线程吗？在性能方面不知有没有测试过



我发现在多进程环境下运行，系统资源占用很大，想想是不是改天可以用来做压力测试