分享一个记录搜索引擎爬虫程序

abellq

function saveRobot($dir)
{
        $addtime = date('Y-m-d H:i:s',time());
        $GetLocationURL= "http://".$_SERVER["HTTP_HOST"].$_SERVER['REQUEST_URI'] ;
        $agent1 = $_SERVER["HTTP_USER_AGENT"] ;  
        $agent=strtolower($agent1);
        $Bot='';
        if (strpos($agent,"googlebot")>-1){$Bot = "Google";}           
        if (strpos($agent,"mediapartners-google")>-1){$Bot = "Google";}
        if (strpos($agent,"baiduspider")>-1){$Bot = "Baidu";}
        if (strpos($agent,"sogou spider")>-1){$Bot = "Sogou";}
        if (strpos($agent,"sosospider")>-1){$Bot = "Soso";}
        if($Bot!="")
        {
                $mDateTime=date("Y-m-d");
                //检查今天表存在否，不存在就建立。
                file_put_contents($dir."/$mDateTime.html","$Bot - $GetLocationURL - $addtime <br>",FILE_APPEND);
                //echo $agent .' - ' .$Bot .' - ' . $GetLocationURL;
        }
}

有用的童鞋就拿去用吧！

ponych

太高深了。小弟表示看不懂。

abellq

这个不难吧？就是PHP初学者也能看懂的呀！

suntoltti

useless

leeyocool

自己刚写了爬虫程序

x9x9

启用这个会不会降低网站反应速度？

abellq

启用这个会不会降低网站反应速度？
x9x9 发表于 2011-09-28 13:47

    如果你的流量较大，可以不要直接输出到文件，可以直接写入到数据库中!

xinglu1983

判断是爬虫还是自然人用户，从而达到让不同的来源进入不同的系统的目的，现在很多高pv网站都在使用这个方法。