[求助]哪位兄台能给小弟发段数据采集的例子!谢谢!

海水正蓝

[求助]哪位兄台能给小弟发段数据采集的例子!谢谢!

3227049

<?php
print file_get_contents("http://www.baidu.com");
?>

Skyverd

原帖由 3227049 于 2007-5-11 17:51 发表
<?php
print file_get_contents("http://www.baidu.com");
?>

这样行吗？file_get_contents?能采集吗？baidu又没定义规范？

海水正蓝

数据采集后怎么过滤?只收集有用的数据,比如新闻系统的,只采集标题和内容,
在网上找了写资料看,迷糊!

carset

1. 
   
2. 
   
3. $folder = BASE_DIR.'/tmp/avn/';
   
4. $nums = array(20,40,60,80,100,120,140,160,180,200,220);
   
5. 
   
6. foreach ($nums as $num){
   
7.         $url = "http://image.baidu.com/i?z=0&cl=2&ct=201326592&sn=&lm=-1&cm=1&sc=0&bu=&rn=21&tn=baiduimage&word=%CD%B7%CF%F1&pn=$num";
   
8.         $content = file_get_contents($url);
   
9.         $regexp = '|target=_blank><img src=(http://\w\d.baidu.com/it/u=\d*,\d*&gp=\d*.jpg)></a><br>|iU';
   
10.         preg_match_all($regexp,$content,$need);
    
11.         fuck_av($need[1]);
    
12. }
    
13. function fuck_av($array){
    
14.         foreach ($array as $img){
    
15.                 saveImage($img);
    
16.         }
    
17. }
    
18. 
    
19. echo '保存完毕!';
    
20. 
    
21. function saveImage($uri){
    
22.         global $folder;
    
23.         $file = time().'_'.rand(0,9999).'.jpg';
    
24.         $file = $folder.$file;
    
25.         $fp = fopen($file,'w');
    
26.         @fwrite($fp,getvarable($uri));
    
27.         @fclose($fp);
    
28.         if(file_exists($file))
    
29.                 _log($file."\t保存完毕\r\n");
    
30. }
    
31. 
    
32. 
    
33. function _log($str){
    
34.         $file = BASE_DIR.'/log/image.'.date('Y_m_d').'.txt';
    
35.         $fp = fopen($file,'a+');
    
36.         @fwrite($fp,$str);
    
37.         @fclose($fp);
    
38. }
    

复制代码

kls

snooy

ttt8

QQ群。主要探讨：Apache 模块开发，PHP PECL扩展，MySql API开发，SEO技术

欢迎来自CU、PHPX、CSDN、PHPE、落伍、NJPHP等论坛的朋友，大家共同提高。

QQ群号码 38397726