PHP Cookbook读书笔记 – 第13章Web自动化

cu_Cbear

PHP Cookbook读书笔记 – 第13章Web自动化

通过GET获得一个指定url的页面内容
有3种方式来获取一个URL的内容：

1. 1.PHP提供的文件函数file_get_contents()
   
2. 2.cURL扩展
   
3. 3.PEAR中的HTTP_Request类
   
4. view sourceprint?
   
5. 01 //方式1  
   
6. 
   
7. 02 $page = file_get_contents('http://www.example.com/robots.txt');  
   
8. 
   
9. 03   
   
10. 
    
11. 04 //方式2  
    
12. 
    
13. 05 $c = curl_init('http://www.example.com/robots.txt');  
    
14. 
    
15. 06 curl_setopt($c, CURLOPT_RETURNTRANSFER, true);  
    
16. 
    
17. 07 $page = curl_exec($c);  
    
18. 
    
19. 08 curl_close($c);  
    
20. 
    
21. 09   
    
22. 
    
23. 10 //方式3  
    
24. 
    
25. 11 require_once 'HTTP/Request.php';  
    
26. 
    
27. 12 $r = new HTTP_Request('http://www.example.com/robots.txt');  
    
28. 
    
29. 13 $r->sendRequest();  
    
30. 
    
31. 14 $page = $r->getResponseBody();

复制代码

可以通过这些方式来获取XML文档，通过结合http_build_query()来建立一个查询字符串，可以通过url中加入username@password的形式来访问受保护的页面，通过cURL和PEAR的HTTP_Client类来跟踪重定向。

通过POST获得一个URL
让PHP模拟发送一个POST请求并获得服务器的反馈内容

1. view sourceprint?
   
2. 01 //1  
   
3. 
   
4. 02 $url = 'http://www.example.com/submit.php';  
   
5. 
   
6. 03 $body = 'monkey=uncle&rhino=aunt';  
   
7. 
   
8. 04 $options = array('method' => 'POST', 'content' => $body);  
   
9. 
   
10. 05 $context = stream_context_create(array('http' => $options));  
    
11. 
    
12. 06 print file_get_contents($url, false, $context);  
    
13. 
    
14. 07   
    
15. 
    
16. 08 //2  
    
17. 
    
18. 09 $url = 'http://www.example.com/submit.php';  
    
19. 
    
20. 10 $body = 'monkey=uncle&rhino=aunt';  
    
21. 
    
22. 11 $c = curl_init($url);  
    
23. 
    
24. 12 curl_setopt($c, CURLOPT_POST, true);  
    
25. 
    
26. 13 curl_setopt($c, CURLOPT_POSTFIELDS, $body);  
    
27. 
    
28. 14 curl_setopt($c, CURLOPT_RETURNTRANSFER, true);  
    
29. 
    
30. 15 $page = curl_exec($c);  
    
31. 
    
32. 16 curl_close($c);  
    
33. 
    
34. 17   
    
35. 
    
36. 18 //3  
    
37. 
    
38. 19 require 'HTTP/Request.php';  
    
39. 
    
40. 20 $url = 'http://www.example.com/submit.php';  
    
41. 
    
42. 21 $r = new HTTP_Request($url);  
    
43. 
    
44. 22 $r->setMethod(HTTP_REQUEST_METHOD_POST);  
    
45. 
    
46. 23 $r->addPostData('monkey','uncle');  
    
47. 
    
48. 24 $r->addPostData('rhino','aunt');  
    
49. 
    
50. 25 $r->sendRequest();  
    
51. 
    
52. 26 $page = $r->getResponseBody();

复制代码

通过Cookie获得一个URL

1. view sourceprint?
   
2. 01 //2  
   
3. 
   
4. 02 $c = curl_init('http://www.example.com/needs-cookies.php');  
   
5. 
   
6. 03 curl_setopt($c, CURLOPT_COOKIE, 'user=ellen; activity=swimming');  
   
7. 
   
8. 04 curl_setopt($c, CURLOPT_RETURNTRANSFER, true);  
   
9. 
   
10. 05 $page = curl_exec($c);  
    
11. 
    
12. 06 curl_close($c);  
    
13. 
    
14. 07   
    
15. 
    
16. 08 //3  
    
17. 
    
18. 09 require 'HTTP/Request.php';  
    
19. 
    
20. 10 $r = new HTTP_Request('http://www.example.com/needs-cookies.php');  
    
21. 
    
22. 11 $r->addHeader('Cookie','user=ellen; activity=swimming');  
    
23. 
    
24. 12 $r->sendRequest();  
    
25. 
    
26. 13 $page = $r->getResponseBody();

复制代码

通过Header获得一个URL
通过修改header中的信息可以来伪造 Referer 或 User-Agent 后请求目标URL，不少防盗链网站经常会采用判断Referer中的信息来源决定是否允许下载或访问资源。需要具备一些HTTP的HEADER背景知识。

标记网页
其实这个代码经过简单修改还可以应用到替换网页中的敏感关键字，这在天朝是很有用的一个功能

1. view sourceprint?
   
2. 1 $body = '
   
3. I like pickles and herring.
   
4. 
   
5. view sourceprint?
   
6. 01 <A href="http://www.cnblogs.com/Excellent/admin/pickle.php"><IMG alt="" src="http://www.cnblogs.com/Excellent/admin/pickle.jpg">A pickle picture</A>  
   
7. 
   
8. 02   
   
9. 
   
10. 03 I have a herringbone-patterned toaster cozy.  
    
11. 
    
12. 04   
    
13. 
    
14. 05 Herring is not a real HTML element!  
    
15. 
    
16. 06 ';  
    
17. 
    
18. 07   
    
19. 
    
20. 08 $words = array('pickle','herring');  
    
21. 
    
22. 09 $patterns = array();  
    
23. 
    
24. 10 $replacements = array();  
    
25. 
    
26. 11 foreach ($words as $i => $word) {  
    
27. 
    
28. 12     $patterns[] = '/' . preg_quote($word) .'/i';  
    
29. 
    
30. 13     $replacements[] = "<SPAN class=word-$i>\\0</SPAN>";  
    
31. 
    
32. 14 }  
    
33. 
    
34. 15   
    
35. 
    
36. 16 // Split up the page into chunks delimited by a  
    
37. 
    
38. 17 // reasonable approximation of what an HTML element  
    
39. 
    
40. 18 // looks like.  
    
41. 
    
42. 19 $parts = preg_split("{(<(?:\"[^\"]*\"|'[^']*'|[^'\">])*>)}",  
    
43. 
    
44. 20                     $body,  
    
45. 
    
46. 21                     -1,  // Unlimited number of chunks  
    
47. 
    
48. 22                     PREG_SPLIT_DELIM_CAPTURE);  
    
49. 
    
50. 23 foreach ($parts as $i => $part) {  
    
51. 
    
52. 24     // Skip if this part is an HTML element  
    
53. 
    
54. 25     if (isset($part[0]) && ($part[0] == '<')) { continue; }  
    
55. 
    
56. 26     // Wrap the words with <SPAN>s  
    
57. 
    
58. 27     $parts[$i] = preg_replace($patterns, $replacements, $part);  
    
59. 
    
60. 28 }  
    
61. 
    
62. 29   
    
63. 
    
64. 30 // Reconstruct the body  
    
65. 
    
66. 31 $body = implode('',$parts);  
    
67. 
    
68. 32   
    
69. 
    
70. 33 print $body;</SPAN>

复制代码

提取页面所有链接
也是一个很不错的功能，在做采集之类的程序时可以用的上

采用了tidy扩展的实现方式：

1. view sourceprint?
   
2. 01 $doc = new DOMDocument();  
   
3. 
   
4. 02 $opts = array('output-xml' => true,  
   
5. 
   
6. 03               // Prevent DOMDocument from being confused about entities  
   
7. 
   
8. 04               'numeric-entities' => true);  
   
9. 
   
10. 05 $doc->loadXML(tidy_repair_file('linklist.html',$opts));  
    
11. 
    
12. 06 $xpath = new DOMXPath($doc);  
    
13. 
    
14. 07 // Tell $xpath about the XHTML namespace  
    
15. 
    
16. 08 $xpath->registerNamespace('xhtml','http://www.w3.org/1999/xhtml');  
    
17. 
    
18. 09 foreach ($xpath->query('//xhtml:a/@href') as $node) {  
    
19. 
    
20. 10     $link = $node->nodeValue;  
    
21. 
    
22. 11     print $link . "\n";

复制代码

通过正则提取链接：

1. view sourceprint?
   
2. 1 $html = file_get_contents('linklist.html');  
   
3. 
   
4. 2 $links = pc_link_extractor($html);  
   
5. 
   
6. 3 foreach ($links as $link) {  
   
7. 
   
8. 4     print $link[0] . "\n";  
   
9. 
   
10. 5 }  
    
11. 
    
12. 6   
    
13. 
    
14. 7 function pc_link_extractor($html) {  
    
15. 
    
16. 8     $links = array();  
    
17. 
    
18. 9     preg_match_all('/<A href="http://www.cnblogs.com/Excellent/admin/[\"\']?([^\"\'">]*)[\"\']?[^>]*>(.*?)<\/a>/i', $html,$matches,PREG_SET_ORDER); foreach($matches as $match) { $links[] = array($match[1],$match[2]); } return $links;</A>

复制代码

将文本转换为HTML
bbcode的概念和这个很像，所以将这个贴出来

1. view sourceprint?
   
2. 1 function pc_text2html($s) {  
   
3. 
   
4. 2   $s = htmlentities($s);  
   
5. 
   
6. 3   $grafs = split("\n\n",$s);  
   
7. 
   
8. 4   for ($i = 0, $j = count($grafs); $i < $j; $i++) {  
   
9. 
   
10. 5     // 转换html超链接  
    
11. 
    
12. 6     $grafs[$i] = preg_replace('/((ht|f)tp:\/\/[^\s&]+)/',  
    
13. 
    
14. 7                               '<A href="http://www.cnblogs.com/Excellent/admin/$1">$1</A>',$grafs[$i]);    // 转换email链接  
    
15. 
    
16. 8     $grafs[$i] = preg_replace('/[^@\s]+@([-a-z0-9]+\.)+[a-z]{2,}/i',        '<A href="mailto:$1">$1</A>',$grafs[$i]);    // 开始一个新段落  
    
17. 
    
18. 9     $grafs[$i] = '
    
19. '.$grafs[$i].'
    
20. 
    
21. view sourceprint?
    
22. 1 ';  }  return implode("\n\n",$grafs);}

复制代码

将HTML转换为文本
已经有现成的代码来实现这个功能http://www.chuggnutt.com/html2text.php

删除HTML和PHP标签
用这个函数strip_tags( ) 可以删除HTML和PHP标签