网页抓取PHP

shouzukugong

小弟毕设 关于PHP 网页抓取，出入数据库 用户可从数据库搜索想要的东西 有哪位大虾做过这方面请教一下 小弟定重谢。小弟QQ 275478071！~或者留下联系方式 小弟来联系大虾

TottyAndBaty

你在个帖子我在PPC上看过了。这个没什么难处，你去找一个PHP Simple HTML DOM 的东东，文档写的很详细，做起来跟容易。

james.liu

这年头雷锋少，一对一的更少。

因为看你是毕业设计，所以我说下，别问我要代码。

网页抓取几个要点：
1：排重（一般url）
2：抓取（看curl）
3：高效写（看http://baike.baidu.com/view/1511292.htm?fr=ala0_1），写多个文件最后合并再写入数据库。

抓取部分：
1：编码。如果你是到指定网站，那么自己看下网页编码。如果是通用也就是不指定网页，那就需要研究如何识别编码和转码
2：解析。快的正则，慢得dom。
3：资源释放控制下。


如果只想找代码的，那就去用搜索引擎找吧。

james.liu

没兴趣

wildlily980

一个file_get_contents
一个preg_match
两个程序足矣。

geo898

如果不限定使用PHP的话，可以考虑采用图形化界面的MetaSeeker，免编程，AJAX内容抓取能力很强，抓取到的内容转换成结构化数据，适合做数据挖掘、情报分析、垂直搜索或者集成到自己的网站上。财经和数据分析专业学生和研究人员使用得很多。

yohoro

一个file_get_contents
一个preg_match
两个程序足矣。
wildlily980 发表于 2010-03-23 19:18

       顶这个