java网页爬虫

凝望长空

java网页爬虫

.原理；
首先，爬虫的目的是什么？
1：爬取某一网站某一类别的网页信息
2：爬取某一网站的全部页面信息
3：爬取网络中，某一网段或全网的信息

对于1：
分析首页面url布局，分析url的特点，获取全部url，去掉非目的url，根据目的url，读写文件到本地目录，（继续读取某一目录下的页面url，或，读取某一目录下的url，根据规则获取某一类页面想要的信息指），写入日志。

for,hzw：

1：根据首页面url，读取改页面下的全部url（包括：http协议，js,img,href，或者非法类似url）,只取出浏览页面的url，写文件至本地，依次读取浏览页面写入本地的文件，取出预期的产品展示url，写文件至本地。

2：当以上工作全部完成时，依次读取产品展示页面写入本地的文件，根据规则（正则表达式），取出想在页面获取的信息值，写写入log日志文件。

3：讲日志文件里面的数据信息，整合到DB数据库中。
over

renxiao2003

原来做过C做的爬虫程序。不过没学好。

surpass_li

爬虫不了解没搞过