shell爬虫

yakezone

小弟用shell完成了一个爬虫程序。 爬数据没问
在数据更新这遇到问题了。
对于动态网页如何能判断出是否更新。
Last-Modified的方法不可取 动态网页获取不到
MD5也不可取，每次下载同一个页面MD5值都不一样。

麻烦各位大神支支招 谢谢了

personball

回复 1# yakezone


   第一次下载该页面，存为Last.html
第二次下载该页面，存在New.html
用diff 命令比较2个html

yakezone

MD5值不一样，那2个页面肯定有不同。而且即使行，那样的话会花很大的空间去保存以前的文件。回复 2# personball


   

personball

回复 3# yakezone


    那你也没说清楚，到底依据什么去判断“更新”?    只是从每次获取的数据，哪怕有一个字符不同，不也可以看作是更新？

guoweiqust

啥是爬虫啊？分享看看呗

lastfile

shell爬虫，高啊，哥只会用python来写呢

rdcwayx

lastfile 发表于 2012-07-11 17:41
shell爬虫，高啊，哥只会用python来写呢

应该就是curl/wget 命令。蛮好的一个话题，居然没有继续讨论下去，可惜了。