抓取网页的问题

greatho1507

抓取网页，先发送head,返回的信息只有expires,无last modifed.
如何根据http头返回的expires判断网页是否更新
比如返回的是
expires=Saturday, 20-Aug-11 02:11:46 GMT

是把这个时间和系统的时间比较看expires比系统时间（假设系统时间是正确的当前时间）迟还是早，迟就不用更新即重新抓网页，早就重新抓网页吗？

还是有其他方法呢？

qliu00

直接写socket程序获取当前的网页内容存入buffer中

happy_fish100

expires和网页是否更新没有关系。
网页最后更新时间需要看last modifed这个字段。

greatho1507

晕，我要判断网页是否更新，如果没有更新我就不抓取。。。

greatho1507

原帖由 happy_fish100 于 2008-8-20 11:02 发表
expires和网页是否更新没有关系。
网页最后更新时间需要看last modifed这个字段。

expires
不是说网页的有效时间吗？
在有效时间内就不用重新抓取网页而是用缓存中的数据？

happy_fish100

绝大多数网站都不会设置last modifed这个header

converse

试试这个,我也不太清楚:

The HEAD Method

A HEAD request is just like a GET request, except it asks the server to return the response headers only, and not the actual resource (i.e. no message body). This is useful to check characteristics of a resource without actually downloading it, thus saving bandwidth. Use HEAD when you don't actually need a file's contents.

The response to a HEAD request must never contain a message body, just the status line and headers.

http://jmarshall.com/easy/http/

converse

如果是这样的话,LZ的问题似乎就没办法解决了....期待更好的答案.

happy_fish100

你说得也没错。如果要根据expires来判断也是可行的。大多数网页都不会设置expires的。

greatho1507

原帖由 happy_fish100 于 2008-8-20 11:09 发表
你说得也没错。如果要根据expires来判断也是可行的。大多数网页都不会设置expires的。

根据expires来判断也是可行的?
按照我说的用系统时间和expires来判断？还是有其他的方法？
浏览器又是如何做到的呢