Chinaunix

标题: 如何用wget来取cdn节点缓存的文件？ [打印本页]

作者: sunfeng116 时间: 2011-05-16 17:19
标题: 如何用wget来取cdn节点缓存的文件？
如题

作者: sunfeng116 时间: 2011-05-16 17:20
主要是想看节点是不是更新过

作者: where27 时间: 2011-05-16 17:40
先wget一次，会生成一个文件，然后sleep 一会，再wget一次生成一个文件，用diff对比两个文件

作者: sunfeng116 时间: 2011-05-16 17:54
不是这个意思
比如说我用wget -S --spider www.XXX.com/index.html去查http头部信息，返回一下信息
正在解析主机 www.XXX.com... 124.160.239.251
正在连接 www.XXX.com|124.160.239.251|:80... 已连接。
已发出 HTTP 请求，正在等待回应...
  HTTP/1.0 200 OK
  Content-Type: text/html
  Accept-Ranges: bytes
  ETag: "3334747604"
  Last-Modified: Fri, 13 May 2011 10:57:12 GMT
  Content-Length: 11236
  Date: Sun, 15 May 2011 02:34:10 GMT
  Server: lighttpd/1.4.26
  Age: 11080
  X-Via: 1.0 hzxs242:8887 (Cdn Cache Server V2.0)
  Connection: keep-alive
长度： 11236 (11K) [text/html]

这个是从cdn节点上取的页面
如果我直接用ip地址去取的话，wget -S --spider 124.160.239.251/XXX.com/index.html 无法正常响应
这个是什么原因？或者说怎么直接去下载cdn节点上缓存的页面？

作者: where27 时间: 2011-05-16 18:06
回复 4# sunfeng116

www.XXX.com/index.html
对应的应该是124.160.239.251/index.html吧，是不是写错了

作者: ziyunfei 时间: 2011-05-16 19:17
一个ip对应多个网站
只告诉人家ip,给你返回哪个网站.

这种情况

如果自己构造请求

必须告诉在HOST header 里告诉人家你想要的域名
$ua->default_header("Host"=>"www.dlmu.edu.cn");
my $response = $ua->get("http://202.118.88.88/");

wget 的话是这样

wget --header="Host: www.dlmu.edu.cn" -qO- "http://202.118.88.88/"

你拿浏览器输入http://202.118.88.88/的话,HOST头是202.118.88.88,反回400

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)