免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 5381 | 回复: 5
打印 上一主题 下一主题

如何用wget来取cdn节点缓存的文件? [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2011-05-16 17:19 |只看该作者 |倒序浏览
如题

论坛徽章:
0
2 [报告]
发表于 2011-05-16 17:20 |只看该作者
主要是想看节点是不是更新过

论坛徽章:
0
3 [报告]
发表于 2011-05-16 17:40 |只看该作者
先wget一次,会生成一个文件,然后sleep 一会,再wget一次生成一个文件,用diff对比两个文件

论坛徽章:
0
4 [报告]
发表于 2011-05-16 17:54 |只看该作者
不是这个意思
比如说 我用wget -S --spider www.XXX.com/index.html去查http头部信息,返回一下信息
正在解析主机 www.XXX.com... 124.160.239.251
正在连接 www.XXX.com|124.160.239.251|:80... 已连接。
已发出 HTTP 请求,正在等待回应...
  HTTP/1.0 200 OK
  Content-Type: text/html
  Accept-Ranges: bytes
  ETag: "3334747604"
  Last-Modified: Fri, 13 May 2011 10:57:12 GMT
  Content-Length: 11236
  Date: Sun, 15 May 2011 02:34:10 GMT
  Server: lighttpd/1.4.26
  Age: 11080
  X-Via: 1.0 hzxs242:8887 (Cdn Cache Server V2.0)
  Connection: keep-alive
长度: 11236 (11K) [text/html]

这个是从cdn节点上取的页面
如果我直接用ip地址去取的话,wget -S --spider 124.160.239.251/XXX.com/index.html 无法正常响应
这个是什么原因?或者说怎么直接去下载cdn节点上缓存的页面?

论坛徽章:
0
5 [报告]
发表于 2011-05-16 18:06 |只看该作者
回复 4# sunfeng116


    www.XXX.com/index.html
对应的应该是124.160.239.251/index.html吧,是不是写错了

论坛徽章:
1
摩羯座
日期:2014-12-29 15:59:36
6 [报告]
发表于 2011-05-16 19:17 |只看该作者
一个ip对应多个网站
只告诉人家ip,给你返回哪个网站.

这种情况

如果自己构造请求

必须告诉在HOST header 里告诉人家你想要的域名
$ua->default_header("Host"=>"www.dlmu.edu.cn");
my $response = $ua->get("http://202.118.88.88/");

wget 的话 是这样

wget  --header="Host: www.dlmu.edu.cn" -qO- "http://202.118.88.88/"

你拿浏览器输入http://202.118.88.88/的话,HOST头是202.118.88.88,反回400
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP