怎么下载网页内容

haimming

怪不得我们看不到呢，呵呵

ynchnluiti

原帖由 smallstar001 于 2008-12-26 15:16 发表
我有类似



很多，

我想下载它们的文本内容然后找我感兴趣的东西

我用
wget http://172.16.28.110/mantis/view.php?id=49

下载的怎么没有文本内容。该如何解决？

wget -d -o logfile -O savefile URL

看看日志(logfile)

smallstar001

原帖由 haimming 于 2008-12-26 15:24 发表
我有两个脚本，看看对你有没帮助

第一个知道最后一页页数

#! /bin/bash
#done book from url
url="http://www.linuxsir.org/bbs/thread29701.html"
urlbase=${url%/*}
urlfile=${url##*/}
    wget  ...

w3m 是什么  我这好象没有这个命令，


这个好象也不行，哪个地址好象是能跳转的吧，

我的wget 会生成login_page.php?return=%2Fmantis%2Fview.php?id=49 文件名

但里面没有网页上显示的内容

我是DBA

使用curl也不行么？

smallstar001

原帖由 ynchnluiti 于 2008-12-26 15:33 发表

wget -d -o logfile -O savefile URL

看看日志(logfile)

还是没有内容，都是标签，网页上的文本内容没有

haimming

w3m是 "a text based Web browser and pager"
我用来显示输出的，有时在emacs下用，要下载安装的

smallstar001

原帖由 我是DBA 于 2008-12-26 15:36 发表
使用curl也不行么？

不行， 没反应，本地文件是空的

[root@CCOSS_484883689 mantis]# curl http://172.16.28.110/mantis/view.php?id=49 > a
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0
[root@CCOSS_484883689 mantis]# cat a
[root@CCOSS_484883689 mantis]#

ynchnluiti

原帖由 smallstar001 于 2008-12-26 15:38 发表



还是没有内容，都是标签，网页上的文本内容没有

savefile里都是标签？网页内容是不是由javascript生成的文本

haimming

login_page.php?return=%2Fmantis%2Fview.php?id=49

是不是要用户登录才能见内容的？

我是DBA

这个比较难，没办法测试呢