论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2008-12-26 15:16 |只看该作者 |倒序浏览

20可用积分

我有类似

http://172.16.28.110/mantis/view.php?id=49
http://172.16.28.110/mantis/view.php?id=42
http://172.16.28.110/mantis/view.php?id=14

很多，

我想下载它们的文本内容然后找我感兴趣的东西

我用

wget [url]http://172.16.28.110/mantis/view.php?id=49[/url]

复制代码

下载的怎么没有文本内容。该如何解决？

最佳答案

我是DBA

查看完整内容

curl -d "username=用户名&password=密码&button=登录" http://172.16.28.110/mantis/login_page.php用这个试试：）

文库|博客

我是DBA

小富即安

论坛徽章:: 0

2楼 [报告]

发表于 2008-12-26 15:16 |只看该作者

curl -d "username=用户名&password=密码&button=登录" http://172.16.28.110/mantis/login_page.php
用这个试试：）

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

我是DBA

小富即安

论坛徽章:: 0

3楼 [报告]

发表于 2008-12-26 15:23 |只看该作者

使用curl

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

haimming

大富大贵

论坛徽章:: 0

4楼 [报告]

发表于 2008-12-26 15:24 |只看该作者

我有两个脚本，看看对你有没帮助

第一个知道最后一页页数

#! /bin/bash
#done book from url
url="http://www.linuxsir.org/bbs/thread29701.html"
urlbase=${url%/*}
urlfile=${url##*/}
wget -q $url
w3m $urlfile >a
count=2
urlfile=${urlfile%.*}-$count.html
while [ $count -lt 12 ]
do
wget -q $urlbase"/"$urlfile
w3m $urlfile >>a
# cat a
rm $urlfile
echo $count $urlfile "##################"
((count++))
urlfile=${urlfile%-*}-$count.html
done

复制代码

第二个，是人家的，知道共同特征“下一节”

#! /bin/bash
#done book from url
url="http://www.xunlei-mz.cn/artview_91842_6.html"
urlbase=`echo ${url%/*}`
urlfile=`echo ${url##*/}`
count=0
while(true)
do
((count++))
wget -q $urlbase"/"$urlfile
iconv -f gb18030 -t utf8 $urlfile >tmp.shtml
w3m tmp.shtml >>a
# cat a
rm $urlfile
urlfile=`grep "下一节" tmp.shtml |sed "s/'>.*//"|sed "s/.*'//"`
echo $count $urlfile "##################"
if [ -z "$urlfile" ]
then
break
fi
done
rm tmp.shtml

复制代码

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

我是DBA

小富即安

论坛徽章:: 0

5楼 [报告]

发表于 2008-12-26 15:26 |只看该作者

[root@union rc.d]# curl www.chinaunix.net >unix.net
  % Total % Received % Xferd  Average Speed Time Time    Time  Current
                              Dload  Upload Total Spent Left  Speed
100 80371 0 80371 0    0  1067k    0 --:--:-- --:--:-- --:--:-- 1404k
[root@union rc.d]# cat unix.net |more
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=gb2312" />
<META
content="Linux,unix,Freebsd,Solaris,服务器,存储,数据库,开发,程序设计,网络,安全,备份,硬件,IT培训,IT招聘求职,IT业界,IT人物,IT评论,业界
评论,计算机,数码,IT圈,下载,wiki,blog,博客"
name=keywords>
<META
content="ChinaUnix.net是中国最大的Linux/Unix技术社区网站,我们还交流程序开发,数据库,存储备份,服务器技术,网络安全等技术,并提供IT人才招
聘,软件下载,BLOG,IT培训等服务。"
name=description>
<title>ChinaUnix.net = 全球最大的Linux/Unix应用与开发者社区 = IT人的网上家园</title>
<meta http-equiv="Refresh" content=300;URL=/>
<meta name="robots" content="ALL">
<meta name="distribution" content="Global">
<meta name="rating" content="General">
<meta name="author" content="http://www.chinaunix.net/">
<meta name="language" content="chinese">

<link href="css/index2.css" rel="stylesheet" type="text/css" />

</head>

<body>
<CENTER>

<table width="760" border="0" cellpadding="0" cellspacing="0">
  <tr><FORM name="login" action="http://bbs.chinaunix.net/logging.php?action=login"  method=post>
      <TD nowrap width="*" align="left">
      <script language="javascript" src="http://bbs.chinaunix.net/loginbox.php"></script>
      </TD>
</form>
  <FORM name=search action=http://s.chinaunix.net/bbs.php method=get>
<TD vAlign=center align=right height=23 nowrap width="304"><a href=http://www.chinaunix.net/hot.shtml style="color: green; text-
decoration: none" target=_blank>今日推荐</a> [<a href=http://bbs3.chinaunix.net title="如果您觉得访问慢，欢迎访问我们的镜像站：http:
//bbs3.chinaunix.net" target=_blank><font color=red>论坛境像</font></a>]
      <INPUT maxLength=50 size=10 name=q>
<input type="hidden" name="title" value="fulltext">
<input type="hidden" name="st" value="title">
<input type="hidden" name="bbs" value="1">
<input type="hidden" name="forums" value="all">
               <INPUT name="submit" type=submit style="width:56px;height:17px;border:0;background:url('http://www.chinaunix.net/i
mages_new/search.gif');line-height:22px;cursor:hand;" value="">
</TD>
  </FORM>
  </TR>
  </tr>
  <tr>
<td height="1" colspan="2" bgcolor="#CCCCCC">
      
      <div width="760" height="80" id="cuad_35"></div><script language="javascript" src="http://count.chinaunix.net/js.php?id=35">
</script>

      </td>
  </tr>
  <tr>
<td height="60" colspan="2"><table width="100%" border="0" cellpadding="0" cellspacing="0">
   <tr>
      <td width="28%" height="60" style="vertical-align: middle"><img src="/images/culogo/indexlogo.gif" width="200" height="53" c
lass="td_m" /></td>
      <td class="td_m">

            <table class=nav width="100%" border="0" align="right" cellpadding="4" cellspacing="0">
--More--