论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2008-12-08 15:36 |只看该作者 |倒序浏览

本人奇想通过shell写个小的爬虫,其实最简单的,
现在取到值是
http://www.tudou.com/programs/view/QsvpZCzQn2s/
http://www.tudou.com/programs/view/rjfJUx5_O1o/
是土豆网的视频把真实的地址隐藏了
但是可以通过
http://www.flvcd.com/
把真实的地址找出来
http://221.233.135.133/flv/024/5 ... ed3b2d9b8bf493ccdb0
http://61.55.161.9/flv/024/563/3 ... d687335ba1b493ccde9

我在这里卡住了

我怎么通过links 通过访问
http://www.flvcd.com/
把我需要的值
http://www.tudou.com/programs/view/QsvpZCzQn2s/
添进去并提交
然后通过
grep把
结果的值取出来呢?

谢谢各位了

不是这样哦
现在有点思路了
就是直接访问
links http://www.flvcd.com/parse.php?+ ... s/view/QsvpZCzQn2s/
只要格式对就可以得出我要的结果了
不过有人能帮我看下怎么转换格式吗
http://www.tudou.com/programs/view/fQ_cjxetdY0/
的请求url是
http://www.flvcd.com/parse.php?k ... xetdY0%2F&flag=

知道怎么转换吗

[ 本帖最后由 wmtytyty 于 2008-12-8 17:28 编辑 ]

文库|博客

biglazybug

小富即安

论坛徽章:: 1

2楼 [报告]

发表于 2008-12-08 15:47 |只看该作者

什么是小爬虫？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

smallstar001

富足长乐

论坛徽章:: 0

3楼 [报告]

发表于 2008-12-08 15:50 |只看该作者

原帖由 biglazybug 于 2008-12-8 15:47 发表
什么是小爬虫？

用过网络蚂蚁没？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

biglazybug

小富即安

论坛徽章:: 1

4楼 [报告]

发表于 2008-12-08 15:51 |只看该作者

回复 #3 smallstar001 的帖子

就用过flashget

[ 本帖最后由 biglazybug 于 2008-12-8 15:53 编辑 ]

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

smallstar001

富足长乐

论坛徽章:: 0

5楼 [报告]

发表于 2008-12-08 16:02 |只看该作者

原帖由 biglazybug 于 2008-12-8 15:51 发表
就用过flashget

也行，老板本的 flashget那个下载进度像不像一个小虫子再爬

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

biglazybug

小富即安

论坛徽章:: 1

6楼 [报告]

发表于 2008-12-08 16:21 |只看该作者

回复 #5 smallstar001 的帖子

哦那个呀就是密密麻麻的小点子走进度那个呗

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

返回列表

Chinaunix › 论坛 › 程序设计 › Shell › 奇想,想写个小爬虫,求助

奇想,想写个小爬虫,求助 [复制链接]

回复 #3 smallstar001 的帖子

回复 #5 smallstar001 的帖子

浏览过的版块