免费注册	查看新帖 \|


平台论坛博客文库

› 论坛 › 程序设计 › Shell › 如何使用curl抓这样网站的数据？

12 / 2 页

最近访问板块

发新帖

楼主: cfzxwxb

上一主题

下一主题

[网络相关] 如何使用curl抓这样网站的数据？ [复制链接]

论坛徽章:: 0

11楼 [报告]

发表于 2014-04-22 17:05 |只看该作者

大神啊。不行啊！

/fangan.html" -o file.txt
bash: [root@localhost: command not found
[zc310@ids1210 ~]$

我复制了10楼的代码，然后粘贴的linux系统去执行，显示命令没找到啊！！
怎么回事？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 2

天蝎座
日期:2014-04-22 17:48:21

戌狗
日期:2014-04-29 11:24:49

12楼 [报告]

发表于 2014-04-22 17:46 |只看该作者

本帖最后由 ywsydbz 于 2014-04-22 18:03 编辑

...
你把"[root@localhost ~]$"也copy了,去掉即可.还有如果要改页数只要改红色标示的数字即可
curl -d "__EVENTTARGET=AspNetPager1&__EVENTARGUMENT=3&__LASTFOCUS=&__VIEWSTATE=%2FwEPDwUKLTQzMjkxNDI0NA9kFgQCAQ9kFgQCAQ8WAh4HY29udGVudAVO5b2p5a6i5pOC5Y%...略

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

13楼 [报告]

发表于 2014-04-22 18:16 |只看该作者

老大，可以是可以了，但我一点也不懂啊！您能教我怎样实现吗？
这个网站可以了，其他类似的网站我还是无能为力啊！

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

14楼 [报告]

发表于 2014-04-22 18:21 |只看该作者

后边的那么多的东西，都是什么啊？我在网上搜了很多东西，为什么没有像您这样的，？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

15楼 [报告]

发表于 2014-04-22 22:04 |只看该作者

回复10楼的大侠：
你的这么多的东西是从哪里得到的？
是用curl http://www.310win.com/leitai/fangan.html 得到的吗？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 2

天蝎座
日期:2014-04-22 17:48:21

戌狗
日期:2014-04-29 11:24:49

16楼 [报告]

发表于 2014-04-22 23:13 |只看该作者

回复 15# cfzxwxb
使用chrome按f12调出控制台,

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 1

2015年辞旧岁徽章
日期:2015-03-03 16:54:15

17楼 [报告]

发表于 2014-04-23 07:57 |只看该作者

viewstate是.net特有的，你可以搜一下curl+viewstate可以看到如何抓取这类数据。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

18楼 [报告]

发表于 2014-04-23 08:18 |只看该作者

12楼的老大，这个我也会，我最近一直在百度这个事情！
我想在linux里用shell语言，curl 或者wget
自动抓取这个网站的所有页面的源程序。
能实现吗？
如何实现？
请大侠指点迷津！

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 2

天蝎座
日期:2014-04-22 17:48:21

戌狗
日期:2014-04-29 11:24:49

19楼 [报告]

发表于 2014-04-23 16:33 |只看该作者

回复 18# cfzxwxb
整站我也没搞过,google下吧
https://www.google.com.hk/search ... sm=141&ie=UTF-8

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

20楼 [报告]

发表于 2014-05-02 10:58 |只看该作者

这个问题难道不能解决吗？哪位提提醒也可以啊！！谢谢各位前辈！在下有礼啦！

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

12 / 2 页

发新帖

Chinaunix › 论坛 › 程序设计 › Shell › 如何使用curl抓这样网站的数据？

北京盛拓优讯信息技术有限公司. 版权所有京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP