论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2010-12-25 15:11 |只看该作者 |倒序浏览

小弟正在做海量web日志文件的分析研究，需要有很大的web日志文件作为数据基础，但是我本身并没有自己的网站，不能通过自己的网站获取web日志。其他的网站又不可能把自己的日志提供给咱，所以求助高人们，如何才能获取到海量日志？之前看过论坛里的一个类似话题，回复者提到了模仿访问的方法，我就想到有没有一种软件可以这样：我自己设立一个虚拟服务器，该软件经过设置，自动的随机的以各种ip、各种用户、各种需要来访问我的虚拟服务器，这样时间足够长的话日志文件也会不断变大，达到我的要求。请高人来指点了，如果有这样一种软件，请告诉我名字，小弟拜托了！先表示诚挚的谢意！

文库|博客

版主杀手

小富即安

论坛徽章:: 0

2楼 [报告]

发表于 2010-12-25 20:20 |只看该作者

你这算窃取知道吗

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

7717060

版主

论坛徽章:: 0

3楼 [报告]

发表于 2010-12-26 14:30 |只看该作者

没人会给你的，日志里很多会有铭感信息的，呵呵。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

chxlinux chxlinux 当前离线禁止发言好友博客消息论坛徽章: 0	4楼 [报告] 发表于 2010-12-27 00:00 \|只看该作者提示: 作者被禁止或删除内容自动屏蔽
chxlinux chxlinux 当前离线禁止发言好友博客消息论坛徽章: 0	实战分享：从技术角度谈机器学习入门\| 【大话IT】RadonDB低门槛向MySQL集群下战书 \| ChinaUnix打赏功能已上线！ \| 新一代分布式关系型数据库RadonDB知多少？

id_for_fun

丰衣足食

论坛徽章:: 0

5楼 [报告]

发表于 2010-12-28 02:27 |只看该作者

晕。

1. 如果你关心的只是日志的数量，直接复制就成了。
2 .如果需要有点意义的日志，找一块web扫描软件，逮着你的站点抓取一遍，然后你就有N多的日志，then goto 1
ps:这个扫描软件大多和安全相关，会进行大量的计算，可以去掉这写安全测试，只抓取。
或者，最简单，你用wget 把你的网站镜像下来。一条命令足矣。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

vermouth

版主

论坛徽章:: 34

6楼 [报告]

发表于 2010-12-29 16:37 |只看该作者

tfn 自己？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

xuledw

小富即安

论坛徽章:: 0

7楼 [报告]

发表于 2010-12-31 11:43 |只看该作者

自己压脚本合成
复制粘贴

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

taojie2000

巨富豪门

论坛徽章:: 0

8楼 [报告]

发表于 2010-12-31 21:47 |只看该作者

等楼主研究过程中的经验总结

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

返回列表

Chinaunix › 论坛 › IT运维 › 服务器应用 › 求助如何获取海量web日志文件

chxlinux chxlinux 当前离线禁止发言好友博客消息论坛徽章: 0	4楼 [报告] 发表于 2010-12-27 00:00 \|只看该作者提示: 作者被禁止或删除内容自动屏蔽
chxlinux chxlinux 当前离线禁止发言好友博客消息论坛徽章: 0	实战分享：从技术角度谈机器学习入门\| 【大话IT】RadonDB低门槛向MySQL集群下战书 \| ChinaUnix打赏功能已上线！ \| 新一代分布式关系型数据库RadonDB知多少？

[Web] 求助如何获取海量web日志文件 [复制链接]

浏览过的版块