12 / 2 页

[C++] ［求助］C＋＋分析日志的问题 [复制链接]

andytodd 该用户已被删除	11楼 [报告] 发表于 2008-01-11 15:09 \|只看该作者提示: 作者被禁止或删除内容自动屏蔽
andytodd 该用户已被删除	实战分享：从技术角度谈机器学习入门\| 【大话IT】RadonDB低门槛向MySQL集群下战书 \| ChinaUnix打赏功能已上线！ \| 新一代分布式关系型数据库RadonDB知多少？

gqgl

白手起家

论坛徽章:: 0

12楼 [报告]

发表于 2008-01-11 15:24 |只看该作者

清楚。我是在每天统计，但是我现在要统计的是月份数据和年数据，这样数据的量就大了。我用PHP的关联数组也可以实现这样的功能，但是由于数据不定时会变大，会出现内存不足的现象（的确出现过这样的事情）。还能帮我想想什么样的算法能够在数据突然膨胀到5G左右时仍然能继续运行吗？

[ 本帖最后由 gqgl 于 2008-1-11 15:26 编辑 ]

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

cx6445

丰衣足食

论坛徽章:: 0

13楼 [报告]

发表于 2008-01-11 15:30 |只看该作者

原帖由 gqgl 于 2008-1-11 15:24 发表
清楚。我用PHP的关联数组也可以实现这样的功能，但是由于数据不定时会变大，会出现内存不足的现象（的确出现过这样的事情）。还能帮我想想什么样的算法能够在数据突然膨胀到5G左右时仍然能继续运行吗？

我觉得这个已经没有办法了，一般内存有4个G足够算5个G大小的文本了。
如果对url进行编码，这样可能可以节省一些内存。

或者对日志按某几个字段进行哈希分割成文本文件，然后按文件运算，这样就是麻烦一些，内存肯定没问题。

[ 本帖最后由 cx6445 于 2008-1-11 15:33 编辑 ]

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

gqgl

白手起家

论坛徽章:: 0

14楼 [报告]

发表于 2008-01-11 16:59 |只看该作者

OK！知道了，谢谢！！

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

12 / 2 页

返回列表

Chinaunix › 论坛 › 程序设计 › C/C++ › ［求助］C＋＋分析日志的问题