一个长期统计的 （性能优化问题），还请了解的朋友指点一下

No.6

现在系统有一个功能是长期统计。由于数据量比较大，一小时单张表的数据量可以达到40万-300万条数据，现在要画长期的图，按小时分表，从几张小时表中取出某用户的流量进行画图。现在是比较慢，想想有没有什么优化办法？由于画图的同时还会有另一个程序在不停建表，往表里面写数据，输入的写入也有性能要求，所以没对表建索引。不过也尝试过建索引，效果也不是很好。

No.6

忘记说了，硬件是一台1U的服务器，性能一般。

ruochen

感觉像统计日志的程序
参考一些开源的日志统计工具是怎么实现的吧

No.6

原帖由 ruochen 于 2009-9-25 10:33 发表
感觉像统计日志的程序
参考一些开源的日志统计工具是怎么实现的吧

我觉得系统日志可能数据量都没有我这个大。我这是网络流量数据统计，要实时性比较高。还要保留长期。

不过可以参考一下你说的日志统计系统。你知道什么比较好的开源日志系统吗？俺先去g一下。

voxxu

加一台slave，配置一般就可以了，统计的时候停replication，统计完了再start

cenalulu

1. 没有写压力的时候画图慢不慢？慢的话就有必要好好考虑下怎么优化这个画图的流程了。
2. 如果是只在有大量写压力的时候慢，可以考虑ls的方法，相当于做个读写分离。
如果写只是插入操作的话，也可以考虑用myisam，然后开启concurrent insert。

聪明笨小孩

不是实时统计的话，搞个备份库统计！

No.6

原帖由 voxxu 于 2009-9-25 12:26 发表
加一台slave，配置一般就可以了，统计的时候停replication，统计完了再start

估计这样整体架构就变了。并且统计数据是实时报上来的。而画图也没有固定的时间，因为系统主要功能是做“监控”和“配置”。
不过还是要谢谢你的意见。等系统架构调整时估计能用上你说的这个。

No.6

原帖由 cenalulu 于 2009-9-25 13:12 发表
1. 没有写压力的时候画图慢不慢？慢的话就有必要好好考虑下怎么优化这个画图的流程了。
2. 如果是只在有大量写压力的时候慢，可以考虑ls的方法，相当于做个读写分离。
如果写只是插入操作的话，也可以考虑用m ...

其实写的压力也不小，整体画图的流程很简单，除非是优化SQL语句，否则就没有什么可以优化的，因为计算什么的都是在SQL中做的。有时候几张表UNION到一起。性能问题真的很恐怖。

我也想过读写分离。我最初想的是所有的写都写到一台主数据库（A）中，然后另一台机器的数据库（B）同步这台主的数据库（A），最后所有画图取数的请求都发到从数据库（B）。这样可以减小主的压力。可是想想但是写入A的压力就很大了，如果再让B同步A  A的压力是不是更大了，好像没有减轻压力.

忘记说了，因为要有回滚，所以只能用InnoDB

[ 本帖最后由 No.6 于 2009-9-27 13:34 编辑 ]

No.6

系统对实时性有一定的要求，并且还挺高的！郁闷啊！