免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 数据库技术 › MySQL › 像统计系统这样的频繁写入的程序mysql该如何优化？
最近访问板块 发新帖
查看: 5133 | 回复: 9
打印 上一主题 下一主题

像统计系统这样的频繁写入的程序mysql该如何优化？ [复制链接]

inwing

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2010-01-17 19:13 |只看该作者 |倒序浏览
RT

我有台E2180 双核 2G内存
mysql 5.1.38 centos 5.3 nginx 0.8.x 表引擎innodb
现在给一个日IP2W 5WPV的网站做统计 脏数据一直解决不了，并且隔三差五出现Out of memory 。
因为现在就这么一台服务器 还有一台是web的 配置稍好 但不在同一个机房 也不在一个内网 没法实现读写分离
有没有好的方法解决并发问题？


先考虑优化，如果有什么改善硬件的建议 也请指教~

[ 本帖最后由 inwing 于 2010-1-18 11:44 编辑 ]
bs

论坛徽章:
0
2楼 [报告]
发表于 2010-01-18 09:20 |只看该作者
5w pv也能高并发  

一般从应用程序角度解决，做写缓冲，不会直接加在数据库上

另外要把经常更新的统计字段从大表中独立出来，合理地设计库表结构

使用innodb
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
inwing

论坛徽章:
0
3楼 [报告]
发表于 2010-01-18 11:44 |只看该作者
php 没有dbcache的经验。。。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
ruochen

论坛徽章:
8
综合交流区版块每周发帖之星 日期:2015-12-02 15:03:53数据库技术版块每日发帖之星 日期:2015-10-02 06:20:00IT运维版块每日发帖之星 日期:2015-10-02 06:20:00IT运维版块每日发帖之星 日期:2015-09-14 06:20:00金牛座 日期:2014-10-10 11:23:34CU十二周年纪念徽章 日期:2013-10-24 15:41:34酉鸡 日期:2013-10-19 10:17:1315-16赛季CBA联赛之北京 日期:2017-03-06 15:12:44
4楼 [报告]
发表于 2010-01-19 12:35 |只看该作者
原帖由 inwing 于 2010-1-18 11:44 发表
php 没有dbcache的经验。。。


memcache
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
ruochen

论坛徽章:
8
综合交流区版块每周发帖之星 日期:2015-12-02 15:03:53数据库技术版块每日发帖之星 日期:2015-10-02 06:20:00IT运维版块每日发帖之星 日期:2015-10-02 06:20:00IT运维版块每日发帖之星 日期:2015-09-14 06:20:00金牛座 日期:2014-10-10 11:23:34CU十二周年纪念徽章 日期:2013-10-24 15:41:34酉鸡 日期:2013-10-19 10:17:1315-16赛季CBA联赛之北京 日期:2017-03-06 15:12:44
5楼 [报告]
发表于 2010-01-19 12:36 |只看该作者
原帖由 bs 于 2010-1-18 09:20 发表
5w pv也能高并发  

一般从应用程序角度解决，做写缓冲，不会直接加在数据库上

另外要把经常更新的统计字段从大表中独立出来，合理地设计库表结构

使用innodb



说的很不错
系统在你手中，你要分析瓶颈
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
Coolriver

论坛徽章:
0
6楼 [报告]
发表于 2010-01-19 12:37 |只看该作者
做统计的不太适合用memcache。
另外统计，都很有特点。可以分析一下自已的SQL及需求，根据不同步的引擎来计表结构，应该效果会不错的。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
justin033

论坛徽章:
0
7楼 [报告]
发表于 2010-01-20 09:09 |只看该作者
优化应用SQL是关键，慢日志抓；合理设置参数，主要是内存参数，有分全局共享和线程独享的，要注意！
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
inwing

论坛徽章:
0
8楼 [报告]
发表于 2010-01-20 10:47 |只看该作者
原帖由 justin033 于 2010-1-20 09:09 发表
优化应用SQL是关键，慢日志抓；合理设置参数，主要是内存参数，有分全局共享和线程独享的，要注意！


memcached 用了 缓存常用写入数据

慢日志 不知道咋看。。。

全局共享和线程独享这个还没研究过。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
Coolriver

论坛徽章:
0
9楼 [报告]
发表于 2010-01-22 13:15 |只看该作者
经常写入的系统，需要考虑减少系统锁的时间。

另外对于大量的读取和锁的竞争也要在设计中考虑一下。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
justin033

论坛徽章:
0
10楼 [报告]
发表于 2010-01-22 13:26 |只看该作者

回复 #9 Coolriver 的帖子

外加：尽量小事务
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP