免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 6516 | 回复: 9

zabbix 的 mysql数据库清理 [复制链接]

论坛徽章:
15
2015年辞旧岁徽章
日期:2015-03-03 16:54:15双鱼座
日期:2015-01-15 17:29:44午马
日期:2015-01-06 17:06:51子鼠
日期:2014-11-24 10:11:13寅虎
日期:2014-08-18 07:10:55酉鸡
日期:2014-04-02 12:24:51双子座
日期:2014-04-02 12:19:44天秤座
日期:2014-03-17 11:43:36亥猪
日期:2014-03-13 08:13:51未羊
日期:2014-03-11 12:42:03白羊座
日期:2013-11-20 10:15:18CU大牛徽章
日期:2013-04-17 11:48:45
发表于 2014-09-05 17:43 |显示全部楼层
zabbix服务器运行了一年了,数据库很大了,50GB以上,希望能够做个瘦身。听听大家的意见。

一台zabbix,监控100台左右的agents。 环境全在云上,zabbix数据库用的是aws RDS. 也就是说没有数据库服务器,没法直接登录到数据库服务器上,只能通过sql tools 链接数据库来管理。 所有的查询,清理命令都必须通过sql命令来运行。

能够在不损失至少3个月内的数据的情况下做瘦身。 大家都是如何做的。

我用的sql管理软件是: MysqlWorkbench
数据库版本是: mysql (5.5.27)

论坛徽章:
24
申猴
日期:2014-10-10 15:56:39射手座
日期:2014-10-10 15:57:18黑曼巴
日期:2018-05-14 11:05:122016科比退役纪念章
日期:2018-05-14 11:05:0715-16赛季CBA联赛之北控
日期:2018-05-14 11:05:0015-16赛季CBA联赛之江苏
日期:2017-02-27 18:11:0715-16赛季CBA联赛之上海
日期:2018-08-15 09:48:5415-16赛季CBA联赛之佛山
日期:2018-07-20 17:14:2315-16赛季CBA联赛之佛山
日期:2019-09-10 18:08:4615-16赛季CBA联赛之山西
日期:2020-03-26 09:40:5115-16赛季CBA联赛之佛山
日期:2020-05-08 09:03:54
发表于 2014-09-09 11:25 |显示全部楼层
本帖最后由 chengchow 于 2014-09-09 11:27 编辑

zabbix没玩过,不知道数据库结构是怎么样的,给你个通用的方法
开启MYSQL二进制日志,3个月后,删除数据,通过二进制日志恢复最后3个月数据
...
其实我估计你不是数据库大了,是二进制日志没有清理,如果这样就简单多了
备份完数据库,然后去MYSQL界面删掉二进制日志就行了

论坛徽章:
15
2015年辞旧岁徽章
日期:2015-03-03 16:54:15双鱼座
日期:2015-01-15 17:29:44午马
日期:2015-01-06 17:06:51子鼠
日期:2014-11-24 10:11:13寅虎
日期:2014-08-18 07:10:55酉鸡
日期:2014-04-02 12:24:51双子座
日期:2014-04-02 12:19:44天秤座
日期:2014-03-17 11:43:36亥猪
日期:2014-03-13 08:13:51未羊
日期:2014-03-11 12:42:03白羊座
日期:2013-11-20 10:15:18CU大牛徽章
日期:2013-04-17 11:48:45
发表于 2014-09-09 15:00 |显示全部楼层
chengchow 发表于 2014-09-09 11:25
zabbix没玩过,不知道数据库结构是怎么样的,给你个通用的方法
开启MYSQL二进制日志,3个月后,删除数据, ...


这个命令可以用来查找最大的几个table size
  1. SELECT table_name AS "Tables",
  2. round(((data_length + index_length) / 1024 / 1024), 2) "Size in MB"
  3. FROM information_schema.TABLES
  4. WHERE table_schema = 'zabbix'
  5. ORDER BY (data_length + index_length) DESC;
复制代码
我这边运行了这个命令后, 就这个两个table: history_uint (30GB) 和 history (24GB) 就用掉几乎全部的空间了。 这样的话,目标已经找到。

table 结构:
  1. desc history_uint
  2. field, type, null, key, default,extra
复制代码
有什么建议吗?

论坛徽章:
24
申猴
日期:2014-10-10 15:56:39射手座
日期:2014-10-10 15:57:18黑曼巴
日期:2018-05-14 11:05:122016科比退役纪念章
日期:2018-05-14 11:05:0715-16赛季CBA联赛之北控
日期:2018-05-14 11:05:0015-16赛季CBA联赛之江苏
日期:2017-02-27 18:11:0715-16赛季CBA联赛之上海
日期:2018-08-15 09:48:5415-16赛季CBA联赛之佛山
日期:2018-07-20 17:14:2315-16赛季CBA联赛之佛山
日期:2019-09-10 18:08:4615-16赛季CBA联赛之山西
日期:2020-03-26 09:40:5115-16赛季CBA联赛之佛山
日期:2020-05-08 09:03:54
发表于 2014-09-09 15:32 |显示全部楼层
本帖最后由 chengchow 于 2014-09-09 15:35 编辑

回复 3# rdcwayx
有开binary log吗,有就可以做,没有只能先开binary log功能,否则你无法判断哪些数据是3个月内的
当然,如果你数据插入的时候有添加日期那也可以
还是cacti好
数据库大小几乎没增长过,RRD大小也没变化

   

论坛徽章:
15
2015年辞旧岁徽章
日期:2015-03-03 16:54:15双鱼座
日期:2015-01-15 17:29:44午马
日期:2015-01-06 17:06:51子鼠
日期:2014-11-24 10:11:13寅虎
日期:2014-08-18 07:10:55酉鸡
日期:2014-04-02 12:24:51双子座
日期:2014-04-02 12:19:44天秤座
日期:2014-03-17 11:43:36亥猪
日期:2014-03-13 08:13:51未羊
日期:2014-03-11 12:42:03白羊座
日期:2013-11-20 10:15:18CU大牛徽章
日期:2013-04-17 11:48:45
发表于 2014-09-09 21:49 |显示全部楼层
chengchow 发表于 2014-09-09 15:32
回复 3# rdcwayx
有开binary log吗,有就可以做,没有只能先开binary log功能,否则你无法判断哪些数据是 ...


binary log的功能我要先查一下。

zabbix有支持你提到的类似的历史记录自动整理功能,叫做 housekeeper:
http://zabbixzone.com/zabbix/history-tables-housekeeper/

但是有人说有缺陷,housekeeper开启的话,会损失性能。 我在想,就用housekeeper类似的方式,每次手工的做一下就可以了。

你能帮忙看一下,到底那些命令需要运行?

论坛徽章:
24
申猴
日期:2014-10-10 15:56:39射手座
日期:2014-10-10 15:57:18黑曼巴
日期:2018-05-14 11:05:122016科比退役纪念章
日期:2018-05-14 11:05:0715-16赛季CBA联赛之北控
日期:2018-05-14 11:05:0015-16赛季CBA联赛之江苏
日期:2017-02-27 18:11:0715-16赛季CBA联赛之上海
日期:2018-08-15 09:48:5415-16赛季CBA联赛之佛山
日期:2018-07-20 17:14:2315-16赛季CBA联赛之佛山
日期:2019-09-10 18:08:4615-16赛季CBA联赛之山西
日期:2020-03-26 09:40:5115-16赛季CBA联赛之佛山
日期:2020-05-08 09:03:54
发表于 2014-09-10 09:18 |显示全部楼层
回复 5# rdcwayx
这个是MYSQL分区表原理来实现的,分区表这块我也不是很了解
性能受损主要是表现在查询上,原来只要查找一个表,现在会是N个表
不过这种做法也挺麻烦了,没过段时间就要去添加个分区表(可以通过脚本+cron)去实现!
...
这个做法应该比 binary log要好,binary log恢复数据库性能也会受损,
性能受损主要表现在写入,查询上基本不受影响,不过实现方法没有分区表安全
具体怎么做看你需要了
   

论坛徽章:
223
2022北京冬奥会纪念版徽章
日期:2015-08-10 16:30:32操作系统版块每日发帖之星
日期:2016-05-10 19:22:58操作系统版块每日发帖之星
日期:2016-02-18 06:20:00操作系统版块每日发帖之星
日期:2016-03-01 06:20:00操作系统版块每日发帖之星
日期:2016-03-02 06:20:0015-16赛季CBA联赛之上海
日期:2019-09-20 12:29:3219周年集字徽章-周
日期:2019-10-01 20:47:4815-16赛季CBA联赛之八一
日期:2020-10-23 18:30:5320周年集字徽章-20	
日期:2020-10-28 14:14:2615-16赛季CBA联赛之广夏
日期:2023-02-25 16:26:26CU十四周年纪念徽章
日期:2023-04-13 12:23:10操作系统版块每日发帖之星
日期:2016-05-10 19:22:58
发表于 2014-09-11 17:21 |显示全部楼层
回复 5# rdcwayx


    谢谢推荐,其实线上环境性能不是首要点

论坛徽章:
7
寅虎
日期:2014-08-15 12:54:11狮子座
日期:2014-10-28 23:42:142015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:48:00IT运维版块每日发帖之星
日期:2015-08-04 06:20:00IT运维版块每日发帖之星
日期:2015-08-06 06:20:00IT运维版块每日发帖之星
日期:2015-10-10 06:20:00
发表于 2014-12-01 23:46 |显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
223
2022北京冬奥会纪念版徽章
日期:2015-08-10 16:30:32操作系统版块每日发帖之星
日期:2016-05-10 19:22:58操作系统版块每日发帖之星
日期:2016-02-18 06:20:00操作系统版块每日发帖之星
日期:2016-03-01 06:20:00操作系统版块每日发帖之星
日期:2016-03-02 06:20:0015-16赛季CBA联赛之上海
日期:2019-09-20 12:29:3219周年集字徽章-周
日期:2019-10-01 20:47:4815-16赛季CBA联赛之八一
日期:2020-10-23 18:30:5320周年集字徽章-20	
日期:2020-10-28 14:14:2615-16赛季CBA联赛之广夏
日期:2023-02-25 16:26:26CU十四周年纪念徽章
日期:2023-04-13 12:23:10操作系统版块每日发帖之星
日期:2016-05-10 19:22:58
发表于 2014-12-02 08:56 |显示全部楼层
再便宜也要钱的呀

论坛徽章:
9
寅虎
日期:2014-06-03 14:10:05午马
日期:2015-01-08 16:49:52白羊座
日期:2015-01-16 12:58:182015年迎新春徽章
日期:2015-03-04 09:57:092015元宵节徽章
日期:2015-03-06 15:51:33NBA常规赛纪念章
日期:2015-05-04 22:32:03IT运维版块每日发帖之星
日期:2015-08-04 06:20:0015-16赛季CBA联赛之北京
日期:2015-12-14 09:40:0315-16赛季CBA联赛之青岛
日期:2016-07-25 11:23:07
发表于 2015-11-10 13:48 |显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP