免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 数据库技术 › MySQL › MySQL版《一周一议》之基于mysql的DW(数据仓库)/BI(商务 ...
1234下一页
最近访问板块 发新帖
楼主: chinafenghao
打印 上一主题 下一主题

MySQL版《一周一议》之基于mysql的DW(数据仓库)/BI(商务智能)解决方案（积分已转账） [复制链接]

laputa73

论坛徽章:
42
19周年集字徽章-周 日期:2019-10-14 14:35:31平安夜徽章 日期:2015-12-26 00:06:30数据库技术版块每日发帖之星 日期:2015-12-01 06:20:002015亚冠之首尔 日期:2015-11-04 22:25:43IT运维版块每日发帖之星 日期:2015-08-17 06:20:00寅虎 日期:2014-06-04 16:25:27狮子座 日期:2014-05-12 11:00:00辰龙 日期:2013-12-20 17:07:19射手座 日期:2013-10-24 21:01:23CU十二周年纪念徽章 日期:2013-10-24 15:41:34IT运维版块每日发帖之星 日期:2016-01-27 06:20:0015-16赛季CBA联赛之新疆 日期:2016-06-07 14:10:01
21楼 [报告]
发表于 2012-11-22 11:16 |只看该作者
主要学习。
也很关心mysql的单表size,早年mysql4 出国数据过文件经常损坏的问题，就切换到oracle 了
后续mysql上没再做过大量的数据操作。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
chinafenghao

论坛徽章:
8
CU大牛徽章 日期:2013-09-18 15:20:48CU大牛徽章 日期:2013-09-18 15:20:58CU大牛徽章 日期:2013-09-18 15:21:06CU大牛徽章 日期:2013-09-18 15:21:12CU大牛徽章 日期:2013-09-18 15:21:17天秤座 日期:2013-10-30 14:01:03摩羯座 日期:2013-11-29 18:02:31luobin 日期:2016-06-17 17:46:36
22楼 [报告]
发表于 2012-11-22 14:22 |只看该作者
@laputa73
确实，如果mysql单表数据量太大，又是OLTP操作的话，就要绕点弯子了。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
chinafenghao

论坛徽章:
8
CU大牛徽章 日期:2013-09-18 15:20:48CU大牛徽章 日期:2013-09-18 15:20:58CU大牛徽章 日期:2013-09-18 15:21:06CU大牛徽章 日期:2013-09-18 15:21:12CU大牛徽章 日期:2013-09-18 15:21:17天秤座 日期:2013-10-30 14:01:03摩羯座 日期:2013-11-29 18:02:31luobin 日期:2016-06-17 17:46:36
23楼 [报告]
发表于 2012-11-22 14:23 |只看该作者
@seesea2517
你们源数据不会增加字段？或者说重复导入了，需要删除数据的情况？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
seesea2517

论坛徽章:
93
2015年辞旧岁徽章 日期:2019-10-10 10:51:15CU大牛徽章 日期:2014-02-21 14:21:56CU十二周年纪念徽章 日期:2020-10-15 16:55:55CU大牛徽章 日期:2014-02-21 14:22:07羊年新春福章 日期:2019-10-10 10:51:39CU大牛徽章 日期:2019-10-10 10:55:38季节之章：春 日期:2020-10-15 16:57:40ChinaUnix元老 日期:2019-10-10 10:54:42季节之章：冬 日期:2019-10-10 10:57:17CU大牛徽章 日期:2014-02-21 14:22:52CU大牛徽章 日期:2014-03-13 10:40:30CU大牛徽章 日期:2014-02-21 14:23:15
24楼 [报告]
发表于 2012-11-22 15:26 |只看该作者
回复 23# chinafenghao


    表结构当然是比较稳定的了，有变动当然是有，但那是很少的了。另外我们按月分表存放，所以如果有变动的话也影响不大。
数据重复这个问题谁惹的祸就谁自己解决呗，哈哈。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
hero--008

论坛徽章:
0
25楼 [报告]
发表于 2012-11-22 18:08 |只看该作者
目前一些初创型公司or中小型公司，互联网公司在做数据分析时（他们可能不叫BI/DW/EDW）很多使用mysql。用商用数据库的多数还是一些传统行业 大型公司，这些公司一般都比较称钱。BI/DW主要是基于历史数据进行分析、挖掘，数据变化几率较小，因此基于MyISAM引擎的mysql表会是一个很好选择（数据量不是超大的话）。我们这边目前采集的日志数据会存放到Mysql中，DW还是基于oracle的。Mysql比较大的表数据量都上E了，单表存储7-8G左右吧，按天进行了分区，每月底会自动添加下月的分区，自动备份删除超过三个月的分区数据。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
laputa73

论坛徽章:
42
19周年集字徽章-周 日期:2019-10-14 14:35:31平安夜徽章 日期:2015-12-26 00:06:30数据库技术版块每日发帖之星 日期:2015-12-01 06:20:002015亚冠之首尔 日期:2015-11-04 22:25:43IT运维版块每日发帖之星 日期:2015-08-17 06:20:00寅虎 日期:2014-06-04 16:25:27狮子座 日期:2014-05-12 11:00:00辰龙 日期:2013-12-20 17:07:19射手座 日期:2013-10-24 21:01:23CU十二周年纪念徽章 日期:2013-10-24 15:41:34IT运维版块每日发帖之星 日期:2016-01-27 06:20:0015-16赛季CBA联赛之新疆 日期:2016-06-07 14:10:01
26楼 [报告]
发表于 2012-11-23 08:32 |只看该作者
回复 25# hero--008
myisam类型也可以支持分区了么？
除了按时间，可以按其他字段hash分区么
那样的话，确实可是考虑把分析部分的数据移到mysql
感觉做OLAP还是可以的


   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
crazyhadoop

论坛徽章:
1
天蝎座 日期:2013-12-06 18:23:58
27楼 [报告]
发表于 2012-11-23 14:45 |只看该作者
现在互联网用mysql搞bi真心不给力了，还是hbase靠谱，这也源于数据的组织形式~现在都是非关系型的数据偏多~hbase这样的列数据库更有优势
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
shang2010

论坛徽章:
154
2022北京冬奥会纪念版徽章 日期:2015-08-07 17:10:5720周年集字徽章-年 日期:2022-10-26 16:44:2015-16赛季CBA联赛之深圳 日期:2022-11-02 14:02:4515-16赛季CBA联赛之八一 日期:2022-11-28 12:07:4820周年集字徽章-20 日期:2023-07-19 08:49:4515-16赛季CBA联赛之八一 日期:2023-11-04 19:23:5115-16赛季CBA联赛之广夏 日期:2023-12-13 18:09:34
28楼 [报告]
发表于 2012-11-23 14:55 |只看该作者
@hero--008

能谈一下你们mysql业务是怎么做分区的么？？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
syzxlyx

论坛徽章:
1
戌狗 日期:2013-10-24 17:31:55
29楼 [报告]
发表于 2012-11-24 22:12 |只看该作者
chinafenghao 发表于 2012-11-22 14:22
@laputa73
确实，如果mysql单表数据量太大，又是OLTP操作的话，就要绕点弯子了。

大家去微薄看看淘宝道歉信吧，双十一时大家新高彩烈的，顶住压力了，可现在投诉来了，分库分表是一种手段，但肯定放弃了一些一致性要求。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
yezj2004

论坛徽章:
0
30楼 [报告]
发表于 2012-11-25 21:51 |只看该作者
谢谢楼主，楼主太好人了
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
1234下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP