免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 数据库技术 › MySQL › mysql数据抽取
最近访问板块 发新帖
查看: 7229 | 回复: 8
打印 上一主题 下一主题

mysql数据抽取 [复制链接]

Ophelia_cu

论坛徽章:
1
数据库技术版块每日发帖之星 日期:2015-08-01 06:20:00
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2013-11-25 17:23 |只看该作者 |倒序浏览
        我现在业务上要抽取很多数据，展现在报表上，每个报表的数据来源可能会是好几张的表，经过一段逻辑计算后得到的，因为数据比较多，量也比较大，想请教大家有没有用到好的数据抽取工具，或者有什么好方法可以解决这样的问题， 相对于写很多存储过程放在数据库里效率更好点的办法。
      我的环境是windows+mysql
        
syre

论坛徽章:
0
2楼 [报告]
发表于 2013-11-25 22:44 |只看该作者
弄到从库执行，结果可以另外保存
对于可以多次用到的中间数据也是如此。比如可以用按日汇总结果计算按周，按月的
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
tiankafeiwu

论坛徽章:
2
酉鸡 日期:2014-02-19 09:11:08摩羯座 日期:2014-05-23 10:16:16
3楼 [报告]
发表于 2013-11-26 09:27 |只看该作者
先抽取到ods中间库里面，统一处理分析后，在放到dw数据仓库下保存。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
wenhq

论坛徽章:
16
IT运维版块每日发帖之星 日期:2015-10-02 06:20:00IT运维版块每月发帖之星 日期:2015-09-11 19:30:52IT运维版块每周发帖之星 日期:2015-09-11 19:20:31IT运维版块每日发帖之星 日期:2015-08-26 06:20:00每日论坛发贴之星 日期:2015-08-20 06:20:00IT运维版块每日发帖之星 日期:2015-08-20 06:20:002015年辞旧岁徽章 日期:2015-03-03 16:54:15金牛座 日期:2014-05-04 16:58:09双子座 日期:2013-12-17 16:44:37辰龙 日期:2013-11-22 15:20:59狮子座 日期:2013-11-18 22:55:08射手座 日期:2013-11-12 10:54:26
4楼 [报告]
发表于 2013-11-26 13:26 |只看该作者
ETL。。。干的事情吧？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
Ophelia_cu

论坛徽章:
1
数据库技术版块每日发帖之星 日期:2015-08-01 06:20:00
5楼 [报告]
发表于 2013-11-26 14:28 |只看该作者
回复 4# wenhq

是啊 推荐一些合适的工具？


   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
wenhq

论坛徽章:
16
IT运维版块每日发帖之星 日期:2015-10-02 06:20:00IT运维版块每月发帖之星 日期:2015-09-11 19:30:52IT运维版块每周发帖之星 日期:2015-09-11 19:20:31IT运维版块每日发帖之星 日期:2015-08-26 06:20:00每日论坛发贴之星 日期:2015-08-20 06:20:00IT运维版块每日发帖之星 日期:2015-08-20 06:20:002015年辞旧岁徽章 日期:2015-03-03 16:54:15金牛座 日期:2014-05-04 16:58:09双子座 日期:2013-12-17 16:44:37辰龙 日期:2013-11-22 15:20:59狮子座 日期:2013-11-18 22:55:08射手座 日期:2013-11-12 10:54:26
6楼 [报告]
发表于 2013-11-26 14:52 |只看该作者
extract transfer load 我以前用的是一个比较原始的模型就是找一台机器，每天定时把线上数据load到这个机器。然后在这台机器上做分析。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
A.com

论坛徽章:
1
天秤座 日期:2014-04-27 07:42:20
7楼 [报告]
发表于 2013-11-28 16:43 |只看该作者
我觉得楼主的需求（多表抽取数据进行计算）直接写sql就行了，不需要什么抽取工具
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
chinafenghao

论坛徽章:
8
CU大牛徽章 日期:2013-09-18 15:20:48CU大牛徽章 日期:2013-09-18 15:20:58CU大牛徽章 日期:2013-09-18 15:21:06CU大牛徽章 日期:2013-09-18 15:21:12CU大牛徽章 日期:2013-09-18 15:21:17天秤座 日期:2013-10-30 14:01:03摩羯座 日期:2013-11-29 18:02:31luobin 日期:2016-06-17 17:46:36
8楼 [报告]
发表于 2013-11-29 11:34 |只看该作者
@Ophelia_cu
楼主想要做规范,DW建模,ETL编写,BI展示 工作量就大了。
你的目的如果是简单的提升性能，可以从硬件上考虑,然后就是增加中间表,在中间表的基础上实现你的报表功能。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
Joshua_q

论坛徽章:
0
9楼 [报告]
发表于 2013-12-02 18:32 |只看该作者
如果你们有钱有技术有精力，建议使用DS，如果你们是个互联网公司，那么pentaho套件中的kettle是个很不错的选择，可以度娘，我最近也在研究使用，可以看看这个，有点初步印象：http://www.cnblogs.com/wingsless/p/3187436.html
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP