免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 数据库技术 › 数据仓库与数据挖掘 › 大数据的问题，100T的数据量，单表10T左右。
123下一页
最近访问板块 发新帖
楼主: snow888
打印 上一主题 下一主题

大数据的问题，100T的数据量，单表10T左右。 [复制链接]

snow888

论坛徽章:
1
2015年辞旧岁徽章 日期:2015-03-03 16:54:15
11楼 [报告]
发表于 2014-03-20 09:28 |只看该作者
回复 10# zhaopingzi


    能改善多少啊，我准备用 8 个 node 的集群，不知道性能的瓶颈会在哪里？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
snow888

论坛徽章:
1
2015年辞旧岁徽章 日期:2015-03-03 16:54:15
12楼 [报告]
发表于 2014-03-20 09:29 |只看该作者
@zhaopingzi

我现在用的是 DB2 ， 单表 2亿条记录，加载数据就用了一天，郁闷死了。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
zhaopingzi

论坛徽章:
71
15-16赛季CBA联赛之同曦 日期:2018-08-23 15:41:42辰龙 日期:2014-08-15 09:07:43狮子座 日期:2014-06-03 13:55:33亥猪 日期:2014-06-02 11:17:08巨蟹座 日期:2014-05-06 10:02:03午马 日期:2014-05-04 08:18:27亥猪 日期:2014-04-29 11:11:32技术图书徽章 日期:2014-04-24 15:51:26技术图书徽章 日期:2014-04-17 11:01:53辰龙 日期:2014-04-15 12:45:46亥猪 日期:2014-04-11 09:06:23射手座 日期:2014-04-01 15:28:10
13楼 [报告]
发表于 2014-03-20 09:41 |只看该作者
snow888 发表于 2014-03-20 09:29
@zhaopingzi

我现在用的是 DB2 ， 单表 2亿条记录，加载数据就用了一天，郁闷死了。


你的应用是OLAP型的还是OLTP?
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
snow888

论坛徽章:
1
2015年辞旧岁徽章 日期:2015-03-03 16:54:15
14楼 [报告]
发表于 2014-03-20 10:04 |只看该作者
@zhaopingziOLAP撒
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
zhaopingzi

论坛徽章:
71
15-16赛季CBA联赛之同曦 日期:2018-08-23 15:41:42辰龙 日期:2014-08-15 09:07:43狮子座 日期:2014-06-03 13:55:33亥猪 日期:2014-06-02 11:17:08巨蟹座 日期:2014-05-06 10:02:03午马 日期:2014-05-04 08:18:27亥猪 日期:2014-04-29 11:11:32技术图书徽章 日期:2014-04-24 15:51:26技术图书徽章 日期:2014-04-17 11:01:53辰龙 日期:2014-04-15 12:45:46亥猪 日期:2014-04-11 09:06:23射手座 日期:2014-04-01 15:28:10
15楼 [报告]
发表于 2014-03-20 10:09 |只看该作者
回复 14# snow888


    果断换成SYBASE IQ,入库那是一个快。2亿条，估计1分钟不到就入进去了
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
snow888

论坛徽章:
1
2015年辞旧岁徽章 日期:2015-03-03 16:54:15
16楼 [报告]
发表于 2014-03-21 08:59 |只看该作者
@zhaopingzi

IQ 用过，能支持到多大的数据不知道啊，而且客户不投资，没办法撒。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
zhaopingzi

论坛徽章:
71
15-16赛季CBA联赛之同曦 日期:2018-08-23 15:41:42辰龙 日期:2014-08-15 09:07:43狮子座 日期:2014-06-03 13:55:33亥猪 日期:2014-06-02 11:17:08巨蟹座 日期:2014-05-06 10:02:03午马 日期:2014-05-04 08:18:27亥猪 日期:2014-04-29 11:11:32技术图书徽章 日期:2014-04-24 15:51:26技术图书徽章 日期:2014-04-17 11:01:53辰龙 日期:2014-04-15 12:45:46亥猪 日期:2014-04-11 09:06:23射手座 日期:2014-04-01 15:28:10
17楼 [报告]
发表于 2014-03-21 09:16 |只看该作者
snow888 发表于 2014-03-21 08:59
@zhaopingzi

IQ 用过，能支持到多大的数据不知道啊，而且客户不投资，没办法撒。


支持PB级的，再说了IQ的价格是不贵的，应该比DB2便宜多了
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
snow888

论坛徽章:
1
2015年辞旧岁徽章 日期:2015-03-03 16:54:15
18楼 [报告]
发表于 2014-03-24 13:10 |只看该作者
@zhaopingzi关键是客户不愿意投资啊。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
snow888

论坛徽章:
1
2015年辞旧岁徽章 日期:2015-03-03 16:54:15
19楼 [报告]
发表于 2014-03-24 13:10 |只看该作者
@zhaopingzi关键是客户不愿意投资啊。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
zhaopingzi

论坛徽章:
71
15-16赛季CBA联赛之同曦 日期:2018-08-23 15:41:42辰龙 日期:2014-08-15 09:07:43狮子座 日期:2014-06-03 13:55:33亥猪 日期:2014-06-02 11:17:08巨蟹座 日期:2014-05-06 10:02:03午马 日期:2014-05-04 08:18:27亥猪 日期:2014-04-29 11:11:32技术图书徽章 日期:2014-04-24 15:51:26技术图书徽章 日期:2014-04-17 11:01:53辰龙 日期:2014-04-15 12:45:46亥猪 日期:2014-04-11 09:06:23射手座 日期:2014-04-01 15:28:10
20楼 [报告]
发表于 2014-03-26 10:13 |只看该作者
回复 19# snow888


    1.db2也要花钱
    2.你目前的状态维护成本也高
    3.效率低下直接影响你的生成效率吧
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
123下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP