忘记密码   免费注册 查看新帖 | 论坛精华区

ChinaUnix.net

  平台 论坛 博客 认证专区 大话IT HPC论坛 徽章 文库 沙龙 自测 下载 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
最近访问板块 发新帖
楼主: pipihappy8888

【大话IT】互联网大数据应用:PowerLinux能巅覆x86性能吗? [复制链接]

论坛徽章:
10
CU大牛徽章
日期:2013-05-20 10:44:54数据库技术版块每日发帖之星
日期:2015-06-09 22:20:00IT运维版块每日发帖之星
日期:2015-06-05 22:20:00亥猪
日期:2014-08-23 14:52:27摩羯座
日期:2013-11-29 18:02:31CU十二周年纪念徽章
日期:2013-10-24 15:41:34CU大牛徽章
日期:2013-05-20 10:45:31CU大牛徽章
日期:2013-05-20 10:45:24CU大牛徽章
日期:2013-05-20 10:45:13综合交流区版块每日发帖之星
日期:2016-02-12 06:20:00
发表于 2015-06-05 13:18 |显示全部楼层
回复 22# pipihappy8888
在可以预见的未来,大数据是大势所趋,目前正在从IT走向DT时代。cu的这个话题非常的棒~引领科技前沿,也证明了CU社区是一个以技术基因为根的社区,这也是我喜欢cu的地方,也是大多数一线工程师喜欢cu的地方~ 不罗嗦,不大谈理论,不搞华而不实的**,只求看得见摸得着的实实在在的东西~
哈哈,更要感谢cu有一个强大的team member@小尾巴鱼

论坛徽章:
0
发表于 2015-06-06 12:58 |显示全部楼层
回复 17# fengzhanhai


    支持你的光点,只是现在分布式的HADOOP集群的服务器成本有点高,低了处理不了大的数据

论坛徽章:
10
CU大牛徽章
日期:2013-05-20 10:44:54数据库技术版块每日发帖之星
日期:2015-06-09 22:20:00IT运维版块每日发帖之星
日期:2015-06-05 22:20:00亥猪
日期:2014-08-23 14:52:27摩羯座
日期:2013-11-29 18:02:31CU十二周年纪念徽章
日期:2013-10-24 15:41:34CU大牛徽章
日期:2013-05-20 10:45:31CU大牛徽章
日期:2013-05-20 10:45:24CU大牛徽章
日期:2013-05-20 10:45:13综合交流区版块每日发帖之星
日期:2016-02-12 06:20:00
发表于 2015-06-08 14:18 |显示全部楼层
回复 25# jimn1982
不仅仅是投入成本,还有维护成本,人力成本,而且目前大数据库工程师奇缺导致要价奇高 恨不得自己从零开始做一个大数据菜鸟

论坛徽章:
0
发表于 2015-06-10 15:54 |显示全部楼层
支持!

论坛徽章:
0
发表于 2015-06-12 14:51 |显示全部楼层
1、您在使用大数据分析时,碰到过哪些困扰和挑战?具体到硬件层面,您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等?
没有从事大数据分析相关工作。在学习的过程中,感觉主要问题是计算能力和存储能力


3、在部署大数据方案时,您是如何进行IT硬件选型的,主要会考虑哪些因素?
基本就是系统性能、拓展性、稳定性、高可用性这几个性能进行对比,考虑实际的业务要求,判断哪一项的优先级更好,当然,价格和服务也是不可忽略的因素

4、对于IBM推出的上述大数据方案,您是否会考虑迁移测试?为什么?
公司暂时没有迁移计划,由于长时间的数据积累,成本是很大的,而且暂时又没有绝对必要的理由

论坛徽章:
18
2015亚冠之阿尔希拉尔
日期:2015-06-02 09:56:10数据库技术版块每日发帖之星
日期:2016-08-13 06:20:00数据库技术版块每日发帖之星
日期:2016-04-24 06:20:00数据库技术版块每日发帖之星
日期:2016-03-19 06:20:00数据库技术版块每日发帖之星
日期:2015-12-25 06:20:35数据库技术版块每日发帖之星
日期:2015-12-25 06:20:35数据库技术版块每日发帖之星
日期:2015-12-25 06:20:35数据库技术版块每日发帖之星
日期:2015-09-12 06:20:00数据库技术版块每日发帖之星
日期:2015-09-11 06:20:00ChinaUnix专家徽章
日期:2015-06-30 16:29:48ChinaUnix专家徽章
日期:2015-06-30 16:29:342015年中国系统架构师大会
日期:2015-06-29 16:11:28
发表于 2015-06-12 15:03 |显示全部楼层
1、您在使用大数据分析时,碰到过哪些困扰和挑战?具体到硬件层面,您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等?
大数据方面的运维很麻烦,在稳定性方面很揉一出问题。因为hadoop的技术应用不多。
2、为提高Hadoop、NoSQL、MongoDB的性能,您一般会采用什么样的方法?现有的方法还存在哪些不足?
分布式集群部署 分析系统
3、在部署大数据方案时,您是如何进行IT硬件选型的,主要会考虑哪些因素?
目前没有选型过
4、对于IBM推出的上述大数据方案,您是否会考虑迁移测试?为什么?
可以测试 迁移就得用过之后才知道

论坛徽章:
0
发表于 2015-06-12 16:20 |显示全部楼层
1、您在使用大数据分析时,碰到过哪些困扰和挑战?具体到硬件层面,您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等?
答:主要的困扰是大数据的及时处理,对于巨大的数据流,怎样高效的将数据流引入到自己的系统中并进行分析。系统的性能是一个很大的问题,面对海量的数据,对系统的性能要求是很苛刻的。
2、为提高Hadoop、NoSQL、MongoDB的性能,您一般会采用什么样的方法?现有的方法还存在哪些不足?
答:硬件架构固定后,主要是优化系统。这个方法的瓶颈最后还是硬件设备的限制。
3、在部署大数据方案时,您是如何进行IT硬件选型的,主要会考虑哪些因素?
答:主要考虑硬件的扩展性和价格,因为大数据需要的硬件设备会相对较多,价格是很重要的因素。
4、对于IBM推出的上述大数据方案,您是否会考虑迁移测试?为什么?
答:在新系统上可能会考虑,老系统考虑到迁移的问题一般不会考虑。

论坛徽章:
71
子鼠
日期:2015-06-10 14:07:09丑牛
日期:2015-06-10 14:07:10寅虎
日期:2015-06-10 14:07:40卯兔
日期:2015-06-10 14:07:44辰龙
日期:2015-06-10 14:07:44巳蛇
日期:2015-06-10 14:07:46午马
日期:2015-06-10 14:07:47未羊
日期:2015-06-10 14:07:48申猴
日期:2015-06-10 14:07:50酉鸡
日期:2015-06-10 14:07:54戌狗
日期:2015-06-10 14:07:55亥猪
日期:2015-06-10 14:07:57
发表于 2015-06-12 17:34 |显示全部楼层
1、您在使用大数据分析时,碰到过哪些困扰和挑战?具体到硬件层面,您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等?
    用过量化分析的工具 ,阿凡提锦囊, 因为计算量太大 ,延时就很长,手机客户端 经常会卡住一两分钟,然后再展示结果 (虽然据他们一个老总说,已经用了云平台,也许人家的云资源少 并发查询量也大?)。
    总之用的不是很舒服,体验效果也不太好

论坛徽章:
71
子鼠
日期:2015-06-10 14:07:09丑牛
日期:2015-06-10 14:07:10寅虎
日期:2015-06-10 14:07:40卯兔
日期:2015-06-10 14:07:44辰龙
日期:2015-06-10 14:07:44巳蛇
日期:2015-06-10 14:07:46午马
日期:2015-06-10 14:07:47未羊
日期:2015-06-10 14:07:48申猴
日期:2015-06-10 14:07:50酉鸡
日期:2015-06-10 14:07:54戌狗
日期:2015-06-10 14:07:55亥猪
日期:2015-06-10 14:07:57
发表于 2015-06-12 17:37 |显示全部楼层
3、在部署大数据方案时,您是如何进行IT硬件选型的,主要会考虑哪些因素?
     网络,带宽,  主要的name node 和次要的name node 的配置  ,操作系统,预估最高并发访问量,稳定性 等等
4、对于IBM推出的上述大数据方案,您是否会考虑迁移测试?为什么?
    有待考察,等待实际案例出来。。 这是按照帕累托最优定律做的, 我们是小猪, 如果比大猪优先活动,那么自己的大部分成果就会被吃掉。 如果不动,然后跟随大猪的成果,那么我们也有不错的收益 !

论坛徽章:
0
发表于 2015-06-13 16:56 |显示全部楼层
1、您在使用大数据分析时,碰到过哪些困扰和挑战?具体到硬件层面,您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等?
在使用大数据分析时,遇到的一个困扰就是如何确定数据的边界。虽然大数据是要有海量的基础数据为支撑,但就算是海也有边界,如何确定这个边界其实没有定论,关键还是要实施者自己来把控。
具体到硬件层面,在拓展数据库服务器时,确保新加入数据库的稳定和性能也是难点之一。尤其当存在不同种类数据库时,在稳定性以及数据库之间互联方面需要加以注意。

2、为提高Hadoop、NoSQL、MongoDB的性能,您一般会采用什么样的方法?现有的方法还存在哪些不足?
为提高性能,从硬件上来讲我会增加服务器的内存,并且考虑固态硬盘。
这些方法能一定程度上提升Hadoop、NoSQL或者MongoDB性能,但是提升空间有限,毕竟不可能无限制地购买内存和更换硬盘。而且也会受到系统架构的制约。

3、在部署大数据方案时,您是如何进行IT硬件选型的,主要会考虑哪些因素?
CPU通常考虑四核低功耗CPU,包括低功率的电源配置,能够支撑八核心低功耗设备。
两个六核处理器(6核12线程),可支持96个基本的虚拟机(VM),最大支持96 GB 的内存。
利用闪存驱动器启动服务器管理程序,将来可以考虑把操作系统和一些小型的服务器应用,如LAMP放到闪存当中运行。

4、对于IBM推出的上述大数据方案,您是否会考虑迁移测试?为什么?
暂时还不会考虑迁移测试,因为系统目前运行稳定,而且没有严重的性能瓶颈。
您需要登录后才可以回帖 登录 | 注册

本版积分规则

SACC2017购票8.8折优惠进行时

2017中国系统架构师大会(SACC2017)将于10月19-21日在北京新云南皇冠假日酒店震撼来袭。今年,大会以“云智未来”为主题,云集国内外顶级专家,围绕云计算、人工智能、大数据、移动互联网、产业应用等热点领域展开技术探讨与交流。本届大会共设置2大主会场,18个技术专场;邀请来自互联网、金融、制造业、电商等多个领域,100余位技术专家及行业领袖来分享他们的经验;并将吸引4000+人次的系统运维、架构师及IT决策人士参会,为他们提供最具价值的交流平台。
----------------------------------------
优惠时间:2017年8月2日前

活动链接>>
  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802020122
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP