忘记密码   免费注册 查看新帖 | 论坛精华区

ChinaUnix.net

  平台 论坛 博客 认证专区 大话IT HPC论坛 徽章 文库 沙龙 自测 下载 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
最近访问板块 发新帖
楼主: pipihappy8888

【大话IT】互联网大数据应用:PowerLinux能巅覆x86性能吗? [复制链接]

论坛徽章:
0
发表于 2015-06-16 17:33 |显示全部楼层
1、大数据分析的瓶颈,性能是主要,运算速度慢
2、优化方法加入缓存策略,现在的不足之处就在于还需要进行缓存策略的不断优化
3、首先会选择大品牌,其次就是要考虑我的实际应用场景,如何尽可能最大化使用服务器各个组件的整体性能
4、暂时不会迁移

论坛徽章:
0
发表于 2015-06-17 10:25 |显示全部楼层
形势比人强。powerlinux如果要我说,只有一条慢慢死的路,它可能会比快快死的路会看起来好一点,但是套用一句现在网上流行的话来讲,就是然并卵。

现在的问题不是这个普通的通用服务器上powerlinux来抢x86的地盘,而是power还在保住它的传统地盘多长时间的问题。这无关技术,无论ibm有多强的CPU设计能力都无关结局。

论坛徽章:
0
发表于 2015-06-18 10:02 |显示全部楼层
1、您在使用大数据分析时,碰到过哪些困扰和挑战?具体到硬件层面,您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等?
数据量的指数级增长对存储空间要求越来大,实时分析海量的数据对计算能力要求越来越高;数据庞大,对数据库的要求更高,使得数据库出现性能瓶颈;用户的应用和分析结果呈整合趋势,对实时性和响应时间要求越来越高;
由于存在上面这些困扰和挑战,具体到硬件层面,在各个层面都会有一定的压力,并且在高可用性能方面的瓶颈更为突出。
2、为提高Hadoop、NoSQL、MongoDB的性能,您一般会采用什么样的方法?现有的方法还存在哪些不足?
使用排序 :分清任务的重要性,优先级高的先执行。
使用多线程:分解任务和数据,充分利用CPU的多核心多线程。
使用多个数据库 。将不同的线程结果输出至不同的数据库,避免线程之间的相互等待。
现有的方法存在的不足:算法模型越来越复杂,对计算的要求越来越高。
3、在部署大数据方案时,您是如何进行IT硬件选型的,主要会考虑哪些因素?
统一规划、技术领先、成本适中、品牌影响力、成功案例
4、对于IBM推出的上述大数据方案,您是否会考虑迁移测试?为什么?
不考虑迁移测试, 如果迁移测试,将面临诸多风险:
对IBM的大数据方案不熟悉,可能导致迁移失败。
迁移测试的成本比较高,需要耗费精力来做这件事情,迁移之后不好用,还需要再次迁移回来。
迁移之后系统运行是否稳定、是否会出现未知问题等等并且在迁移测试过程中,还可能面临系统运行是否稳定等各种问题

论坛徽章:
10
IT运维版块每日发帖之星
日期:2015-07-13 22:59:28数据库技术版块每日发帖之星
日期:2016-03-10 06:20:00数据库技术版块每日发帖之星
日期:2015-12-01 06:20:00IT运维版块每日发帖之星
日期:2015-11-09 06:20:00IT运维版块每日发帖之星
日期:2015-11-02 06:20:00IT运维版块每日发帖之星
日期:2015-06-23 22:20:00程序设计版块每日发帖之星
日期:2015-06-21 22:20:00每日论坛发贴之星
日期:2015-06-14 22:20:00数据库技术版块每日发帖之星
日期:2015-06-14 22:20:00IT运维版块每日发帖之星
日期:2016-08-02 06:20:00
发表于 2015-06-18 19:18 |显示全部楼层
1、您在使用大数据分析时,碰到过哪些困扰和挑战?具体到硬件层面,您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等?
     大数据首先面对的是数据量的级数增加。硬件方面需要解决网络传输即(iops)、计算能力、缓存服务器的选择。
     目前在搭建云平台,用虚拟技术,解决网络分布式的问题。及数据库第三方代理审计。和监控Zabbix。

2、为提高Hadoop、NoSQL、MongoDB的性能,您一般会采用什么样的方法?现有的方法还存在哪些不足?
     优化Hadoop二次开发。
     网络拓扑优化、数据ETL优化。及OS级的资源分配。
     SAN的存储性能上不来。fio测试结果不理想。下部从服务器硬件、网络交换机等考虑。

3、在部署大数据方案时,您是如何进行IT硬件选型的,主要会考虑哪些因素?
     操作系统和硬件的适配,国产安全级操作系统四级以上。硬件宕机、亮灯。硬件审计不好的,都不推荐的。

4、对于IBM推出的上述大数据方案,您是否会考虑迁移测试?为什么?
    会的,但安全级别和存储机制需要首先和充分测试。

论坛徽章:
7
天蝎座
日期:2014-06-04 13:29:02子鼠
日期:2014-06-16 10:07:08IT运维版块每日发帖之星
日期:2015-06-06 22:20:002015亚冠之迪拜阿赫利
日期:2015-06-08 15:24:21IT运维版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之阿尔沙巴布
日期:2015-06-18 16:37:30IT运维版块每日发帖之星
日期:2015-08-06 06:20:00
发表于 2015-06-23 15:28 |显示全部楼层
回复 24# fengzhanhai


俺是小人物哈。

很看好你啊,博客见证了你的快速成长,相信在这个新的公司在这个数据分析的领域你也可以快速变身。

加油!北上广的技术发展虽快,但更相信山东人杰地灵更好的平台与发展速度能够更好的成就你。

论坛徽章:
7
天蝎座
日期:2014-06-04 13:29:02子鼠
日期:2014-06-16 10:07:08IT运维版块每日发帖之星
日期:2015-06-06 22:20:002015亚冠之迪拜阿赫利
日期:2015-06-08 15:24:21IT运维版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之阿尔沙巴布
日期:2015-06-18 16:37:30IT运维版块每日发帖之星
日期:2015-08-06 06:20:00
发表于 2015-06-23 15:32 |显示全部楼层
minicooperrrm 发表于 2015-06-02 11:03
1、您在使用大数据分析时,碰到过哪些困扰和挑战?具体到硬件层面,您在系统性能、拓展性、稳定性、高可用性 ...


学习啦,很受用

论坛徽章:
7
天蝎座
日期:2014-06-04 13:29:02子鼠
日期:2014-06-16 10:07:08IT运维版块每日发帖之星
日期:2015-06-06 22:20:002015亚冠之迪拜阿赫利
日期:2015-06-08 15:24:21IT运维版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之阿尔沙巴布
日期:2015-06-18 16:37:30IT运维版块每日发帖之星
日期:2015-08-06 06:20:00
发表于 2015-06-23 15:33 |显示全部楼层
zhaopingzi 发表于 2015-06-03 10:26
1、您在使用大数据分析时,碰到过哪些困扰和挑战?具体到硬件层面,您在系统性能、拓展性、稳定性、高可用性 ...


给了我不一样的思路也是很有道理的

论坛徽章:
0
发表于 2015-06-23 15:50 |显示全部楼层
1、您在使用大数据分析时,碰到过哪些困扰和挑战?具体到硬件层面,您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等?
硬件基本能满足,数据收集分类
2、为提高Hadoop、NoSQL、MongoDB的性能,您一般会采用什么样的方法?现有的方法还存在哪些不足?
没有包括我使用的数据库
3、在部署大数据方案时,您是如何进行IT硬件选型的,主要会考虑哪些因素?
稳定性及性价比吧
4、对于IBM推出的上述大数据方案,您是否会考虑迁移测试?为什么?
暂不

论坛徽章:
0
发表于 2015-06-23 15:52 |显示全部楼层
PowerLinux能巅覆x86性能吗?

也有兴趣了解一下是如何颠覆的

论坛徽章:
0
发表于 2015-06-23 15:59 |显示全部楼层

1、您在使用大数据分析时,碰到过哪些困扰和挑战?具体到硬件层面,您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等?
     数据量不断增加,对于扩大机器数量的预计与部署

2、为提高Hadoop、NoSQL、MongoDB的性能,您一般会采用什么样的方法?现有的方法还存在哪些不足?
开发,主要是有好的管理

3、在部署大数据方案时,您是如何进行IT硬件选型的,主要会考虑哪些因素?
适配、迁移的的易操作性

4、对于IBM推出的上述大数据方案,您是否会考虑迁移测试?为什么?
   会考虑测试,迁移需要考虑多方面的因素
您需要登录后才可以回帖 登录 | 注册

本版积分规则

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802020122
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP