【大话IT】互联网大数据应用：PowerLinux能巅覆x86性能吗？

z109605749

1、大数据分析的瓶颈，性能是主要，运算速度慢
2、优化方法加入缓存策略，现在的不足之处就在于还需要进行缓存策略的不断优化
3、首先会选择大品牌，其次就是要考虑我的实际应用场景，如何尽可能最大化使用服务器各个组件的整体性能
4、暂时不会迁移

areece

形势比人强。powerlinux如果要我说，只有一条慢慢死的路，它可能会比快快死的路会看起来好一点，但是套用一句现在网上流行的话来讲，就是然并卵。

现在的问题不是这个普通的通用服务器上powerlinux来抢x86的地盘，而是power还在保住它的传统地盘多长时间的问题。这无关技术，无论ibm有多强的CPU设计能力都无关结局。

limit001g

1、您在使用大数据分析时，碰到过哪些困扰和挑战？具体到硬件层面，您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等？
数据量的指数级增长对存储空间要求越来大，实时分析海量的数据对计算能力要求越来越高；数据庞大，对数据库的要求更高，使得数据库出现性能瓶颈；用户的应用和分析结果呈整合趋势，对实时性和响应时间要求越来越高；
由于存在上面这些困扰和挑战，具体到硬件层面，在各个层面都会有一定的压力，并且在高可用性能方面的瓶颈更为突出。
2、为提高Hadoop、NoSQL、MongoDB的性能，您一般会采用什么样的方法？现有的方法还存在哪些不足？
使用排序 ：分清任务的重要性，优先级高的先执行。
使用多线程：分解任务和数据，充分利用CPU的多核心多线程。
使用多个数据库 。将不同的线程结果输出至不同的数据库，避免线程之间的相互等待。
现有的方法存在的不足：算法模型越来越复杂，对计算的要求越来越高。
3、在部署大数据方案时，您是如何进行IT硬件选型的，主要会考虑哪些因素？
统一规划、技术领先、成本适中、品牌影响力、成功案例
4、对于IBM推出的上述大数据方案，您是否会考虑迁移测试？为什么？
不考虑迁移测试, 如果迁移测试，将面临诸多风险：
对IBM的大数据方案不熟悉,可能导致迁移失败。
迁移测试的成本比较高,需要耗费精力来做这件事情，迁移之后不好用，还需要再次迁移回来。
迁移之后系统运行是否稳定、是否会出现未知问题等等并且在迁移测试过程中,还可能面临系统运行是否稳定等各种问题

hiyachen

1、您在使用大数据分析时，碰到过哪些困扰和挑战？具体到硬件层面，您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等？
     大数据首先面对的是数据量的级数增加。硬件方面需要解决网络传输即（iops）、计算能力、缓存服务器的选择。
     目前在搭建云平台，用虚拟技术，解决网络分布式的问题。及数据库第三方代理审计。和监控Zabbix。

2、为提高Hadoop、NoSQL、MongoDB的性能，您一般会采用什么样的方法？现有的方法还存在哪些不足？
     优化Hadoop二次开发。
     网络拓扑优化、数据ETL优化。及OS级的资源分配。
     SAN的存储性能上不来。fio测试结果不理想。下部从服务器硬件、网络交换机等考虑。

3、在部署大数据方案时，您是如何进行IT硬件选型的，主要会考虑哪些因素？
     操作系统和硬件的适配，国产安全级操作系统四级以上。硬件宕机、亮灯。硬件审计不好的，都不推荐的。

4、对于IBM推出的上述大数据方案，您是否会考虑迁移测试？为什么？
    会的，但安全级别和存储机制需要首先和充分测试。

小尾巴鱼

回复 24# fengzhanhai


俺是小人物哈。

很看好你啊，博客见证了你的快速成长，相信在这个新的公司在这个数据分析的领域你也可以快速变身。

加油！北上广的技术发展虽快，但更相信山东人杰地灵更好的平台与发展速度能够更好的成就你。

小尾巴鱼

minicooperrrm 发表于 2015-06-02 11:03
1、您在使用大数据分析时，碰到过哪些困扰和挑战？具体到硬件层面，您在系统性能、拓展性、稳定性、高可用性 ...

学习啦，很受用

小尾巴鱼

zhaopingzi 发表于 2015-06-03 10:26
1、您在使用大数据分析时，碰到过哪些困扰和挑战？具体到硬件层面，您在系统性能、拓展性、稳定性、高可用性 ...

给了我不一样的思路也是很有道理的

uuu333e

1、您在使用大数据分析时，碰到过哪些困扰和挑战？具体到硬件层面，您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等？
硬件基本能满足，数据收集分类
2、为提高Hadoop、NoSQL、MongoDB的性能，您一般会采用什么样的方法？现有的方法还存在哪些不足？
没有包括我使用的数据库
3、在部署大数据方案时，您是如何进行IT硬件选型的，主要会考虑哪些因素？
稳定性及性价比吧
4、对于IBM推出的上述大数据方案，您是否会考虑迁移测试？为什么？
暂不

uuu333e

PowerLinux能巅覆x86性能吗？

也有兴趣了解一下是如何颠覆的

艰苦奋斗989

1、您在使用大数据分析时，碰到过哪些困扰和挑战？具体到硬件层面，您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等？
     数据量不断增加，对于扩大机器数量的预计与部署

2、为提高Hadoop、NoSQL、MongoDB的性能，您一般会采用什么样的方法？现有的方法还存在哪些不足？
开发，主要是有好的管理

3、在部署大数据方案时，您是如何进行IT硬件选型的，主要会考虑哪些因素？
适配、迁移的的易操作性

4、对于IBM推出的上述大数据方案，您是否会考虑迁移测试？为什么？
   会考虑测试，迁移需要考虑多方面的因素