【话题讨论】聊聊大数据时代的云架构：云计算与大数据真能双剑合璧吗？

pipihappy8888

架构就好比是房子的框架，框架不同，砌出的房子样式肯定有所不同。传统的服务器模式，采用的策略是水涨船高，服务器的数量呈现出无止尽增加的态势。而云计算技术作为一种新的服务器架构模式，云数据中心不再是单一的服务器，而是由成千上万台服务器所构成的一片“云”，将服务器资源和计算资源全部整合到云平台上。

而好的架构，要想博得世人的喜爱，仅仅凭借解决服务器一端的困惑，而忽略客户端的困难，实在有点痴人说梦。而云计算确很好的解决了这个问题，客户端用户无需关注硬件的淘汰和软件的升级，只需要关注是否能上网，简单一个网页的背后却是成千上万台服务器在服务。

话题讨论

1.云计算在IT技术架构中的位置究竟在哪里？什么是云架构？是在现有的IT技术架构中找到云计算的位置，还是为云计算建立一个全新的架构？云计算是否就是一个中间件？

2.传统的存储备份系统往往横向扩展性不佳，并不适合针对海量用户的存储备份系统。而云存储在架构上能够实现Scale Out的扩展性，可以实现容量、性能随业务逐步平滑扩展。请举例说明你所知道的云存储。

3.如果数据是财富，那么大数据就是宝藏，而云计算就是挖掘和利用宝藏的利器！没有强大的计算能力，数据宝藏终究是镜中花；没有大数据的积淀，云计算也只能是杀鸡用的宰牛刀。云计算和大数据到底是怎样的关系？谈谈您自己的理解。

PS:2014年金秋时节，以“发现架构之美”为主题的中国系统架构师大会SACC 2014将于9月17-19日在北京五洲皇冠国际酒店盛大召开。

本届大会上，将有资深专家为大家解读云架构与大数据应用的主题演讲，欢迎大家报名参加更多精彩内容，敬请关注官网：http://sacc.it168.com/。

活动时间：2014年6月23日-7月15日

活动奖励：欢迎亲们针对以上任意问题踊跃回帖，活动结束后我们将抽取5名会员，奖励技术图书徽章一枚，可以用来兑换技术图书一本

获奖会员：
beyondfly
zhouyh139
tomac_cu
bencyber
2009532140

2009532140

我们部门用的是阿里云.
给用户的感觉就像是一个网盘
我们这边的某台机器被加入了阿里云的内网，也就通过这台机器来更新阿里云上运行的服务
至于什么架构，我还真不太熟悉，就是感觉每次更新很费劲
首先需要登陆到中间桥梁的计算机，来操作云上的服务器。

2009532140

而云存储在架构上能够实现Scale Out的扩展性，可以实现容量、性能随业务逐步平滑扩展。请举例说明你所知道的云存储。

至于容量，性能倒是没什么感觉。主要是发布的演示系统对主机的性能需求不大，一个16G 内存的小型服务器足够支撑业务刘畅。
上了阿里云之后：最明显的瓶颈之一就是网络带宽，频繁更新业务代码的话，可能有些不顺畅

seesea2517

3.如果数据是财富，那么大数据就是宝藏，而云计算就是挖掘和利用宝藏的利器！没有强大的计算能力，数据宝藏终究是镜中花；没有大数据的积淀，云计算也只能是杀鸡用的宰牛刀。云计算和大数据到底是怎样的关系？谈谈您自己的理解。

云计算和大数据到底是怎样的关系？刀和鸡的关系呀，哈哈，数据就是菜板上的肉，等着计算处理这把刀根据需求进行裁切，做成想要的菜。。。
其实数据和程序一直是相辅相成的两个方面嘛。最早的数据用文本文件，然后发展出了数据库，现在发展出了云数据，程序也由本地程序发展成云计算了。

水中游于

   现在的云大部分都和虚拟技术结合起来，也有人认为没有虚拟技术，就没有云的概念。抛开概念和炒作，个人觉得云带给运维人员的优势就是架构扩展性强，资源可以重复利用，减少硬件的投入。另外经过和多个私有云和公有云建设机构的合作，感觉现在的所谓的云实际上是网盘和虚拟机的结合体，还远远达不到云的概念。
   纯属个人意见，不一定正确

craaazy123

1.云计算在IT技术架构中的位置究竟在哪里？什么是云架构？是在现有的IT技术架构中找到云计算的位置，还是为云计算建立一个全新的架构？云计算是否就是一个中间件？
  云计算是个商业化的概念，真正核心部分就是后面大型集群和虚拟化（有很多小公司没用到虚拟化）做支撑。其实我觉得吧，云计算就是利用各种技术把计算，存储，网络等作为服务提供给第三方使用，从而产生经济效益。第三方可以按需购买云计算服务提供商的服务。比方说AWS，阿里云的计算服务，七牛的存储服务，新浪的PaaS等。如果你自己想运营一个网站，自己买服务器，自己组网，找机房托管，成本一算下来可能就很高了，买云计算服务你可能就能节省很多米，对于中小型企业还是不错的，各种服务的运行维护都是由提供商自己解决，你在这方面下很多工夫了，多余的时间和精力就可以专注于你的业务。
  现在国内大多数IaaS提供商都是用OpenStack啥开源软件的，PaaS则有CloudFoundry，你可以把这些软件看成是一个很复杂的应用系统，集成了虚拟化管理，系统监控，资源管理，身份验证等服务应用系统。

2.传统的存储备份系统往往横向扩展性不佳，并不适合针对海量用户的存储备份系统。而云存储在架构上能够实现Scale Out的扩展性，可以实现容量、性能随业务逐步平滑扩展。请举例说明你所知道的云存储。
  前段时间听七牛的云存储比较多，其实阿里，盛大等大型公司都有云存储。只要你愿意你也可以弄个云存储服务，比如搞个redis或mysql集群，投入一些昂贵的硬件，然后提供一些api，搞个计费系统，你也可以来卖服务了。
3.如果数据是财富，那么大数据就是宝藏，而云计算就是挖掘和利用宝藏的利器！没有强大的计算能力，数据宝藏终究是镜中花；没有大数据的积淀，云计算也只能是杀鸡用的宰牛刀。云计算和大数据到底是怎样的关系？谈谈您自己的理解。
  现在很多的很多数据挖掘算法都是迭代式的，有时候需要扫描所有的数据，才能得出结果，这个就需要强大的计算能力，在有效的时间和空间范围内计算出结果，一个不行，上10个，100个。。。
  数据是输入，云计算是个强大的数据处理设备（也可以看成一个强大的计算机，组成这个计算机的是很多小型机器），输出的就是结果。

laputa73

云不一定要是虚拟化,但是虚拟化推动了云的发展.
云带来的问题是硬件规模的急速膨胀,管理起来很困难.
传统的烟囱项目一般也就小10台左右机器,架构简单,分散维护.
现在云化以后,几十上百台机器常见,必须实现运维自动化.
而且云相伴的就是大数据.
以前集中数据存储,一般也就是在oe里面,搞搞数据备份和迁移还是可能的
现在有了大数据,用户胃口也来了.几十几百T都不是事.
问题是这么多数据的存储,分析转储是个问题.
架构选择很重要.
一旦选了splunk或者es,再想换成hdfs/impala/shark那就要哭了.

bencyber

1.云计算在IT技术架构中的位置究竟在哪里？什么是云架构？是在现有的IT技术架构中找到云计算的位置，还是为云计算建立一个全新的架构？云计算是否就是一个中间件？

如果IT是按应用、中间件、数据库、操作系统、虚拟化、服务器、网络、存储划为八层，那么云计算可以存在于每一层，云构架最大的特点是标准化、平台统一和扩展性，尤其是横向扩展，背后是大集群。现在的很多IT基础产品本身就支持传统构架，也支持云计算，甚至支持OPENSTACK，采用什么形式个人认为完全取决业务的规模和性质。

2.传统的存储备份系统往往横向扩展性不佳，并不适合针对海量用户的存储备份系统。而云存储在架构上能够实现Scale Out的扩展性，可以实现容量、性能随业务逐步平滑扩展。请举例说明你所知道的云存储。
云存储现阶段的横向扩展性更多是概念，如果多个IO敏感的应用在云存储可能是个灾难，如是不能有效解决IO延时或瓶颈，就没有任何意义了。IBM SVC的可以是一个解决方案，其实每个存储厂商都说有自己的云存储。

3.如果数据是财富，那么大数据就是宝藏，而云计算就是挖掘和利用宝藏的利器！没有强大的计算能力，数据宝藏终究是镜中花；没有大数据的积淀，云计算也只能是杀鸡用的宰牛刀。云计算和大数据到底是怎样的关系？谈谈您自己的理解。
个人认为云计算和大数据没有直接关系，目前来说，大数据还包括非结构化的数据，大数据更重要的在于如何梳理、组织、提取相关的数据并展现给需要的场景。网卡在传的一则故事，说近期有小伙专门应聘上海均价超4万的高档小区物业管理，自己配了一把扫描枪，每天就盯着小区垃圾堆，见条形码就扫描，晚上回家整理数据，得出此小区喝什么水，吃什么油，买什么衣服，整个小区的消费类偏好和品牌一清二楚，再形成报告卖给大公司，报告价值数十万，其实整个过程包括了大数据的形成、梳理、组织、提取和展现，似乎和云计算没有关系。

陌路巨额投入

        3.如果数据是财富，那么大数据就是宝藏，而云计算就是挖掘和利用宝藏的利器！没有强大的计算能力，数据宝藏终究是镜中花；没有大数据的积淀，云计算也只能是杀鸡用的宰牛刀。云计算和大数据到底是怎样的关系？谈谈您自己的理解。

       大数据就是一个问题集，云技术是目前解决大数据问题集最重要有效的手段。云计算提供了基础架构平台，大数据应用在这个平台上运行。企业视大数据为企业的生命、企业要想在同类行业中脱颖而出赢得市场，大数据的支持是必不可少的，大数据推动云计算的落地，云计算促进大数据的应用。

谈谈一点点区别吧：
      第一，在概念上两者有所不同，云计算改变了IT，而大数据则改变了业务。大数据必须有云作为基础架构，才能得以顺畅运营。
      第二，大数据和云计算的目标受众不同，云计算是卖给CIO的技术和产品，是一个进阶的解决方案。大数据的决策者是业务层。

tomac_cu

3.如果数据是财富，那么大数据就是宝藏，而云计算就是挖掘和利用宝藏的利器！没有强大的计算能力，数据宝藏终究是镜中花；没有大数据的积淀，云计算也只能是杀鸡用的宰牛刀。云计算和大数据到底是怎样的关系？谈谈您自己的理解。


现在的云计算，越来越变成高性能设备的迭加，而远离了低价高冗余的思想。因为设备厂商需要卖出价格。
大数据本身是高计算量的代名词，通过虚拟化带来的大数据，只能是中等性能的大数据，而不是原有大数据的本意了。
所以从个人经验来看，用现有的所谓的云计算让大数据的部署变的更容易，但成本却更加高昂了。
所以我更倾向于低成本硬件的堆叠。目前正在尝试用arm+dsp实现定长结构的大数据处理。

beyondfly

其实云计算这个概念很早就已经提出了，只是近几年，随着几大商业巨头的推动，云计算才渐渐火起来。
贴一下几年前我写的关于云计算的文章。

2012年，云计算大热，许多公司都开始搞云计算。技术人员见面，谈论的内容也离不开云。一时间，神州大地云计算遍地开花。各种云概念层出不穷。如阿里的云手机，网易的云阅读，360的云杀毒等。普通的计算机用户，难免被这些不断出现的云概念忽悠得云里雾里。其实，云计算是比较老的概念，关于云计算的历史，我通过google搜索，得到的答案如下：1983年上，当时的太阳微系统公司（Sun Microsystems）提出了“网络即电脑”（”The Network is the Computer”）,2006年3月，亚马逊公司（Amazon）推出弹性计算云（Elastic Compute Cloud;EC2）服务，同年8月9日，Google首席执行官司里克。施密特（Eric Schmidt）在搜索引擎大会（SES San Jose 2006）首次提出“云计算”（Cloud Computing）的概念。如果以2006年Google首次提出云计算的概念来算起，云计算时至今日，已经有6年了历史。云计算的最终目标是让用户通过浏览器来管理自己的所有资源，用户所需要的一切都在云端中。比如，原来我们处理word文档，我们打开本地的字处理软件进行编辑。而在云计算中，我们是先通过浏览器登录到云中，打开云中的字处理软件进行处理，处理完了，直接保存在云中。而在原来不是云计算时代，我们是把处理完的文档保存在本地的硬盘中。

在上述的操作过程中，有人可能要问了：你说的这个云计算，可以理解为B/S模式，我做为用户，我只要有浏览器，有网络，我通过浏览器，连接到云中，就可以像本地一样进行办公。那么这个云端，又是一个什么样的东西？那是一台计算机还是N台计算机组成呢？我抬头看看天空，一般的情况下，都是可以看到天空有不少的云，当然，特别的天气，如天气晴朗，万里无云的情况除外，呵呵。天空中的云，很大，我们可以看得见，但我们摸不着，离我们似乎很远。但如果坐在飞机上，透过窗外看到的云，会觉得云是如此近！那就坐上飞机上谈一下云吧。云端，当然是由N台计算机所组成，注意这个N的数量一般比较大。这么多台计算机的组成的云端，一般是由大公司所搭建的，如IBM，Google, Amazon,EMC2等国外信息科技巨头公司，国内的华为，盛大，阿里等。

当然，在我国，还有政府支持成立城市云计算中心。如上海，重庆，无锡等城市，都有自己的云计算中心。当然，在云计算这个大背景下，也不少了三大电信运营商，电信，移动，联通都先后成立了自己的云计算中心。

云计算从其所提供的服务类型来划分，可以分为IaaS，PaaS，SaaS这三种。

zhouyh139

1.云计算在IT技术架构中的位置究竟在哪里？什么是云架构？是在现有的IT技术架构中找到云计算的位置，还是为云计算建立一个全新的架构？云计算是否就是一个中间件？
--在我们通常的系统中，一个应用要运行，离不开四样，存储，操作系统，网络，软件，云计算就是这个四层次的抽像，利用虚拟化技术，以一种服务的方式提供给中小企业，节约企业的成本，云架构，通常来讲就是一种分布式处理方案，随着业务量的上升，通过分布式运算来解决，也可以把云架构理解成虚拟化加分布式的方案，当然是在现有架构的抽象，并不是一个全新的架构，他离不开存储，操作系统，网络，软件这四样，云计算不能单纯的理解成一个中间件，有中间件的属性在里面，例如一个企业只要这四样中的其中一样，那就可以叫中间件了。
2.传统的存储备份系统往往横向扩展性不佳，并不适合针对海量用户的存储备份系统。而云存储在架构上能够实现Scale Out的扩展性，可以实现容量、性能随业务逐步平滑扩展。请举例说明你所知道的云存储。
google 的big table 分布式文件系统，淘宝的OceanBase 。
3.如果数据是财富，那么大数据就是宝藏，而云计算就是挖掘和利用宝藏的利器！没有强大的计算能力，数据宝藏终究是镜中花；没有大数据的积淀，云计算也只能是杀鸡用的宰牛刀。云计算和大数据到底是怎样的关系？谈谈您自己的理解。
云计算和大数据是甲方，乙方的关系，甲方有需求，即信息时代的快速发展，形成了大量的数据，乙方就要针对这些数据进行整理，提出了云计算的概念。

beyondfly

个人觉得云计算与大数据其实没有多大的关系，由于这些年，云计算、大数据、物联网这些东西越来越热门，导致很多人以为云计算与大数据是与很多的关联的。其实未必，大数据的主要作为是从海量的非结构化的数据中，找出各事物之间的相关关系，用来预测来年的流行风向标，消费者的潜在需求等。
而云计算是虚拟化+智能的虚拟机管理+分布式存储等。

qingduo04

路过支持！！！

qingduo04

咋这个帖子没有人回复了？ 让我做到沙发了，谢谢楼下各位啊

action08

看到市面上所谓的云计算都是一个网盘服务而已，不知道我理解的对么？？

2009532140

另外，云计算更像是存储宝藏的利器

buptdream

支持啊，稍后更新

forgaoqiang

{:3_183:} 站个位置看看情况 {:3_182:}