大数据遇到云计算会怎样？参与讨论赢取手机充值卡

send_linux

亲，今天你发了几条微博？

亲，今天你在网上晒了几张图片？

亲，你今天分享了几段视频？

发微博，上传图片，上传视频已成为我们生活中再平常不过的事情。你知道每天有多少人跟你一样吗？

我来告诉你，《第28次中国互联网报告》显示，2011年上半年，我国微博用户数量已达到1.95亿，手机网民使用微博的比例也从2010年末的15.5%上升至34.0%。IDC的研究报告称未来十年全球大数据将增加50倍，仅在2011年，我们就将看到1.8ZB（也就是1.8万亿GB）的大数据创建产生。

大数据快速增长的部分原因源于智能设备的普及，比如服装传感器和医疗设备，以及智能建筑，比如大楼和桥梁。此外，非结构化信息——比如文件、电子邮件和视频——将占到未来10年新生数据的90%。

企业也面临同样的窘境，数据快速膨胀，如何通过数据分析从海量的数据中挖掘价值？今年3月，IBM发布了“智慧的运算”（Smarter Computing）战略，旨在围绕大规模的数据整合、优化的系统，以及云计算交付模式，通过整合、自动与安全三个要素，推动IT实现重要转型、创新价值、实践“智慧的地球”。

当大数据遇到云计算，会发生怎样的反应呢？对此我们举办“大数据与云计算”的讨论活动！

讨论话题：

1.结合您企业数据的增长情况，谈谈目前企业数据处理面临哪些困境。

2.据第三方数据显示，基于云的实时分析可以节省超过50%的商业智能成本，并通过协作业务流程服务将员工生产力提升25%。您如何看待数据处理与云计算的结合？您觉得云计算模式将会为大数据处理带来怎样的影响？为什么？

活动时间：

2011.8.18-2011.8.26

活动规则：

1. 请针对上述问题跟贴回复，分享你的看法；
2. 贴子观点鲜明、理由充分、逻辑清晰；
3. 要求原创，尽可能结合自身实践来谈，抄袭、转载贴不能评选优秀回复贴；
4. 字数不少于40字。

活动奖项：

所有参与本期话题讨论的用户，只需帖子内容切题，均可获得ChinaUnix论坛20积分！

另会选出2名讨论内容精彩，很好地阐述本期讨论主题的用户，获得我们为您提供的手机充值卡礼品一份！价值50元！

评选流程：

1、评选公布：本期活动结束一周后（9月2日前），管理员公布获奖名单，并站内通知获奖用户。
2、礼品快递：在一周之内（9月9日前），获奖用户将相关信息站内发送给社区管理员“风铃之音”，我们将在收到您的信息后第一时间快递礼品！

yifangyou

1.结合您企业数据的增长情况，谈谈目前企业数据处理面临哪些困境。
答：我公司是做CDN服务的，数据量最大的是CDN节点访问日志，BI组需要对这些日志进行合并分析实时给用户提供计费账单，
由于这些日志是分别存放在全国各地的IDC机房的服务器上，分析量很大，分析后的数据汇总要通过跨网传送到计费中心去，再汇总分析，画出流量图，展示计费账单。
1)由于数据量大，网络慢，总是出现计费账单滞后(正常应该能看到5分钟之前的流量图和账单)，
2)并且发现有遗漏统计的日志(这些日志有些甚至是几个月之前的)，这些遗漏的日志并没有察觉，只是偶然发现的。
3)由于日志是分布式计算的，很难控制各个日志服务器上的统计是否完成。

2.据第三方数据显示，基于云的实时分析可以节省超过50%的商业智能成本，并通过协作业务流程服务将员工生产力提升25%。
您如何看待数据处理与云计算的结合？您觉得云计算模式将会为大数据处理带来怎样的影响？为什么？
答：数据处理与云计算的结合或许能够解决由于数据量大导致的实时性差的问题，关键要看这个云计算是否能够很好的和业务结合在一起。
    我理想中的是，在各个CDN节点中，开启一台日志服务器虚机，当日志量打到一台虚机无法在规定时间内完成计算任务时，能够自动开启另一台虚机把日志文件分出一半过去，
    两台同时进行运算，当两台无法在规定时间内完成计算任务时，再开启3台，依次类推。这样既节省资源又能够在规定时间内完成计算任务。
    但是这样带来的是管理的复杂度增加，如何能够很好管理各个虚机上的任务进度是一个很复杂的问题。
    但是云计算不能解决的是网络传送延迟的问题。

guyeh

占个位

lostleo

面对大数据，您是怎样进行处理分析的？
(1)在数据中心，我们使用了标准的虚拟化以及分布式存储；
(2)我们推出了内存计算技术，用以应对数据应用和分析的挑战。传统的架构存在很大的瓶颈，磁盘读取是以毫秒，而内存读取则是纳秒。
因此，我们将以前需要在应用层做的计算分析，比如预测分析或者大量运算，都放到内存里操作，从而实现性能提升，帮助用户充分利用数据。

nanquanc

海量数据时代对企业和技术人员带来了哪些挑战？
      (1)在云计算时代，业务数据与云紧密结合在一起，提供业务开发的能力，我们从中学到了很多新的东西，有一些东西不再是自己去存储和开发，而是都放在云里面存储。技术产品推向市场的方式与以往相比，发生了很大变化。
    (2)云的这样一种环境也给数据库提供商带来很多技术上的挑战，例如如何保证存储的安全性，包括身份识别的健全。这关系到数据的存储地方，例如现在发货的数据都是放在全球任何一个地方，不是放在某一个国家里面，这就带来关于数据主权的问题，可能有一些国家和政府不允许把数据放在国家某些地方，这都是一些挑战，需要从技术上解决安全等问题。

zl_king

怎样挖掘数据中的价值？
(1)我举一个直观的匹配广告的例子，它包括两类数据：一类是广告库，即广告内容信息和广告客户信息，这类信息很适合于传统数据库；

(2)另一类信息是用户看到广告之后的一切行为，经历了日积月累，可能会有几百万亿的用户行为。这两种数据可以相结合，经过机器学习算法就能产生价值。

(3)显然，第二种信息更重要，因为它能给用户提供想要的信息，比如搜索一个词，可以利用所有用户在他之前、在他之后的群体智能、群体行为，判定哪一类的信息最重要、最优质，哪一类信息可能是作弊信息，然后经过反馈机制，把最好的内容提供给用户，甚至推荐相关的一些搜索、查询信息。总而言之，对任何企业来说，数据是命根子；对云计算来说，数据处理就是云数据中心或者云计算存在的理由。

cxie72

海量数据处理的三个主要因素：大容量数据、多格式数据和速度

(1)大容量数据（TB级、PB级甚至EB级）：人们和机器制造的越来越多的业务数据对IT系统带来了更大的挑战，数据的存储和安全以及在未来访问和使用这些数据已成为难点。

(2)多格式数据：海量数据包括了越来越多不同格式的数据，这些不同格式的数据也需要不同的处理方法。从简单的电子邮件、数据日志和信用卡记录，再到仪器收集到的科学研究数据、医疗数据、财务数据以及丰富的媒体数据（包括照片、音乐、视频等）。

(3)速度：速度是指数据从端点移动到处理器和存储的速度。

zhouwm

大规模数据处理技术云计算
说云计算之前，我们可以先对网格计算有一定的认识，这样就更容易理解云计算。网格计算是利用互联网把分散在不同地理位置的电脑组织成一个“虚拟的超级计算机”，其中每一台参与计算的计算机就是一个“节点”，而整个计算是由成千上万个“节点”组成的“一张网格”， 所以这种计算方式叫网格计算。这样组织起来的“虚拟的超级计算机”有两个优势，一个是数据处理能力超强；另一个是能充分利用网上的闲置处理能力。简单地讲，网格是把整个网络整合成一台巨大的超级计算机，实现计算资源、存储资源、数据资源、信息资源、知识资源、专家资源的全面共享。


         网格计算的主要目的是设计一种能够提供以下功能的系统：提高或拓展型企业内所有计算资源的效率和利用率，满足最终用户的需求，同时能够解决以前由于计算、数据或存储资源的短缺而无法解决的问题。建立虚拟组织，通过让他们共享应用和数据来对公共问题进行合作。
整合计算能力、存储和其他资源，能使得需要大量计算资源的巨大问题求解成为可能。 通过对这些资源进行共享、有效优化和整体管理，能够降低计算的总成本。


        那么云计算是如何进行工作的？ 这就好比是现在的超级计算机主要被需要处理复杂计算任务的军队，政府以及情报机构，大学以，研究实验室以及大公司所使用，这些任务可能是模拟核爆炸，预测天气变化，设计飞机，研究新药等。而云计算的目的是将这种超级计算能力带给那些需要进行金融企业分析，传输医疗信息甚至进行计算机游戏的互联网用户。云计算通常使用低价的个人用户电脑技术。

　　  云计算能给企业带来什么?

　　据IBM有关负责人介绍，“蓝云”计划是IBM近期的重要项目，堪比2000年时对Linux的支持。云计算到底能为用户带来什么，让IBM如此重视?举个例子，比如一家银行，总行在周末的时候进行业务结算，需要调用大量计算资源，借助“云计算”，可以将总行系统中的其他运算，如后勤、维护等放到省一级银行的数据中心，保证总行数据中心有足够的计算能力。当然，这需要大量的计设备和极高的带宽保障。

　　云计算是信息技术进一步发展趋势

　　很多专家认为，云计算是信息技术的进一步发展趋势，可使IT公司销售更多为云计算量身定制的硬件、软件和服务。近几年，IBM在数据中心高效运行上做了很多努力，并且集中桌面电脑和其他设备，在数据中心中运行更多的计算任务。它们被命名为“自动的”、“有效的”网格计算。那些概念和研究工作，已经为云计算作出了富有成效的贡献。专家称，很多工具已经添加进来，用户扩展横跨很多机器的计算工作，并且使编程更加简单。那些很可能扩大云计算范围的进步，已经越来越多的来自于敢于应对互联网搜索的研究员们。

　　“从某种意义上说，云计算是网格计算模型自然而然的进一步发展。来自IDC研究公司的分析师Frank Gens认为。“所不同的是，Google的编程模式，以及它真正的开放性。普通人也可以编写应用程序，而不必非得是斯坦福或者卡耐基梅隆大学的博士。”

　　云计算技术是否超前？

　　原因在于，如果说云计算是网格计算模型进一步发展，那么看一看现在网格计算的应用，普及程度一直不高。所以，从网格发展到云计算则需要更长的时间。

　　因为网格也好，云计算也好，都需要大型生态系统，简单去经销商那里去购买是不可行的。从成本考虑，在不同的公司，甚至不同的国家间分享资源固然很好，但如此带来额外的开销如何承担?就算是企业内部，各分公司于总公司之间成本如何分担?此外，将用有公司很多关键商业资源的数据交给一个共享资源环境中的其他人来执行，是否安全？

freewill

虚拟化数据中心将面临重大安全威胁

如今，大大小小的公司都在实施或计划实施虚拟化技术，从而由物理数据中心向虚拟化数据中心迁移。因而，除了其他方面需要考虑外，这种虚拟化数据中心的安全性尤其需要认真考虑。你可能认为，由于自己早已在物理数据中心部署了足够有效的安全解决方案，为什么还需要虚拟机保护措施?已经实施了虚拟化技术的那些人会进一步支持这种观点，表示如今的虚拟化领域几乎没有任何安全威胁。那么，为什么还要为此而担忧呢?

　　上述这两个问题都有根有据;但考虑到安全威胁一直呈日益增长的势态，我们将很快看到虚拟化数据中心出现安全漏洞。你会发现，VMware、思杰和微软等所有虚拟化技术厂商其实都已经在给各自的软件打补丁，以堵住漏洞。

　　数据中心是下一个目标

　　为什么会出样?答案很简单。如今的每一款软件都很容易遭到安全威胁的攻击;既然如此，虚拟化也不例外：因为归根结蒂，虚拟化也是一款软件。现在没有威胁，并不代表以后仍然没有威胁。随着更多的公司将虚拟化技术部署到各自的数据中心环境，黑客们会逐渐转移重心，开始寻找虚拟化环境中的安全漏洞。趋势科技印度公司总经理Amit Nath在谈到云安全时说：“在虚拟化数据中心，虚拟机这部分变得越来越重要。有人迟早会攻击虚拟机。我们从未听说过虚拟化环境存在太多的安全威胁，但是在接下来的6至9个月，我们会看到更多的威胁和攻击。”

　　虚拟化数据中心没有边界安全

　　大多数CIO可能认为，自己的物理数据中心得到了所有最新的安全解决方案的妥善保护。对此，Amit补充说：“你部署了虚拟化技术后，边界安全不复存在，因为你其实不知道自己的各个虚拟机在什么地方。”在虚拟化环境下，虽说你减少了物理服务器的数量，但同时也把众多的虚拟机塞入到了单一的物理服务器上。这样一来，就很难跟踪虚拟机了。另外，你可能会创建备用虚拟机;那样万一主虚拟机出现了故障，备用虚拟机就可以顶上，实现故障切换机制。此外，由于需要部署更多的应用程序，因而会增加更多的虚拟机。在这样一种情况下，虚拟机从一台物理服务器无缝转移到另一台物理服务器上，该如何跟踪那么多的虚拟机?

　　关注虚拟机安全

　　所以最后，既然虚拟机技术面临的安全威胁可能会出现，你该怎么办?你显然需要能够应对那些威胁的安全软件。重申一下，你需要牢记几个方面。首先，你准备在每一个虚拟机上安装单独的反恶意软件程序吗?这是个繁琐的过程，而且很耗费资源。Amit Nath说：“设想一下，同时在你的所有虚拟机上运行反病毒扫描。这完全会拖垮系统的性能。”因而你需要的是一种不会严重消耗系统资源的解决方案。不然，你无法把所需的众多虚拟机塞入到单单一台物理服务器上。因而，你就经常需要购买更多的硬件服务器，从而降低了实施虚拟化技术所带来的投资回报。

adder

NEDC 是未来企业发展的愿景，是我们需要达到的目标，它能够通过详细的规划、清晰的发展路线得以实现。通过它，我们可以利用最佳实践和最先进的技术来更好的控制成本、改进运行效率、提高灵活性，并能够对业务需求进行快速响应。 NEDC 的基本目标包括以下几个方面：
（1）通过简化的 IT 架构来应对新的经济模式： NEDC 帮助客户克服传统的运营问题，实现更高层次的高效性、灵活性以及高度响应性。通过使用虚拟化技术，能够将应用和商业业务从底层的 IT 资源中分离出来，以提高它们的可移植性，并能够充分利用更加优化的系统和网络资源以提高效率、降低整体成本。

（2）提高管理能力来加速服务交付：提供优质服务的能力对于任何规模的企业都是非常重要的。服务管理能提供可视化、控制以及自动化来为企业提供优质服务，从而保证用户的满意度，确保成本效益和投资回报率。

（3）通过创新把 IT 和业务紧密地结合在一起：一个高效的和共享的基础设施可以帮助客户对新的业务需求做出快速响应，提供对实时收集的信息做出正确决策的能力。通过使用工具，我们可以从传统运营工作中腾出更多的资源，用于对交易、信息以及业务等方面的分析上。