【讨论】海量数据分析之Hadoop（获奖名单已公布-2012-5-28）

owenhappy

Gray1982 发表于 2012-05-12 23:36
回复 72# bbjmmj

开网站不是为了分析日志，但用Hadoop很多是为了分析日志，精准定位

？？？成T 就算打数据量， 哈哈 ， 一般般啦， 用MYSQL 也能支持的很好。。。

owenhappy

bbjmmj 发表于 2012-05-12 23:50
每天成T日志的网站数量已经很少了，现在随便一个6盘位服务器容量都能到10个T，每天1T日志，得十天才能灌 ...

恩， 我觉得mysql  规划好了， 完全可以代替hadoop ,  自己再写个前置服务器。 你说呢

owenhappy

Gray1982 发表于 2012-05-13 23:29
回复 85# bbjmmj

廉价PC集群 +MYSQL  绝对好。。。

owenhappy

Gray1982 发表于 2012-05-13 23:30
回复 84# bbjmmj

hadoop绝对是成本最大的。。。数据越重要，成本越大。。。

owenhappy

hbsycw 发表于 2012-05-14 12:04
回复 56# bbjmmj

Hadoop是一个分布式计算框架，它的特点在于降低了分布式编程实现的复杂度。那么，如果 ...

个人认为， BI 非常不适合用  hadoop， 真的

owenhappy

bbjmmj 发表于 2012-05-14 12:45
Hadoop是什么？我来给个业界最精准的定义：它是Apache WEB服务器的配套工具，用于统计海量的关键字信息 ...

你的认识真是太膜拜了， 我觉得你说的 hadoop适合视频和下载非常靠谱 ， BI 我觉得不适合HADOOP。。。

bbjmmj

回复 252# owenhappy


    嗯，BI，最理想的是做出让人一眼就能看明白的图表，HADOOP有点太原始了。

hbsycw

回复 251# owenhappy


那么，DM适合用Hadoop吗？你理解的BI是怎样的~

   

owenhappy

回复 254# hbsycw


   

BI 要挖掘，清晰，预处理，。。等等操作。 而且处理的都是记录型的数据。

所以个人认为不适合用hadoop。

你用hadoop你要用多少台机器？ 小的PC 你有没有算过成本， 机房耗电， 空调，维护， 维保，巡检。。。

再说了， 现在的PC机差的如卵， 几个月就坏了。 一般工业级的也6年就报废，或者报备了。。。

综合因素考虑，  对于BI 如果便宜的方案， 那MYSQL 分布式很好用，商业级别的数据库当然更好。。。
、
当然做BI 前台的数据清洗和预处理很重要， 总不能一股脑的往仓库扔吧。 这样再大的集群都无法保证。

深入下去，选择好了存储中间件， 那选择物理的存储介质， 往往以为PC 便宜， 现在一个磁阵才多少钱。。。 一个PC是便宜， 但是一群PC 不便宜啊。

你上街买衣服， 你是要买100件地摊衣服， 还是买5件品牌衣服呢？ 你自己选择吧。

hbsycw

回复 255# owenhappy

ETL是DW的前提和基础，而DM这一块是构筑的DW的基础之上的，这里谈的是DM适不适合用Hadoop？因此，就没必要扯其它的~

关于系统架构是用PC Server 还是小机，这个有另一个帖子讨论，这里就不和你辩驳了。

http://bbs.chinaunix.net/thread-3750910-1-1.html