【讨论】海量数据分析之Hadoop（获奖名单已公布-2012-5-28）

Gray1982

回复 194# bbjmmj


    这个也不是说就只是实验，只是在运用过程中取到的一个值而已，有些时候调整一些参数只能跑跑数据才能有结论不是

bbjmmj

Gray1982 发表于 2012-05-23 13:45
回复 194# bbjmmj

只是觉得用两千台服务器去统计关键词有点太浪费了。能不能有更好的方法？

Gray1982

回复 196# bbjmmj


    那几十T的数据，需要一些结果，有啥方法可以快速的给出结果呢？？？

bbjmmj

Gray1982 发表于 2012-05-23 13:52
回复 196# bbjmmj

CUDA+SSD，再加上精妙的数学，办法总会有的。

Gray1982

回复 198# bbjmmj


    有成熟的方案不？？能有一个比Hadoop更好的解决方案也是一种不错的选择
如果用SSD，那几十T的硬件成本呢·········

bbjmmj

Gray1982 发表于 2012-05-23 14:03
回复 198# bbjmmj

应该不会有成熟的方案，因为世界各国都有严格的数据隐私法案，不像中国这样可以轻易搞到大数据，这个领域，恐怕只能走中国特色了。

Gray1982

回复 200# bbjmmj


    她爹，那你来点实惠的呗，说说你以前搞Hadoop的配置，优化什么的呗

bbjmmj

Gray1982 发表于 2012-05-23 20:48
回复 200# bbjmmj

我只是在虚拟机上调试了一下，做了下初步的评估，已经过去好几年了，现在都忘了怎么配置了。当时的目的是比较分布式系统的特点，感觉HDFS没什么应用价值，就放弃了。当时也听说过MAP REDUCE，但是数据分析是很复杂的数学，不在我专业范围内，所以也就没打算研究。不过这些都不是我放弃的主要原因，HADOOP捆绑了JAVA，这是我放弃它的根本原因，JAVA是商用技术，并不适合用于数学领域。

Gray1982

回复 202# bbjmmj


    这样，你需要的估计自己开发吧，这边只是分析日志，统计数据用，暂时还可用
你那都装什么了？Pig，Hbase，Hives等？？？有遇到什么问题不？？

bbjmmj

Gray1982 发表于 2012-05-23 21:07
回复 202# bbjmmj

我这里基本不需要统计日志，有个sarg足够了，职业高中。
从今年开始，全国大建数据中心，服务器数量在未来三至五年内至少增加400%，各地级市教育局未来五年之内都得建规模较大的数据中心，这是个艰巨的政治任务，我是全市教育系统唯一的LINUX专家，所以不得不防被抓劳工，啥都得捅咕捅咕。