天量数据如何处理？

titansword2000

yulihua49 发表于 2012-02-24 11:16
可以考虑NOSQL的文件处理。

ORACLE的hadoop技术。

看来需要学习下这个方面的东东。

titansword2000

blackuhlan 发表于 2012-02-24 11:19
实时性要求怎么样？

实时性不是很强。

blackuhlan

回复 12# titansword2000


    那扔数据库里慢慢处理，想怎么处理怎么处理，还不简单啊？

titansword2000

egmkang 发表于 2012-02-24 12:50
我去,一秒钟aK,b个站点,就是a*b不到数据,也才cK,还叫个P天量数据
单机就能搞定.你当CPU是2啊,这么一点 ...

可能我没表达清楚，不好意思。数据是每秒cK，共一天的数据，也就是cK*3600秒*24小时，远远超过内存大小。

titansword2000

blackuhlan 发表于 2012-02-24 14:11
回复 12# titansword2000

问题是需要对这些数据进行复杂运算，数据库不知能否？

titansword2000

egmkang 发表于 2012-02-24 12:50
我去,一秒钟aK,b个站点,就是a*b不到数据,也才cK,还叫个P天量数据
单机就能搞定.你当CPU是2啊,这么一点 ...

还有，目前的条件确实只有单机

blackuhlan

回复 15# titansword2000


    数据库是拿给你做中转的，计算的事情还是不要给他做。其实也不是做不到，oracle可以外调C或者JAVA代码。看你怎么设计！

狗蛋

具体要做什么处理？线性扫描？索引查询？要求不同，方案差距就大了。要是只做词频统计，至多几百兆内存就足够做实时分析了。

titansword2000

狗蛋 发表于 2012-02-24 15:48
具体要做什么处理？线性扫描？索引查询？要求不同，方案差距就大了。要是只做词频统计，至多几百兆内存就足 ...

做数值计算

狗蛋

什么样的数值计算？summary也是数值计算，来一份累加一份就行了，512K内存对所有人都够了。