天量数据如何处理？

titansword2000

狗蛋 发表于 2012-02-24 17:25
时间不同步问题不大，反正是每个基站采样一个角度，数据上也带有时间。只要以目标识别为中心设计算法，这个 ...

数据有一定的敏感性，但没达到保密级别，不过为了省掉多余的烦恼，还是采纳兄弟的建议，谢就一个字！

titansword2000

狗蛋 发表于 2012-02-24 17:25
时间不同步问题不大，反正是每个基站采样一个角度，数据上也带有时间。只要以目标识别为中心设计算法，这个 ...

============
1：因为时间不同步，所以在计算目标物速度时需要对两两基站的时间进行比对。
2：没有具体目标物，我在前面说描述的空间网格均是目标物，所以无法“以目标识别为中心设计算法”

zhl1979

难道是网优的东西？  建议用hadoop

wangyb

首先，你既然遇到了这么大量的数据需要处理，你需要一台好的机器，特别是内存要大,4G太小了，40G也小，最好是80G以上，现在的服务器很容易达到这样要求，价格不会超过10万。然后使用64位的操作系统，编程的环境当然也是64位的，排除java，你可以使用非常大的内存，连整形变量都变得出奇的大了。

fire_cpp

你说超出２Ｇ内存限制，是不是还用３２位系统啊？上６４位系统，大内存——好像废话。

推荐Ｒ语言。Ｒ已经良好支持hadoop了。Ｒ是非常好的统计分析语言，和Ｓ语言师出同门。建议你可以关注一下这个东西，用它做分布式计算。
另外，你也可以考虑下商业方案——SAS。这里说的SAS是指统计分析工具，不是硬盘。它处理大数据集非常优秀，可以达到数据库的程度。但这套软件非常贵，而且只租不卖……

titansword2000

回复 35# wangyb


    有几年前的小型机，但仍然满足不了您说的这个要求

titansword2000

回复 36# fire_cpp


    从来没接触到这么些东西，要一会上手有些难度

pprpg

1. 内存容量够时, 怎么计算?
2. 只要一个基站的数据就可以了, 还是要多个基站?
3. 如果是两两结合, 那么这个组合的要求是什么? 相邻的进行组合, 还是任意组合?
4. 这里有个扫描速度的问题, 那么扫描结果不全时对计算有没有影响?

关键是: 只有部分数据(按地区或时间分), 能不能向计算目标推进, 得到中间结果.

titansword2000

回复 39# pprpg


   
1. 内存容量够时, 怎么计算?
2. 只要一个基站的数据就可以了, 还是要多个基站?
3. 如果是两两结合, 那么这个组合的要求是什么? 相邻的进行组合, 还是任意组合?
4. 这里有个扫描速度的问题, 那么扫描结果不全时对计算有没有影响?

关键是: 只有部分数据(按地区或时间分), 能不能向计算目标推进, 得到中间结果.

=======================
1：没听明白
2：需要多个基站的数据
3：相邻的两基站组合
4：所有基站的扫描速度相同，但它们的时间不一定同步；当扫描不全时，计算区域填充缺测值
5：如只有部分基站数据，只要两基站的扫描能有交叉区域，即可计算；如只有部分时间数据，只要在某一时间窗口内有数据，即可计算。不能向计算目标推进，因为所有空间均是目标。