论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2005-12-20 09:24 |只看该作者 |倒序浏览

我手头有近800万条帐单要对内容如下：

号码开始时间通话时长

58028325|20050821000002|6
61321178|20050821000007|5
51213686|20050821000009|5
13913184051|20050821000009|6
56785141|20050821000009|6
13906220357|20050821000010|37
51855250|20050821000012|5
55336087|20050821000014|15
13160106666|20050821000015|6
13962679257|20050821000016|5
53108985|20050821000017|7
62061701|20050821000017|4
13182651301|20050821000019|5
51266866|20050821000020|4
13862665089|20050821000021|7
13616206224|20050821000022|6

这样的数据有两份，一份是我们自己的一份，是电信的。

对帐的要求就是相同的号码“开始时间”相差在2分钟内就算相同。
需要把两份帐单中相同的和不同的分别挑出来。

所以求助！因为偶只会对其中的一列数据，合在一起就搞不定了！

^_^

文库|博客

西门子

稍有积蓄

论坛徽章:: 0

2楼 [报告]

发表于 2005-12-20 10:17 |只看该作者

这个问题,劝你最好编程做,shell来处理会很慢的800万条数据呢!
比较起来废了.......
提供一个我们对帐的思路,对电信的数据分析出来导入数据库,(按时间,手机号码排序) 你自己的做成文件,读入内存,用折半查找比对, 一般算法正确20万数据需要10秒左右!

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

xiangxianni

稍有积蓄

论坛徽章:: 0

3楼 [报告]

发表于 2005-12-20 10:27 |只看该作者

我导入到ORACLE后跑起来也狂慢，因为我的测试机是SUN BLADE的，只有512M内存，CPU也只有900M。
简单的一个SQL
select count(*) from mdc.aa a where exists (select caller from mdc.aa1 b where b.caller=a.caller);
跑了半个小时也没有跑出来！