去掉重复行

blss2008

回复 6# MMMIX


   
WIN7 64位装不了SQL，要换什么系统啊？ 虚拟机装可以吗？

MMMIX

回复 11# blss2008


    你本来就是资源（内存）不够，还想用虚拟机？那玩意更吃资源。

大蚂蚁

你不会再合并啊，合并后的文件必然小了很多吧
我说的是重复行比较多的情况

blss2008

回复 13# 大蚂蚁


    你所说的方法不行的，我试过每个分2G，去重后再打乱合并，再去重，循环多次，还剩35G+，实际去重后大概只有20G左右。

blss2008

回复 12# MMMIX




    SQL导入18157MB，用这句命令处理，每次都是蓝屏死机，什么问题。。。。select distinct convert(varchar(8000),coltext,111) from tab1;

blss2008

回复 12# MMMIX


   

发现SQL导入5G
用这条命令select distinct convert(varchar(8000),coltext,111) from tab1;
会出现下面的错误。
在执行批处理时出现错误。错误消息为: 引发类型为“System.OutOfMemoryException”的异常。

MMMIX

回复 16# blss2008


    你要是不会软件方面的优化，就换个好点的机器处理数据吧。

blss2008

回复 17# MMMIX


   

E3   32G的机子，只处理数据还不行吗？ 。。。。。。

MMMIX

回复 18# blss2008


    显然，对于你采用的方式，用来处理你的数据是不够的。这种情况，要么优化算法，要么增加硬件资源。

对于你要处理的数据，只要你能把每个数据项转化为惟一的一个不太大（或者说硬件资源允许）的正整数，那么做个 bit map, 一遍扫描就足够去重了。

waker

sort的时候加上LANG=C
合并的时候用-m选项
最后用uniq