看能不能实现 【 已结案 】谢谢大神

Windows19

moperyblue 发表于 2016-12-14 14:19
楼主 几十G的文件数据量有多大?

那个34g的已经处理好了，出来后只有16G  真汗呀，一大半重复的，用的i7处理器，8G内存，固态硬盘，1个半小时多点就搞好了，得比数据库更方便简单高效，真谢谢大神你呀。

就是想着这代码还有提升空间   今天我又测过了，整个瓶颈在awk打印出来时候，打印每秒在2m左右，还会有提升空间吗？其他sed   sort  都很快，sed   sort这两个都不用改，就只是awk打印时占了整个时间差不多一半

moperyblue

耗时的应该在sort命令
最大的文件数据有多少行? wc -l 看一下?

Windows19

moperyblue 发表于 2016-12-14 17:01
耗时的应该在sort命令
最大的文件数据有多少行? wc -l 看一下?

现我在手机呢，我看过了的，是有25亿多行的

不是sort问题
因为sort有增强环境，比在终端窗口上执行会快一半，这个我用time测试过的了，这个可以肯定

Windows19

在终端上执行sort确实是慢，这个我也知道，我是在sort增强环境下跑你的代码的，所以很快就完成了

moperyblue

另一个方案:
1.split成较小文件
2.分别对这些较小文件去重
3.按文件顺序合并成一个大文件,同时在每一行前面添加序列
4.sort

Windows19

本友会机友会摄友会 发表于 2016-12-15 14:40
暂时掺乎一下：再快你也没有数据库快，我游说 各位趁早跟  【x脚本 + sqlite】，【x脚本+mysql】投降。
其 ...

呵呵  你也回来看到了吧  你说的那些玄乎了吧 空谈 没实质性代码出来  人家moperyblue老师现在就很好地把这个问题给解决了 而且实用方便  34G超大文件仅用了1个小时多就完成了  试问普通架构数据库能有这么快

经常听到你说大文件要数据库数据库的 (也不怪你  其实很多人也这样认为)   

我说哥们 咱能不能不要总是说数据库数据库的来解决呢  咱脑子转转弯行么?  

哈哈  灰太狼  欢迎又来到羊村  不过灰太狼你已经2次没能带回实用解决方案回羊村了