懂.bat的大神进来帮帮我吧，实在是没招了，最后一招!

elu_ligao

8.txt 是你的原文本， 8.txt.out 是去重后的文本， 你运行了都不看下当前目录下有没有什么变化的？ 代码可能看不太懂， 但是文件大小文件数量之类的变化是能看出来的

bmne

回复 21# elu_ligao



你大神来了。高兴啊

批的好，狠劲批，谢谢谢谢

看到了，这个代码好快啊

稍等，我处理大文件去

回来汇报结果

   

bmne

第一次用这个代码

没敢放太大的文档运行去重，只试了一个12GB的

看不明白怎回事，怎么就停了呢？请用过的大神指导下，谢谢

bmne

回复 17# jason680



大神

你不把你的脚本放出来（或者说，你临时写一个），让我过过瘾？

估计没戏，但，不管怎样张口试试，比不张口强




   

jason680

回复 24# bmne

13楼

2 大文件去重，需要大内存，不论任何语言。那些只需要小内存的方法更慢。
   

bmne

回复 25# jason680



大神，你就写个脚本吧（或有你已经有了更好），无需人工值守，全自动运行，自动切割、比较、合并、删除、保留......


你大神喝杯茶的功夫，就能弄好，手到擒来

运行时间稍长一点没关系，牺牲一个指标才能保留另一个指标。只要无人值守全自动运行即可。别把内存全吃净、电脑成死机状态就可以了




   

Ray001

楼主这标题写的...
.bat是30多年前dos下的东西。

bmne

已验证该python代码。让我垂头丧气

验证了一个850M的，速度飞快




又验证了一个12GB的
又验证了一个6GB的
又验证了一个3GB的
又验证了一个1.6GB的
电脑电脑均是处于死机状态，没办法，只好强行重启电脑

真应验了：希望多大，失望就多大


就这样吧，到此了，不再劳神了

Windows19

孩子啊，就你这样的低烧要求，用sort最合适不过了！
如果有要求，另当别说，但看来看去你 题目没啥要求啊。就是去重而已，再说这么大文件去重用BAT搞个毛线啊？所以sort正是你所要的结果，真不明白你要折腾个啥！！！
sort去重理论上可以处理硬盘对半容量，硬盘有多大就能处理多大的文件，这还不够科学么？
再说sort机制也是内置分割去重的程序，它里有独特去重程序代码流程。

bmne

回复 29# Windows19


大神好，我确实不懂

请给我简单上上课

用sort去重时，当文档里面有大量非ASCⅡ及二进制（grep运行时有提示说明）

1、我实战中，很快就停止运行了。请问，是什么原因？

2、应该怎样做能才能保证不丢数据的前提下完全去重？

谢谢



（补充：文档我是取自UE“另存为”后得到的）