麻烦给去掉指定字符行

bmne

删除指定条件的行
每一行由数字及大小写字母组成，里面没有空格
要求同时满足下面两个条件，就删除该行
1、行中任何位置有 两个及以上 紧靠在一起的纯数字的行（如： dtUV56yfw    123bdtez 等等）
2、行中任何位置有 mn  nm  这两个字母紧靠在一起的（包括纯小写、纯大写、大小写混合）（如： serMNxef    iksNMtazi    3fymN7cw   ue7knMbjq 等等）



麻烦给出效率稍高一点的命令(文档有点大200GB)

辛苦了！

wh7211

回复 1# bmne


大文档先切割成小文档，再使用awk或sed处理。

1. awk 'BEGIN{IGNORECASE=1}$0!~/[0-9]{2}|mn|nm/' file
   
2. sed -r '/[0-9]{2}|mn|nm/Id;' file

复制代码

bmne

回复 2# wh7211


谢谢大牛

bmne

回复 2# wh7211


awk 'BEGIN{IGNORECASE=1}$0!~/[0-9]{2}|mn|nm/'      这个好，56.5GB的时间

real    21m15.261s
user    20m20.957s
sys     0m14.523s



sed -r '/[0-9]|mn|nm/Id;'       这个不行，一个半小时了，还没出。人工停止

wh7211

回复 4# bmne


2楼sed那段代码写的不对，已经在2楼改过来了，应该是：sed -r '/[0-9]{2}|mn|nm/Id;' file

bmne

回复 5# wh7211



同上面的数据，这个一个小时了，还在运行。手动停止了


这个效率慢

bmne

回复 1# rubyish


如果大牛确实有点时间

烦请再出手给个效率高的脚本

另，我运行出56.5GB的文档只需17分钟，效率神速

如果能再在给个按1楼要求的脚本，很是期望

但，实话，若太忙，就不麻烦你了。

rubyish

回复 7# bmne


shishi~~

shishi.c

1. # include <stdio.h>
   
2. # include <stdlib.h>
   
3. 
   
4. /* _____________________ USER _____________________ */
   
5. # define LENGTH 16
   
6. /* _____________________ END _____________________ */
   
7. 
   
8. typedef char kar;
   
9. typedef char *str;
   
10. typedef unsigned Int;
    
11. 
    
12. void explore (str);
    
13. /* ____________________ MAIN ____________________ */
    
14. int main (int numa, str *para){
    
15.     if (numa == 1) {
    
16.         printf ("use:\n%s file\n", para[0]);
    
17.         exit (1);
    
18.     }
    
19.     explore (para[1]);
    
20. }
    
21. 
    
22. /* _____________________ SUB _____________________ */
    
23. # define isdigit(X) X < 58
    
24. # define END   '\n'
    
25. # define BREAK 3
    
26. 
    
27. void explore (str data){
    
28.     FILE *file = fopen (data, "r");
    
29.     kar line[LENGTH];
    
30.     int Dit[123] = {
    
31.         ['m'] = 1,
    
32.         ['M'] = 1,
    
33.         ['n'] = 2,
    
34.         ['N'] = 2,
    
35.     };
    
36. 
    
37.     while (fgets (line, LENGTH, file)) {
    
38.         str dit  = line;
    
39.         int Digi = 0;
    
40.         kar Morn = 0;
    
41. 
    
42.         while (*dit > END) {
    
43.             if (isdigit (*dit)) {
    
44.                 if (Digi) break;
    
45.                 Digi = 1, Morn = 0, dit++;
    
46.                 continue;
    
47.             }
    
48. 
    
49.             kar morn = Dit[(Int) * dit];
    
50.             if ((morn | Morn) == BREAK) break;
    
51.             Morn = morn, Digi = 0, dit++;
    
52.         }
    
53. 
    
54.         if (*dit == END) fputs (line, stdout);
    
55.     }
    
56. 
    
57. } /* explore */
    

复制代码

bmne

回复 8# rubyish


大牛厉害啊

牛人

烦请大牛回答几个基础问题，别笑我，谢谢！

1、同样的文档大小与4楼的awk比较。你的脚本超神速，只用时13分钟。    我的娘哎

2、八楼的脚本。我简单弄了十几行的数据文档测试了下。
         脚本对unix格式文档判断准确。若改换成dos格式的文档后，运行判断出问题，不准确（比如这样的行给过滤掉了  1a2c5tU8  ）

3、这个页面的44楼   http://bbs.chinaunix.net/thread-4267655-5-1.html
        请查看里面的  floor42C.c
        我的问题：第189行代码，为什么你只写成  floor42    ？
        我用  floor42.c 与 floor42C.c  （请注意，若这两个不同名字文档里面的要处理的字符不同），进行了比较后，得出结论
        a、若唯一只有floor42C.c这一个名字的文档
            我用
            ./floor42 dlu 8
            ./floor42C dlu 8
            输出是一样的
        b、若同时存在有floor42.c 与 floor42C.c这两个不同名字的文档
            我用
            ./floor42 dlu 8
            ./floor42C dlu 8
            输出是不同的


4、这一项非常重要，上面的可以不用回答，这一项请费心帮助
        在C里面，怎样把 floor42C.c  与 shishi.c  这两个脚本，用“管道”连接在一起，一次性运行，输出结果？
        （如同  awk  ......  file|awk  ...... file2  这种形式）

1cpuer

回复 2# wh7211

sed -r '/[0-9]{2}|mn|nm/Id;' file

参数 I
很生，不之是啥意思