文本中指定字段加密处理为md5值

Looiml

有点强迫症的我，决定只用sed试一下，测试文本为110万字节左右：

1. $ ll a.txt
   
2. -rwxrwx---+ 1 Vic Vic 1140228 2月  27 20:00 a.txt

复制代码

这个任务其实只用一条sed命令是可以实现的：

1. time sed -r 'h;s/^.*@@@(.*)@@@.*$/echo \1|md5sum/e;G;s/(^[0-9a-f]+) .*\n(.*)@@@.*@@@(.*)$/\2@@@\U\1@@@\3/m' a.txt >b.txt
   
2. real    30m1.161s
   
3. user    7m31.151s
   
4. sys     15m38.870s

复制代码

可以看出，所用时间大概是楼主方案的一半，因为每一行sed都会fork一个子进程来调用md5sum，再加上两个管道传递数据的开销，效果仍然不是很理想，不过大家可以看到sed中e标记和\U的用法。

1. $ head -10 b.txt
   
2. 1@@@8056A783FBEF64F5395A6B2419442F65@@@2019-09-08 23:29:00
   
3. 2@@@129B4A532683A1172E59F1D69A8CB00F@@@2019-09-08 23:29:00
   
4. 3@@@064645A8B2D92E2C7F57ABCCC401A709@@@2019-09-08 23:29:00
   
5. 1@@@8056A783FBEF64F5395A6B2419442F65@@@2019-09-08 23:29:00
   
6. 2@@@129B4A532683A1172E59F1D69A8CB00F@@@2019-09-08 23:29:00
   
7. 3@@@064645A8B2D92E2C7F57ABCCC401A709@@@2019-09-08 23:29:00
   
8. 1@@@8056A783FBEF64F5395A6B2419442F65@@@2019-09-08 23:29:00
   
9. 2@@@129B4A532683A1172E59F1D69A8CB00F@@@2019-09-08 23:29:00
   
10. 3@@@064645A8B2D92E2C7F57ABCCC401A709@@@2019-09-08 23:29:00
    
11. 1@@@8056A783FBEF64F5395A6B2419442F65@@@2019-09-08 23:29:00

复制代码

Looiml

用awk一条命令也可以：

1. awk 'BEGIN{FS=OFS="@@@"}{c="echo "$2"|md5sum";c|getline v;$2=toupper(substr(v,1,32));print;close(c)}' a.txt

复制代码

或者用“|&”开启双向管道，俗称协程(coprocess)：

1. awk 'BEGIN{FS=OFS="@@@";c="md5sum"}{print $2|& c;close(c,"to");c|& getline v;$2=toupper(substr(v,1,32));print;close(c)}' a.txt

复制代码