文本中指定字段加密处理为md5值

yiguihuo

文本内容为：

1@@@13660888666@@@2019-09-08 23:29:00
2@@@13660888777@@@2019-09-08 23:29:00
3@@@13660888888@@@2019-09-08 23:29:00

列分割符为@@@需要把文件中第二个字段中手机号用md5加密，加密后md5为大写字母
效果为
1@@@47B473CF198BA182B20CF3A02FEFA87C@@@2019-09-08 23:29:00
2@@@A2BA33550D924FD0714370D0AB255B78@@@2019-09-08 23:29:00
3@@@6FEEE6C1F7740F2758278514ED261338@@@2019-09-08 23:29:00

文件很大有几十亿，shell怎么处理能效率高些呢。

yiguihuo

我写了个，可处理效率太低了一个小时也就100w，哪位大神指点一下
#!/bin/bash

while read i
do
k1=`echo "$i"|awk -F "@@@" '{print $2}'`
k2=`echo -n "$k1"|md5sum |cut -d" " -f1|tr a-z A-Z`
echo $i |sed "s/$k1/$k2/" >> $1.csv
done < $1

cfwyy

awk 倒是一条就可以输出结果，不需要sed,可能会快一丢丢。

1. awk 'BEGIN{FS=OFS="@@@"}{cmd=sprintf("echo %s|md5sum|cut -d\" \" -f1|tr a-z A-Z",$2);cmd|getline $2;close(cmd);print $0}' file

复制代码

不过话说，几十亿条数据，全国人民的手机号码都被你收录了吧，仅用一个文本文件 是不是有点随便了。几十亿条数据完全只让shell处理，是不是有点难为shell了
大数据处理是不是至少该用上 分块读取，多线程，多进程之类的啦，再不行上 分布式，Hadoop?  这些咱也不懂，咱也不敢多说，逃~~

cjaizss

如果只是对手机号做md5有啥用呢？反查也没多少。
形式主义！

legs

效率是不是很快我没测试，毕竟没有你的那么大文档，修改原文件的话跟sed一样的加个-i。
perl -MDigest::MD5=md5_hex -pe's#@@@\K[^@]+#uc md5_hex$&#e' file

chengchow

几十亿的数据用shell处理是很慢的，看你忍耐程度
偶尔处理一次的话用python，shell都行，经常处理，如楼上所说搭建个大数据平台比较合适


spark+hadoop+hive

ll104567

root@lp:~/jw/python/data# cat phone_md5.txt
1@@@13660888666@@@2019-09-08 23:29:00
2@@@13660888777@@@2019-09-08 23:29:00
3@@@13660888888@@@2019-09-08 23:29:00
root@lp:~/jw/python/data# python md5_phone.py
root@lp:~/jw/python/data# cat md5_phone.py
import pandas as pd
import hashlib


def md5(x):
     a = hashlib.md5()
     a.update(str(x).encode())
     return a.hexdigest().upper()


a = pd.read_csv('phone_md5.txt',sep='@@@',header=None,engine='python',names=['id','phone','time'])
a['phone'] = a.phone.apply(md5)
a.to_csv('md5.csv',index=None,header=None)
root@lp:~/jw/python/data#
root@lp:~/jw/python/data# cat md5.csv
1,47B473CF198BA182B20CF3A02FEFA87C,2019-09-08 23:29:00
2,A2BA33550D924FD0714370D0AB255B78,2019-09-08 23:29:00
3,6FEEE6C1F7740F2758278514ED261338,2019-09-08 23:29:00

Looiml

回复 1# yiguihuo
这任务用shell肯定慢，你调用了那么多外部程序，而且是每一行数据都要调用一次。
我复制了你的数据总共30万行做测试：

1. $ ll b.txt
   
2. -rwxrw-r--+ 1 Vic Vic 11400228 2月  26 12:59 b.txt

复制代码

然后单纯用Python来做：cat test.py

1. import hashlib
   
2. 
   
3. m=hashlib.md5()
   
4. with open("b.txt") as fin, open("result.txt","w") as fout:
   
5.     for line in fin:
   
6.         l=line.split("@@@")
   
7.         b=l[1].encode(encoding='utf-8')
   
8.         m.update(b)
   
9.         l[1]=m.hexdigest().upper()
   
10.         fout.write("@@@".join(l))

复制代码

花的时间也才1s不到，算下来你所有数据也能在一小时内处理完毕，而且我这代码只是做简单性能对比，还没有做多线程优化之类的。

1. $ time ./test.py
   
2. 
   
3. real    0m0.719s
   
4. user    0m0.000s
   
5. sys     0m0.031s

复制代码

结果：

1. 1@@@47B473CF198BA182B20CF3A02FEFA87C@@@2019-09-08 23:29:00
   
2. 2@@@83F1954EB72BBAEC24A27ED26EB2E0E8@@@2019-09-08 23:29:00
   
3. 3@@@9C7FE5A2312DE1FFA870C9F1B486D4E3@@@2019-09-08 23:29:00
   
4. 1@@@8399C17E854D8CF8E8C6D0A78119FAB7@@@2019-09-08 23:29:00
   
5. 2@@@78CBE98B9DB160339F7D0110B2212C4C@@@2019-09-08 23:29:00
   
6. 3@@@4155144377DC81C43E608B02F3434132@@@2019-09-08 23:29:00
   
7. 1@@@718F08BED583258C64E9A297E3BCED10@@@2019-09-08 23:29:00
   
8. 2@@@FF08416D1EF49A7314E169498902960E@@@2019-09-08 23:29:00
   
9. 3@@@03922384048A52237744E2229ABC8772@@@2019-09-08 23:29:00
   
10. 1@@@0635046E7D912274F7D9F4D3697325F6@@@2019-09-08 23:29:00
    
11. 2@@@DD9B5D770FB4330EA255A63A09A75DF4@@@2019-09-08 23:29:00
    
12. 3@@@A1292F1024F9B2EE45563A43FD35CD72@@@2019-09-08 23:29:00
    
13. 1@@@A367D6FF83E970A4672D92AFC7735F3F@@@2019-09-08 23:29:00
    
14. <div>2@@@84FBD8599FE9CF6D4845479631519B6B@@@2019-09-08 23:29:00</div><div>......</div>

复制代码