免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Shell › 字符串替换为随机字符串
12下一页
最近访问板块 发新帖
查看: 4213 | 回复: 10
打印 上一主题 下一主题

[文本处理] 字符串替换为随机字符串 [复制链接]

欧阳西风

论坛徽章:
3
天蝎座 日期:2013-12-10 19:37:11酉鸡 日期:2014-08-04 20:05:38双鱼座 日期:2014-08-09 21:53:54
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2014-08-26 18:16 |只看该作者 |倒序浏览
本帖最后由 欧阳西风 于 2014-08-27 09:28 编辑

有如下文本,现在想把APhone1,APhone2等字符串替换为随即的10位字符串(仅包含字母或数字)。 我试过使用

  2. head -n 100 /dev/urandom| md5sum | head -c 10
复制代码
来产生随机字符串，但是使用sed替换过后字符串之间还是有规律的，不知道大家有没有能够做到替换过后字符串之间都没有关系？

  2. VERSION:2.1
  3. N:APhone1;;;;
  4. FN:APhone1
  5. TEL;CELL:15811258459
  6. --
  7. VERSION:2.1
  8. N:APhone2;;;;
  9. FN:APhone2
  10. TEL;CELL:15811258459
  11. --
  12. VERSION:2.1
  13. N:APhone3;;;;
  14. FN:APhone3
  15. TEL;CELL:15811258459
  16. --
  17. VERSION:2.1
  18. N:APhone4;;;;
  19. FN:APhone4
  20. TEL;CELL:15811258459
  21. --
  22. VERSION:2.1
  23. N:APhone5;;;;
  24. FN:APhone5
  25. TEL;CELL:15811258459
  26. --
  27. VERSION:2.1
  28. N:APhone6;;;;
  29. FN:APhone6
  30. TEL;CELL:15811258459
  31. --
  32. VERSION:2.1
  33. N:APhone7;;;;
  34. FN:APhone7
  35. TEL;CELL:15811258459
  36. --
  37. VERSION:2.1
  38. N:APhone8;;;;
  39. FN:APhone8
  40. TEL;CELL:15811258459
  41. --

复制代码
关阴月飞

论坛徽章:
39
辰龙 日期:2013-08-21 15:45:192015亚冠之广州富力 日期:2015-05-12 16:34:52亥猪 日期:2015-03-03 17:22:00申猴 日期:2015-03-03 17:21:37未羊 日期:2014-10-10 13:45:41戌狗 日期:2014-06-17 09:53:29巨蟹座 日期:2014-06-12 23:17:17双鱼座 日期:2014-06-10 12:42:44寅虎 日期:2014-06-09 12:52:172015亚冠之卡尔希纳萨夫 日期:2015-05-24 15:24:35黄金圣斗士 日期:2015-12-02 17:25:0815-16赛季CBA联赛之吉林 日期:2017-06-24 16:43:52
2楼 [报告]
发表于 2014-08-26 18:47 |只看该作者
你是怎么做的？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
reb00t

论坛徽章:
14
15-16赛季CBA联赛之辽宁 日期:2019-06-16 15:47:3515-16赛季CBA联赛之广夏 日期:2016-08-13 21:24:352015亚冠之武里南联 日期:2015-07-07 17:37:372015亚冠之萨济拖拉机 日期:2015-07-06 17:07:482015亚冠之全北现代 日期:2015-06-04 13:54:272015亚冠之城南 日期:2015-05-21 15:43:212015年亚洲杯之伊朗 日期:2015-04-25 18:20:362015年亚洲杯之伊朗 日期:2015-04-20 16:06:052015年亚洲杯之科威特 日期:2015-03-07 12:51:26丑牛 日期:2014-12-30 10:26:38申猴 日期:2014-09-28 22:40:18金牛座 日期:2014-09-13 21:12:22
3楼 [报告]
发表于 2014-08-26 19:52 |只看该作者
本帖最后由 reb00t 于 2014-08-26 20:05 编辑
  1. <?php

  3. function gen_randomstr( $n=10 ) {
  4.     return substr(str_shuffle('abcdefghijklmnopqrstuvwxyz0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZ'), 0, $n);
  5. }


  8. if(file_exists("200.txt")){

  10.     $f = fopen('200.txt','r');
  11.      while(!feof($f)){
  12.        $line = fgets($f);
  13.       $pa = '/APhone\d+/';
  14.       $randstr=gen_randomstr();
  15.       print preg_replace($pa, $randstr, $line);

  17.    }
  18. }else{

  20.         echo "file is not find";
  21. }

  23. ?>
复制代码
结果:
VERSION:2.1
N:H2pB5I1slx;;;;
FN:zBdgybCZe6
TEL;CELL:15811258459
--
VERSION:2.1
N:NcqkyH71ST;;;;
FN:JuVUPGgNC7
TEL;CELL:15811258459
--
VERSION:2.1
N:XKicRHaYxf;;;;
FN:S0rLDdVntv
TEL;CELL:15811258459
--
VERSION:2.1
N:Ke8YJIQMPl;;;;
FN:LFlhSEyvWm
TEL;CELL:15811258459
--
VERSION:2.1
N:ivxonObMB6;;;;
FN:2IAKLj6iV7
TEL;CELL:15811258459
--
VERSION:2.1
N:NGB4UVg7H8;;;;
FN:KvlCQ6c1iz
TEL;CELL:15811258459
--
VERSION:2.1
N:2JLSKCj5Eb;;;;
FN:I9LBPS56b8
TEL;CELL:15811258459
--
VERSION:2.1
N:6IsX0HNRxt;;;;
FN:6fveyFOQdZ
TEL;CELL:15811258459
--[Finished in 0.2s]
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
欧阳西风

论坛徽章:
3
天蝎座 日期:2013-12-10 19:37:11酉鸡 日期:2014-08-04 20:05:38双鱼座 日期:2014-08-09 21:53:54
4楼 [报告]
发表于 2014-08-27 09:04 |只看该作者
回复 2# 关阴月飞


    我的做法是如下:

  2. random_str() {
  3. head -n 100 /dev/urandom| md5sum | head -c 10
  4. }
  5. sed -i "/APhone[0-9]\+/s//$(random_str)/g" a.txt
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
欧阳西风

论坛徽章:
3
天蝎座 日期:2013-12-10 19:37:11酉鸡 日期:2014-08-04 20:05:38双鱼座 日期:2014-08-09 21:53:54
5楼 [报告]
发表于 2014-08-27 09:05 |只看该作者
回复 3# reb00t


    我想用 shell来实现，不是使用php。不过还是谢谢
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
关阴月飞

论坛徽章:
39
辰龙 日期:2013-08-21 15:45:192015亚冠之广州富力 日期:2015-05-12 16:34:52亥猪 日期:2015-03-03 17:22:00申猴 日期:2015-03-03 17:21:37未羊 日期:2014-10-10 13:45:41戌狗 日期:2014-06-17 09:53:29巨蟹座 日期:2014-06-12 23:17:17双鱼座 日期:2014-06-10 12:42:44寅虎 日期:2014-06-09 12:52:172015亚冠之卡尔希纳萨夫 日期:2015-05-24 15:24:35黄金圣斗士 日期:2015-12-02 17:25:0815-16赛季CBA联赛之吉林 日期:2017-06-24 16:43:52
6楼 [报告]
发表于 2014-08-27 09:38 |只看该作者
本帖最后由 关阴月飞 于 2014-08-27 09:42 编辑

回复 4# 欧阳西风

试试这个：
假设一行中只有一个需要替换的地方，先按文件行数，生成多个随机数，确保随机数够用，再进行替换：
  1. awk 'FNR==NR{a[FNR]=$0;next}{sub(/APhone[0-9]+/,a[FNR])}1'  <(tr -dc A-Za-z0-9 < /dev/urandom |fold -w 10|head -`grep -c . urfile`)  urfile
复制代码
  1. [root@ awktest]# awk 'FNR==NR{a[FNR]=$0;next}{sub(/APhone[0-9]+/,a[FNR])}1'  <(tr -dc A-Za-z0-9 < /dev/urandom |fold -w 10|head -`grep -c . file`)  file
  2. VERSION:2.1
  3. N:IPUQD4awVc;;;;
  4. FN:fEiw7VgnNb
  5. TEL;CELL:15811258459
  6. --
  7. VERSION:2.1
  8. N:IR00FpQ1nT;;;;
  9. FN:eIurVieVBG
  10. TEL;CELL:15811258459
  11. --
  12. VERSION:2.1
  13. N:j3UqBXV877;;;;
  14. FN:sklN5iXnHV
  15. TEL;CELL:15811258459
  16. --
  17. VERSION:2.1
  18. N:bG0nnVURis;;;;
  19. FN:wxkvgmNhDD
  20. TEL;CELL:15811258459
  21. --
  22. VERSION:2.1
  23. N:F6y77g3m64;;;;
  24. FN:SMbol0yROF
  25. TEL;CELL:15811258459
  26. --
  27. VERSION:2.1
  28. N:WD6pjZ3hh4;;;;
  29. FN:K2vEAVz47b
  30. TEL;CELL:15811258459
  31. --
  32. VERSION:2.1
  33. N:3JpoqZ31lT;;;;
  34. FN:CShA6XXRKn
  35. TEL;CELL:15811258459
  36. --
  37. VERSION:2.1
  38. N:Q7Uibxe9wL;;;;
  39. FN:fyteac8H4i
  40. TEL;CELL:15811258459
  41. --
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
Herowinter

论坛徽章:
780
金牛座 日期:2014-02-26 17:49:58水瓶座 日期:2014-02-26 18:10:15白羊座 日期:2014-04-15 19:29:52寅虎 日期:2014-04-17 19:43:21酉鸡 日期:2014-04-19 21:24:10子鼠 日期:2014-04-22 13:55:24卯兔 日期:2014-04-22 14:20:58亥猪 日期:2014-04-22 16:13:09狮子座 日期:2014-05-05 22:31:17摩羯座 日期:2014-05-06 10:32:53处女座 日期:2014-05-12 09:23:11子鼠 日期:2014-05-21 18:21:27
7楼 [报告]
发表于 2014-08-27 11:29 |只看该作者
本帖最后由 Herowinter 于 2014-08-27 11:37 编辑

回复 1# 欧阳西风

如果N:和FN:后面的两个随机字符串不需要确保一样,用楼上PF大神的就行,
否则可以考虑这段代码.
  1. awk 'function randomStr(a,n){str="";for(i=1;i<=10;i++){str=str""a[int(rand()*100%n)]};return str} BEGIN{for(i=48;i<=122;i++)if((i<=57)||(i>=65&&i<=90)||(i>=97))a[n++]=sprintf("%c",i);srand()} /APhone[0-9]+/{phone=gensub(/.*(APhone[0-9]+).*/,"\\1",1);if(!(phone in b))b[phone]=randomStr(a,n);sub(phone,b[phone])}1' i
  2. SION:2.1
  3. N:0GJOr7OtPM;;;;
  4. FN:0GJOr7OtPM
  5. TEL;CELL:15811258459
  6. --
  7. VERSION:2.1
  8. N:arpip958MT;;;;
  9. FN:arpip958MT
  10. TEL;CELL:15811258459
  11. --
  12. VERSION:2.1
  13. N:YCsHenY2Pw;;;;
  14. FN:YCsHenY2Pw
  15. TEL;CELL:15811258459
  16. --
  17. VERSION:2.1
  18. N:Jr7RED7d0E;;;;
  19. FN:Jr7RED7d0E
  20. TEL;CELL:15811258459
  21. --
  22. VERSION:2.1
  23. N:L78F0F1UW1;;;;
  24. FN:L78F0F1UW1
  25. TEL;CELL:15811258459
  26. --
  27. VERSION:2.1
  28. N:QGsa78p9F4;;;;
  29. FN:QGsa78p9F4
  30. TEL;CELL:15811258459
  31. --
  32. VERSION:2.1
  33. N:vB1Q4OA29X;;;;
  34. FN:vB1Q4OA29X
  35. TEL;CELL:15811258459
  36. --
  37. VERSION:2.1
  38. N:ocNxD39z8c;;;;
  39. FN:ocNxD39z8c
  40. TEL;CELL:15811258459
  41. --
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
欧阳西风

论坛徽章:
3
天蝎座 日期:2013-12-10 19:37:11酉鸡 日期:2014-08-04 20:05:38双鱼座 日期:2014-08-09 21:53:54
8楼 [报告]
发表于 2014-08-27 12:28 |只看该作者
回复 6# 关阴月飞


    谢谢，可以实现我要的效果
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
欧阳西风

论坛徽章:
3
天蝎座 日期:2013-12-10 19:37:11酉鸡 日期:2014-08-04 20:05:38双鱼座 日期:2014-08-09 21:53:54
9楼 [报告]
发表于 2014-08-27 12:30 |只看该作者
回复 7# Herowinter


    不需要保证N和FN后面的字符串保持一致，不过保持一致也非常好。谢谢了
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
Herowinter

论坛徽章:
780
金牛座 日期:2014-02-26 17:49:58水瓶座 日期:2014-02-26 18:10:15白羊座 日期:2014-04-15 19:29:52寅虎 日期:2014-04-17 19:43:21酉鸡 日期:2014-04-19 21:24:10子鼠 日期:2014-04-22 13:55:24卯兔 日期:2014-04-22 14:20:58亥猪 日期:2014-04-22 16:13:09狮子座 日期:2014-05-05 22:31:17摩羯座 日期:2014-05-06 10:32:53处女座 日期:2014-05-12 09:23:11子鼠 日期:2014-05-21 18:21:27
10楼 [报告]
发表于 2014-08-27 13:23 |只看该作者
回复 9# 欧阳西风

那样,我的代码可以改成这样.
  1. awk 'function randomStr(a,n){str="";for(i=1;i<=10;i++){str=str""a[int(rand()*100%n)]};return str} BEGIN{for(i=48;i<=122;i++)if((i<=57)||(i>=65&&i<=90)||(i>=97))a[n++]=sprintf("%c",i);srand()} /APhone[0-9]+/{sub(/APhone[0-9]+/,randomStr(a,n))}1' i
  2. SION:2.1
  3. N:bPmD0FoAMk;;;;
  4. FN:F4eQhESVCX
  5. TEL;CELL:15811258459
  6. --
  7. VERSION:2.1
  8. N:wjEY69aTDQ;;;;
  9. FN:L8oACSZ9a4
  10. TEL;CELL:15811258459
  11. --
  12. VERSION:2.1
  13. N:6XLGAavYgS;;;;
  14. FN:y4Jo9r5RRO
  15. TEL;CELL:15811258459
  16. --
  17. VERSION:2.1
  18. N:xFjK8IVWlZ;;;;
  19. FN:8s1GLzoV7y
  20. TEL;CELL:15811258459
  21. --
  22. VERSION:2.1
  23. N:s40w4IFLVT;;;;
  24. FN:LYN6ERbBeb
  25. TEL;CELL:15811258459
  26. --
  27. VERSION:2.1
  28. N:86BIpAp0au;;;;
  29. FN:qXOlDWiG7b
  30. TEL;CELL:15811258459
  31. --
  32. VERSION:2.1
  33. N:QG2zdM5buQ;;;;
  34. FN:K64aST8TTf
  35. TEL;CELL:15811258459
  36. --
  37. VERSION:2.1
  38. N:Y42INNim5K;;;;
  39. FN:3YQ96ryb21
  40. TEL;CELL:15811258459
  41. --
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
12下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP