忘记密码   免费注册 查看新帖 | 论坛精华区

ChinaUnix.net

  平台 论坛 博客 认证专区 大话IT HPC论坛 徽章 文库 沙龙 自测 下载 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
12下一页
最近访问板块 发新帖
查看: 1398 | 回复: 13

[文本处理] 【已解决】求一个统计行重复的AWK脚本 [复制链接]

论坛徽章:
0
发表于 2017-03-09 11:31 |显示全部楼层
本帖最后由 lanfeng356 于 2017-03-09 17:35 编辑

原始文件:
000A 000861
000B 000861
100A 000118
000B 000861
000C 000861
100B 000118
100A 000118
000C 000861
100B 000118
100A 000118



...总计1万行
要求:文件总计1万行,输出1万行,顺序和原来1万行一样;
        如果某行在文件中只出现一次,在行前打印 否 是 1
        如果某行在文件中出现多次,第一次统计时,在行前打印 是 是 1,第n(n>=2)次时,打印 是 否 n

以上原始文件想要的结果:
否 是 1 000A 000861
是 是 1 000B 000861
是 是 1 100A 000118
是 否 2 000B 000861
否 是 1 000C 000861
是 否 1 100B 000118
是 否 2 100A 000118
是 否 2 100B 000118
是 否 3 100A 000118



...一万行顺序和原始文件一样

求各位大侠给个AWK脚本。


论坛徽章:
53
2015亚冠之德黑兰石油
日期:2015-07-07 13:00:1615-16赛季CBA联赛之深圳
日期:2016-03-31 09:03:5415-16赛季CBA联赛之辽宁
日期:2016-05-09 20:38:15程序设计版块每日发帖之星
日期:2016-05-12 06:20:0015-16赛季CBA联赛之四川
日期:2016-05-13 15:19:4715-16赛季CBA联赛之福建
日期:2016-05-15 20:24:34每日论坛发贴之星
日期:2016-05-16 06:20:0015-16赛季CBA联赛之吉林
日期:2016-05-26 11:49:4715-16赛季CBA联赛之广东
日期:2016-05-26 13:49:18极客徽章
日期:2016-12-07 14:05:2315-16赛季CBA联赛之广夏
日期:2016-12-20 17:33:532017金鸡报晓
日期:2017-01-10 15:19:56
发表于 2017-03-09 12:10 |显示全部楼层
  1. awk 'NR==FNR{a[$0]++;next}{if(a[$0]==1)$1="否 是 1 "$1;else if($0 in b)$1="是 是 "a[$0]" "$1;else{b[$0];$1="是 否 "a[$0]" "$1}}1' a a
复制代码

1人打赏

论坛徽章:
27
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
发表于 2017-03-09 15:33 |显示全部楼层
本帖最后由 moperyblue 于 2017-03-09 15:38 编辑
  1. awk 'NR==FNR{a[$0]++;next}{print a[$0]<2?"否 是 1":++b[$0]<2?"是 是":"是 否",b[$0],$0}' file file
复制代码

2人打赏

论坛徽章:
0
发表于 2017-03-09 15:48 |显示全部楼层
回复 2# haooooaaa

非常感谢大侠,我还有几个点不太理解,还请大侠赐教:1.awk 'NR==FNR{a[$0]++;next}{if(a[$0]==1)$1="否 是 1 "$1;else if($0 in b)$1="是 是 "a[$0]" "$1;else{b[$0];$1="是 否 "a[$0]" "$1}}1' a a 这个脚本中的b是怎么理解?
2.awk 'NR==FNR{a[$0]++;next}{if(a[$0]==1)$1="否 是 1 "$1;else if($0 in b)$1="是 是 "a[$0]" "$1;else{b[$0];$1="是 否 "a[$0]" "$1}}1' a a  脚本中最后的这个1是什么意思?我测试这个1和输出有关,没理解为什么有这个非0的数字就会打印,没有这个数字或者数字为0就不会打印呢?

论坛徽章:
0
发表于 2017-03-09 15:48 |显示全部楼层
回复 2# haooooaaa

非常感谢大侠,我还有几个点不太理解,还请大侠赐教:
1.awk 'NR==FNR{a[$0]++;next}{if(a[$0]==1)$1="否 是 1 "$1;else if($0 in b)$1="是 是 "a[$0]" "$1;else{b[$0];$1="是 否 "a[$0]" "$1}}1' a a 这个脚本中的b是怎么理解?
2.awk 'NR==FNR{a[$0]++;next}{if(a[$0]==1)$1="否 是 1 "$1;else if($0 in b)$1="是 是 "a[$0]" "$1;else{b[$0];$1="是 否 "a[$0]" "$1}}1' a a  脚本中最后的这个1是什么意思?我测试这个1和输出有关,没理解为什么有这个非0的数字就会打印,没有这个数字或者数字为0就不会打印呢?

论坛徽章:
0
发表于 2017-03-09 16:00 |显示全部楼层
回复 3# moperyblue

awk 'NR==FNR{a[$0]++;next}{print a[$0]<2?"否 是 1":++b[$0]<2?"是 是":"是 否",b[$0],$0}' file file

两位大侠都提到了b这个参数,请赐教这个b怎么理解?

论坛徽章:
27
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
发表于 2017-03-09 16:05 |显示全部楼层
回复 6# lanfeng356


数组名称而已 用c或dd等其它字符或字符串表示都可以

论坛徽章:
0
发表于 2017-03-09 16:57 |显示全部楼层
回复 7# moperyblue

awk 'NR==FNR{a[$0]++;next}{print a[$0]<2?"否 是 1":++b[$0]<2?"是 是":"是 否",b[$0],$0}' file file
我大概理解了,这个b[$0]是在读取第二个文件时,新建的数组,而a[$0]是读取第一个文件时的数组。

膜拜了,二位大侠~



论坛徽章:
307
程序设计版块每周发帖之星
日期:2016-04-08 00:41:33操作系统版块每日发帖之星
日期:2015-09-02 06:20:00每日论坛发贴之星
日期:2015-09-02 06:20:00程序设计版块每日发帖之星
日期:2015-09-04 06:20:00每日论坛发贴之星
日期:2015-09-04 06:20:00每周论坛发贴之星
日期:2015-09-06 22:22:00程序设计版块每日发帖之星
日期:2015-09-09 06:20:00程序设计版块每日发帖之星
日期:2015-09-19 06:20:00程序设计版块每日发帖之星
日期:2015-09-20 06:20:00每日论坛发贴之星
日期:2015-09-20 06:20:00程序设计版块每日发帖之星
日期:2015-09-22 06:20:00程序设计版块每日发帖之星
日期:2015-09-24 06:20:00
发表于 2017-03-09 20:37 |显示全部楼层
那个 b 主要是用来处理某行的计数器。

论坛徽章:
0
发表于 2017-03-10 16:10 |显示全部楼层
本帖最后由 本友会机友会摄友会 于 2017-03-10 22:18 编辑

1 此问题为典型取重问题。
2 这道题我很喜欢,欢迎楼主用awk脚本的和我这个pk性能。不过一万行有点少。最好能放出真实数据,到百度网盘。
3 想要的结果不对,少了一行,少了倒数第三行。我的脚本写完了,调试不出 你那结果,全赖你

  1. #用户输入部分
  2. $输入文件路径全名 = 'a:\pscode\temp194\aaa.txt'  #输入文件最后几行,不能有空行。
  3. $输出文件路径全名 = 'a:\pscode\temp194\bbb.txt'
  4. #-------------------------------
  5. #脚本初始化部分
  6. [System.Reflection.Assembly]::loadwithpartialname("System.Text") | Out-Null
  7. [int32]$long = 1024 * 1024 * 256 #256MB
  8. $大字符串 = New-Object System.Text.StringBuilder($long)
  9. #-------------------------------
  10. #main
  11. $开始时间 = Get-Date
  12. $输入文件 = Get-Content  -LiteralPath  $输入文件路径全名  -ReadCount 0
  13. $读取完成 = Get-Date
  14. Write-Warning '------读取时间:------'
  15. New-TimeSpan -Start $开始时间 -End  $读取完成



  16. $哈希表 = @{}
  17. foreach ($每一行 in $输入文件)
  18. {
  19.     $每一行 = $每一行.trim()
  20.     if  ( $哈希表.Contains("$每一行") )
  21.     {
  22.         $哈希表["$每一行"] = $哈希表["$每一行"] + 1
  23.     }
  24.     else
  25.     {
  26.         $哈希表.add("$每一行",1)
  27.     }
  28. }
  29. $哈希结束 = Get-Date
  30. Write-Warning '------建立哈希表时间:------'
  31. New-TimeSpan -Start  $读取完成  -End $哈希结束


  32. $temp001 = 100000000
  33. foreach ($每一行 in $输入文件)
  34. {
  35.     $每一行 = $每一行.trim()
  36.     if  ($哈希表["$每一行"] -eq 1)
  37.     {
  38.         $null = $大字符串.append('否 是 1 ')
  39.         $null = $大字符串.appendline("$每一行")
  40.     }
  41.     else
  42.     {
  43.         if ($哈希表["$每一行"] -gt $temp001)
  44.         {
  45.             $n = $哈希表["$每一行"]  -  $temp001
  46.             $null = $大字符串.append("是 否 $n ")
  47.             $null = $大字符串.appendline("$每一行")
  48.             $哈希表["$每一行"] = $哈希表["$每一行"]  + 1
  49.         }
  50.         else
  51.         {
  52.          #   if ($哈希表["$每一行"] -gt 1)   这里省略判断。
  53.             $null = $大字符串.append('是 是 1 ')
  54.             $null = $大字符串.appendline("$每一行")
  55.             $哈希表["$每一行"] = 2  +  $temp001
  56.         }
  57.     }
  58. }
  59. $处理数据结束 = Get-Date
  60. Write-Warning '------处理数据时间:------'
  61. New-TimeSpan -Start  $哈希结束  -End $处理数据结束



  62. Set-Content  -LiteralPath   $输出文件路径全名    -Value  $大字符串
  63. $写入文件结束 = Get-Date
  64. Write-Warning '------写入时间:------'
  65. New-TimeSpan -Start  $处理数据结束  -End $写入文件结束



  66. Write-Warning '------总时间:------'
  67. New-TimeSpan -Start  $开始时间  -End $写入文件结束
复制代码


您需要登录后才可以回帖 登录 | 注册

本版积分规则

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802020122
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP