免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Shell › 两行一个记录，删除重复行，awk语句提错
12下一页
最近访问板块 发新帖
查看: 3826 | 回复: 11
打印 上一主题 下一主题

[文本处理] 两行一个记录，删除重复行，awk语句提错 [复制链接]

白兔糖0217

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2014-08-11 14:05 |只看该作者 |倒序浏览
本帖最后由 白兔糖0217 于 2014-08-11 14:40 编辑

遇到问题了，是这样的：
我的文件txt1中，每两行一个数据，第一行是数据的个数，后面的每行的数据。

   91
     0.007  1025.000   273.550     AA   H333333
0.6400E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     0.100  1014.760   273.099     AA   H333333
0.6646E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     0.200  1003.740   272.615     AA   H333333
0.6910E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     0.234  1000.000   272.450     AA   H333333
0.7000E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     0.300   991.888   271.971     AA   H333333
0.7166E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     0.400   979.598   271.244     AA   H333333
0.7417E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     0.500   967.307   270.518     AA   H333333
0.7669E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     0.592   956.000   269.850     AA   H333333
0.7900E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     0.600   955.030   269.874     AA   H333333
0.7730E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
    0.600   955.030   269.874     AA   H333333
0.7730E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     0.625   952.000   269.950     AA   H333333
0.7200E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     0.700   943.096   270.258     AA   H333333
0.6070E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     0.800   931.224   270.669     AA   H333333
0.4563E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     0.844   926.000   270.850     AA   H333333
0.3900E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     0.853   925.000   270.850     AA   H333333
0.3600E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     0.900   919.577   270.850     AA   H333333
0.3058E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     0.957   913.000   270.850     AA   H333333
0.2400E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     0.974   911.000   270.850     AA   H333333
0.5000E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     1.000   908.016   270.765     AA   H333333
0.5980E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     1.035   904.000   270.650     AA   H333333
0.7300E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     1.250   879.833   270.233     AA   H333333
0.4800E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     1.293   875.000   270.150     AA   H333333
0.4300E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     1.500   852.500   269.700     AA   H333333
0.2770E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     1.523   850.000   269.650     AA   H333333
0.2600E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     1.626   839.000   269.450     AA   H333333
0.2000E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     1.750   826.014   269.199     AA   H333333
0.1581E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     1.922   808.000   268.850     AA   H333333
0.1000E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     1.952   805.000   268.750     AA   H333333
0.1000E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     2.000   800.290   268.589     AA   H333333
0.9613E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     2.250   775.761   267.749     AA   H333333
0.7597E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     2.500   751.231   266.909     AA   H333333
0.5581E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     2.696   732.000   266.250     AA   H333333
0.4000E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     2.750   727.004   266.107     AA   H333333
0.1280E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     2.923   711.000   265.650     AA   H333333
0.4100E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     2.956   708.000   265.850     AA   H333333
0.1100E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     3.000   704.000   265.850     AA   H333333
0.8143E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     3.033   701.000   265.850     AA   H333333
0.6000E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     3.044   700.000   265.850     AA   H333333
0.8000E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     3.134   692.000   265.250     AA   H333333
0.1300E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     3.156   690.000   264.850     AA   H333333
0.6200E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     3.190   687.000   264.650     AA   H333333
0.4800E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     3.224   684.000   264.250     AA   H333333
0.7500E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     3.250   681.689   265.059     AA   H333333
0.4149E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     3.250   681.689   265.059     AA   H333333
0.4149E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     3.269   680.000   265.650     AA   H333333
0.1700E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     3.316   676.000   266.850     AA   H333333
0.9000E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     3.372   671.000   266.450     AA   H333333
0.9000E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     3.500   660.456   265.629     AA   H333333
0.8632E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     3.750   639.862   264.024     AA   H333333
0.7914E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     4.000   619.268   262.420     AA   H333333
0.7195E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     4.250   598.674   260.815     AA   H333333
0.6477E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     4.416   585.000   259.750     AA   H333333
0.6000E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     4.500   578.837   259.214     AA   H333333
0.5886E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     4.750   560.495   257.617     AA   H333333
0.5546E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     5.000   542.152   256.021     AA   H333333
0.5207E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     5.152   531.000   255.050     AA   H333333
0.5000E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     5.250   524.367   254.408     AA   H333333
0.4786E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     5.500   507.445   252.771     AA   H333333
0.4240E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     5.500   507.445   252.771     AA   H333333
0.4240E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     5.610   500.000   252.050     AA   H333333
0.4000E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     5.750   490.874   251.366     AA   H333333
0.4207E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     6.000   474.578   250.143     AA   H333333
0.4578E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     6.250   458.281   248.921     AA   H333333
0.4948E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     6.285   456.000   248.750     AA   H333333
0.5000E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
    6.500   442.798   247.713     AA   H333333
0.5000E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     6.500   442.798   247.713     AA   H333333
0.5000E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     6.513   442.000   247.650     AA   H333333
0.5000E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     6.750   428.117   245.931     AA   H333333
0.4669E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
    6.750   428.117   245.931     AA   H333333
0.4669E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     7.000   413.473   244.118     AA   H333333
0.4321E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     7.230   400.000   242.450     AA   H333333
0.4000E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     7.250   398.958   242.284     AA   H333333
0.4056E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     7.500   385.939   240.208     AA   H333333
0.4760E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     7.750   372.920   238.132     AA   H333333
0.5464E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     8.000   359.901   236.056     AA   H333333
0.6167E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     8.250   346.882   233.980     AA   H333333
0.6871E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     8.500   333.863   231.904     AA   H333333
0.7575E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     8.500   333.863   231.904     AA   H333333
0.7575E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     8.651   326.000   230.650     AA   H333333
0.8000E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     8.750   321.377   230.111     AA   H333333
0.7615E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     8.750   321.377   230.111     AA   H333333
0.7615E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     9.000   309.704   228.749     AA   H333333
0.6642E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
    9.000   309.704   228.749     AA   H333333
0.6642E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     9.165   302.000   227.850     AA   H333333
0.6000E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     9.210   300.000   227.650     AA   H333333
0.6000E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
    9.250   298.333   227.470     AA   H333333
0.5967E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     9.250   298.333   227.470     AA   H333333
0.5967E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     9.500   287.917   226.345     AA   H333333
0.5758E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     9.750   277.500   225.220     AA   H333333
0.5550E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
    10.000   267.083   224.095     AA   H333333
0.5342E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
    10.410   250.000   222.250     AA   H333333
0.5000E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00

如图中所示，当然这只是一部分。


现在，发现文件中，有重复的数据，必须剔除。第一列是高度，后面是该高度层的诸多参数
用 awk 'a[$0];END(for i in a){print i}' txt1  得到的不对。
请教各位该怎么处理这个问题呢？

QQ图片20140811140107.jpg (83.86 KB, 下载次数: 58)

QQ图片20140811140107.jpg
jeffreyst

论坛徽章:
3
酉鸡 日期:2014-04-23 17:17:56丑牛 日期:2014-05-08 11:41:302015亚冠之德黑兰石油 日期:2015-08-03 11:14:27
2楼 [报告]
发表于 2014-08-11 14:10 |只看该作者
本帖最后由 jeffreyst 于 2014-08-11 14:10 编辑

awk '{a[$0]=$0}END(for i in a){print i}' txt1
这样可以吗？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
白兔糖0217

论坛徽章:
0
3楼 [报告]
发表于 2014-08-11 14:13 |只看该作者
回复 2# jeffreyst


    还是不行
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
jeffreyst

论坛徽章:
3
酉鸡 日期:2014-04-23 17:17:56丑牛 日期:2014-05-08 11:41:302015亚冠之德黑兰石油 日期:2015-08-03 11:14:27
4楼 [报告]
发表于 2014-08-11 14:18 |只看该作者
回复 3# 白兔糖0217


    目测功力不行
1.木有看出来重复的行
2.最好上文本
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
关阴月飞

论坛徽章:
39
辰龙 日期:2013-08-21 15:45:192015亚冠之广州富力 日期:2015-05-12 16:34:52亥猪 日期:2015-03-03 17:22:00申猴 日期:2015-03-03 17:21:37未羊 日期:2014-10-10 13:45:41戌狗 日期:2014-06-17 09:53:29巨蟹座 日期:2014-06-12 23:17:17双鱼座 日期:2014-06-10 12:42:44寅虎 日期:2014-06-09 12:52:172015亚冠之卡尔希纳萨夫 日期:2015-05-24 15:24:35黄金圣斗士 日期:2015-12-02 17:25:0815-16赛季CBA联赛之吉林 日期:2017-06-24 16:43:52
5楼 [报告]
发表于 2014-08-11 14:25 |只看该作者
本帖最后由 关阴月飞 于 2014-08-11 14:40 编辑

回复 1# 白兔糖0217


    目测一下：
  1. awk '{getline i;if(!a[$0i]++)print i?$0"\n"i:$0;i=b}' urfile
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
白兔糖0217

论坛徽章:
0
6楼 [报告]
发表于 2014-08-11 14:36 |只看该作者
回复 1# 白兔糖0217


       91
     0.007  1025.000   273.550     AA   H333333
0.6400E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     0.100  1014.760   273.099     AA   H333333
0.6646E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     0.200  1003.740   272.615     AA   H333333
0.6910E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     0.234  1000.000   272.450     AA   H333333
0.7000E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     0.300   991.888   271.971     AA   H333333
0.7166E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     0.400   979.598   271.244     AA   H333333
0.7417E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     0.500   967.307   270.518     AA   H333333
0.7669E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     0.592   956.000   269.850     AA   H333333
0.7900E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     0.600   955.030   269.874     AA   H333333
0.7730E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     0.600   955.030   269.874     AA   H333333
0.7730E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00 ！！！重复2行
     0.625   952.000   269.950     AA   H333333
0.7200E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     0.700   943.096   270.258     AA   H333333
0.6070E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     0.800   931.224   270.669     AA   H333333
0.4563E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     0.844   926.000   270.850     AA   H333333
0.3900E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     0.853   925.000   270.850     AA   H333333
0.3600E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     0.900   919.577   270.850     AA   H333333
0.3058E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     0.957   913.000   270.850     AA   H333333
0.2400E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     0.974   911.000   270.850     AA   H333333
0.5000E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     1.000   908.016   270.765     AA   H333333
0.5980E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     1.035   904.000   270.650     AA   H333333
0.7300E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     1.250   879.833   270.233     AA   H333333
0.4800E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     1.293   875.000   270.150     AA   H333333
0.4300E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     1.500   852.500   269.700     AA   H333333
0.2770E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     1.523   850.000   269.650     AA   H333333
0.2600E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     1.626   839.000   269.450     AA   H333333
0.2000E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     1.750   826.014   269.199     AA   H333333
0.1581E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     1.922   808.000   268.850     AA   H333333
0.1000E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     1.952   805.000   268.750     AA   H333333
0.1000E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     2.000   800.290   268.589     AA   H333333
0.9613E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     2.250   775.761   267.749     AA   H333333
0.7597E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     2.500   751.231   266.909     AA   H333333
0.5581E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     2.696   732.000   266.250     AA   H333333
0.4000E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     2.750   727.004   266.107     AA   H333333
0.1280E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     2.923   711.000   265.650     AA   H333333
0.4100E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     2.956   708.000   265.850     AA   H333333
0.1100E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     3.000   704.000   265.850     AA   H333333
0.8143E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     3.033   701.000   265.850     AA   H333333
0.6000E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     3.044   700.000   265.850     AA   H333333
0.8000E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     3.134   692.000   265.250     AA   H333333
0.1300E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     3.156   690.000   264.850     AA   H333333
0.6200E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     3.190   687.000   264.650     AA   H333333
0.4800E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     3.224   684.000   264.250     AA   H333333
0.7500E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     3.250   681.689   265.059     AA   H333333
0.4149E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     3.250   681.689   265.059     AA   H333333
0.4149E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00  ！！！重复2行
     3.269   680.000   265.650     AA   H333333
0.1700E+02     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     3.316   676.000   266.850     AA   H333333
0.9000E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     3.372   671.000   266.450     AA   H333333
0.9000E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     3.500   660.456   265.629     AA   H333333
0.8632E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     3.750   639.862   264.024     AA   H333333
0.7914E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     4.000   619.268   262.420     AA   H333333
0.7195E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     4.250   598.674   260.815     AA   H333333
0.6477E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     4.416   585.000   259.750     AA   H333333
0.6000E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     4.500   578.837   259.214     AA   H333333
0.5886E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     4.750   560.495   257.617     AA   H333333
0.5546E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     5.000   542.152   256.021     AA   H333333
0.5207E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     5.152   531.000   255.050     AA   H333333
0.5000E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     5.250   524.367   254.408     AA   H333333
0.4786E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     5.500   507.445   252.771     AA   H333333
0.4240E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     5.500   507.445   252.771     AA   H333333
0.4240E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00  ！！！重复2行
     5.610   500.000   252.050     AA   H333333
0.4000E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     5.750   490.874   251.366     AA   H333333
0.4207E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     6.000   474.578   250.143     AA   H333333
0.4578E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     6.250   458.281   248.921     AA   H333333
0.4948E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     6.285   456.000   248.750     AA   H333333
0.5000E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     6.500   442.798   247.713     AA   H333333
0.5000E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     6.500   442.798   247.713     AA   H333333
0.5000E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00  ！！！重复2行
     6.513   442.000   247.650     AA   H333333
0.5000E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     6.750   428.117   245.931     AA   H333333
0.4669E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     6.750   428.117   245.931     AA   H333333
0.4669E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     7.000   413.473   244.118     AA   H333333
0.4321E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     7.230   400.000   242.450     AA   H333333
0.4000E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     7.250   398.958   242.284     AA   H333333
0.4056E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     7.500   385.939   240.208     AA   H333333
0.4760E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     7.750   372.920   238.132     AA   H333333
0.5464E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     8.000   359.901   236.056     AA   H333333
0.6167E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     8.250   346.882   233.980     AA   H333333
0.6871E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     8.500   333.863   231.904     AA   H333333
0.7575E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     8.500   333.863   231.904     AA   H333333
0.7575E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00  ！！！重复2行
     8.651   326.000   230.650     AA   H333333
0.8000E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     8.750   321.377   230.111     AA   H333333
0.7615E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     8.750   321.377   230.111     AA   H333333
0.7615E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     9.000   309.704   228.749     AA   H333333
0.6642E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     9.000   309.704   228.749     AA   H333333
0.6642E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00！！！重复2行
     9.165   302.000   227.850     AA   H333333
0.6000E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     9.210   300.000   227.650     AA   H333333
0.6000E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     9.250   298.333   227.470     AA   H333333
0.5967E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     9.250   298.333   227.470     AA   H333333
0.5967E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     9.500   287.917   226.345     AA   H333333
0.5758E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
     9.750   277.500   225.220     AA   H333333
0.5550E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
    10.000   267.083   224.095     AA   H333333
0.5342E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
    10.410   250.000   222.250     AA   H333333
0.5000E+01     0.000  0.000000  0.000000  0.000000  0.000000      0.00
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
白兔糖0217

论坛徽章:
0
7楼 [报告]
发表于 2014-08-11 14:53 |只看该作者
回复 5# 关阴月飞


    嗯！是这样的，多谢指点！
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
白兔糖0217

论坛徽章:
0
8楼
发表于 2014-08-11 14:57
回复 5# 关阴月飞


    运行对了，但是我不太明白您写的if 语句中的内容，能解释一下么？？？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
jason680

论坛徽章:
145
技术图书徽章 日期:2013-10-01 15:32:13戌狗 日期:2013-10-25 13:31:35金牛座 日期:2013-11-04 16:22:07子鼠 日期:2013-11-18 18:48:57白羊座 日期:2013-11-29 10:09:11狮子座 日期:2013-12-12 09:57:42白羊座 日期:2013-12-24 16:24:46辰龙 日期:2014-01-08 15:26:12技术图书徽章 日期:2014-01-17 13:24:40巳蛇 日期:2014-02-18 14:32:59未羊 日期:2014-02-20 14:12:13白羊座 日期:2014-02-26 12:06:59
9楼 [报告]
发表于 2014-08-11 14:57 |只看该作者
回复 1# 白兔糖0217

经典月经题...

$ awk '!a[$0]++' FILE
or
$ awk '!a[$0]++{print $0}' FILE
123
abc
xyz

$ cat FILE
123
abc
123
xyz
123

   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
li0924

论坛徽章:
7
亥猪 日期:2013-10-10 17:00:29辰龙 日期:2013-10-12 16:23:19卯兔 日期:2013-11-18 17:01:27金牛座 日期:2014-09-09 10:17:052015七夕节徽章 日期:2015-08-21 11:06:172015亚冠之柏太阳神 日期:2015-09-25 13:56:42数据库技术版块每日发帖之星 日期:2016-08-06 06:20:00
10楼 [报告]
发表于 2014-08-11 16:41 |只看该作者
  1. awk 'NR==1{print $0;next}{getline d;if(! a[$0d]++)print $0 RS d}' text1
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
12下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP