shell优化问题讨论

93237984

%cat infile

21212,34322,323232,2007/10/23 10:00:00
21542,32322,323432,2007/10/23 10:00:00
25412,32322,323232,2007/10/23 10:00:00
21432,32872,323232,2007/10/23 10:00:00
25612,38722,323232,2007/10/23 10:05:00
21256,32872,323232,2007/10/23 10:05:00
...
21782,37322,323232,2007/10/23 10:10:00
21872,32322,323232,2007/10/23 10:10:00
21902,37822,323232,2007/10/23 10:10:00

现在要得到最后一列时间的唯一记录，之前用
%cat infile|awk '{print $4}'|sort -u

2007/10/23 10:00:00
2007/10/23 10:05:00
2007/10/23 10:10:00

得到所有记录中出现过的时间。结果发现sort占用cpu相当高，sort一个2M的文件尽然占了10%左右的cpu。请问哪位高手能不能有其它办法把这些唯一的时间取出来？

[ 本帖最后由 93237984 于 2007-10-23 22:22 编辑 ]

寂寞烈火

try:
awk '!a[$NF]++'

[ 本帖最后由 寂寞烈火 于 2007-10-23 22:32 编辑 ]

linuxnextyear

原帖由 寂寞烈火 于 2007-10-23 22:17 发表
try:
awk '!a[$NF]++'

能否简单解释一下这个命令?

93237984

原帖由 寂寞烈火 于 2007-10-23 22:17 发表
try:
awk '!a[$NF]++'

不行啊大哥，报错了。我用的是AIX操作系统。还有没有别的方法呢？

寂寞烈火

原帖由 93237984 于 2007-10-25 00:42 发表


不行啊大哥，报错了。我用的是AIX操作系统。还有没有别的方法呢？

俺用Linux......

springwind426

似乎这个文件是按照时间的先后顺序排序的
可以试试：
awk -F, '{print $4}' infile | uniq

解释：
-F,  用，做分隔符，这样时间就是第四个字段

93237984

原帖由 springwind426 于 2007-10-25 07:53 发表
似乎这个文件是按照时间的先后顺序排序的
可以试试：
awk -F, '{print $4}' infile | uniq

解释：
-F,  用，做分隔符，这样时间就是第四个字段

我试了试可以的，但如果时间排列原来是乱的呢？我现在需要按照时间顺序排列又不能用sort应该怎么搞？

springwind426

不知道你的awk的版本

1. 
   
2. awk -F, '{a[$4]=1}END{for(t in a)print t}' infile
   

复制代码

在我的系统中执行上面的代码后，会输出唯一的时间列表

解释：
a[$4]=1 就是在 数组变量a中添加一个项，其key值为获取到的时间（在awk中，数组是关联数组，即key=>value）
END{} 表示处理完所有的输入后处理
for(t in a)print t  表示遍历数组，取出其key，并打印

walkerxk

先uniq再sort，好像也没有办法了，你可以去读一下排序算法。

ly5066113

原帖由 93237984 于 2007-10-25 00:42 发表


不行啊大哥，报错了。我用的是AIX操作系统。还有没有别的方法呢？

抱什么错啊？也不说一下。
这是最简单的方法了。

awk -F, '!a[$NF]++' urfile