急，如何去掉日志指定列中的空格

wzl189189

从web的日志中取数时，因为各种原因，导致日志的列中有一些空格，有的是一个空格，有的是多个空格

如下面的b.txt
网址|ip|时间
163.com|21.10.12.22 |17:10
163.com@12a|21.10.12.22  |17:10
163.com|21.10.12.22|17:10
163.com |21.10.12.22 |17:10
163.com |21.10.12.22|17:10
163.com  |21.10.12.22|17:10

    1、想要的结果是有多少个ip，我是这样的：awk -F'|' '{if(!a[$2]++) ++b}END{print b}' b.txt
结果是３，但我知道结果应该是１，因为第二列有空格，有时是一个，有时是多个空格，
请教下这个去掉空格的操作（相当于trim()）的shell是怎么写的，要去掉前后多个空格

2、对第一列和第二列去掉空格，然后计算每个ip下去重的网址有多少（计算时要去掉结尾“@12a”，比如163.com@12a，去掉后是163.com）
  想要的结果是21.10.12.22|1

haooooaaa

1. awk -F '|' '{gsub(" ","");sub("@.*$","",$1);!a[$1$2]}END{print length(a)}' a  
   

复制代码

tc1989tc

1. awk -F '|' '{a=gsub(/\s+/,"",$2);if (!b[$2]++) c++}END{print c}' file

复制代码

jason680

回复 1# wzl189189

What You Want Is What You Code(WYWIWYC)

>> 有时是一个，有时是多个空格...
163.com |21.10.12.22 |17:10


$ awk -F'[ \t]*\\|[ \t]*' '{print "<"$1">,<"$2">,<"$3">"}' b.txt
<网址>,<ip>,<时间>
<163.com>,<21.10.12.22>,<17:10>
<163.com@12a>,<21.10.12.22>,<17:10>
<163.com>,<21.10.12.22>,<17:10>
<163.com>,<21.10.12.22>,<17:10>
<163.com>,<21.10.12.22>,<17:10>
<163.com>,<21.10.12.22>,<17:10>


>> ...去掉结尾“@12a”...

$ awk -F'[ \t]*\\|[ \t]*' '{sub(/@.*$/,"",$1);print "<"$1">,<"$2">,<"$3">"}' b.txt
<网址>,<ip>,<时间>
<163.com>,<21.10.12.22>,<17:10>
<163.com>,<21.10.12.22>,<17:10>
<163.com>,<21.10.12.22>,<17:10>
<163.com>,<21.10.12.22>,<17:10>
<163.com>,<21.10.12.22>,<17:10>
<163.com>,<21.10.12.22>,<17:10>

   

tc1989tc

1. awk -F '|' '{gsub(/\s+/,"",$2);gsub(/\s+/,"",$1);split($1,a,/@/);if(!b[$2";"a[1]])b[$2";"a[1]]++}END{for (c in b){split(c,a,";");d[a[1]] += b[c]} for (c in d){print c"|"d[c]}}' file

复制代码

wzl189189

回复 2# haooooaaa

sub("@.*$","",$1);  --------    替换时 ，为啥是“@.*$" , 为什么不是”@*$" 啊，即为什么要加个”."


   

wzl189189

回复 4# jason680

{sub(/@.*$/,"",$1);================  诚心请教，@后有个”." ，这个是什么语法？ 我看了好久没有找到啊
   

jason680

回复 7# wzl189189

正则 Regular Expression(RE)


http://bbs.chinaunix.net/thread-218853-1-1.html
shell 十三問?
Part-II: Regular Expression