【已解决】awk的hard quote问题

irockey

其实算是一个新人面试题

shell里面怎么统计文本中单词出现的次数


没想到怎么解决，然后百度了下，找到了结果，不过测试后发现语句报错

awk 'BEGIN{RS="[,.!?-'" ]"}{w[$0]+=1}END{for(a in w) print a"\t"w[a]}' file.txt


        将,.!?-'" 这些字符指定为行分隔符【空格在"后面】，然后使用数据，将单词设为下标，进行加1处理，最后打印
在执行后发现语句问题
执行报错：
-bash: syntax error near unexpected token `('
虽然对hard quote有所了解，但在这里真不知道该怎么处理。感觉有点钻牛角尖了！

jason680

回复 1# irockey

issue 1: single quote

$ awk 'BEGIN{RS="[,.!?-'" ]"}{w[$0]+=1}END{for(a in w) print a"\t"w[a]}' file.txt
bash: syntax error near unexpected token `('

solution: change it to hexadecimal of ascii code

$ ascii "Single Quote"      # or   $ ascii "'"
ASCII 2/7 is decimal 039, hex 27, octal 047, bits 00100111: prints as `''

------------------------------------------------------------------------
issue 2: double quote
Single Quote change to \x27

$ awk 'BEGIN{RS="[,.!?-\x27" ]"}{w[$0]+=1}END{for(a in w) print a"\t"w[a]}' file.txt
awk: cmd. line:1: BEGIN{RS="[,.!?-\x27" "}{w[$0]+=1}END{for(a in w) print a"\t"w[a]}
awk: cmd. line:1:                       ^ syntax error
awk: cmd. line:1: BEGIN{RS="[,.!?-\x27" ]"}{w[$0]+=1}END{for(a in w) print a"\t"w[a]}
awk: cmd. line:1:                                                            ^ backslash not last character on line

solution: change it to \" or \x22 in double quote string


------------------------------------------------------------------------
issue 3: Hyphen issue
$ awk 'BEGIN{RS="[,.!?-\x27\" ]"}{w[$0]+=1}END{for(a in w) print a"\t"w[a]}' file.txt
awk: cmd. line:1: fatal: Invalid range end: /[,.!?-'" ]/

[1-3  will be => 1, 2, 3 or 4
[-13]  will be => -, 1 or 3
[13-]  will be => 1, 3 or -
Note: Hyphen must be in head or tail

Solution: place it to head or tail between [ and ]

$ awk 'BEGIN{RS="[,.!?\x27\" -]"}{w[$0]+=1}END{for(a in w) print a"\t"w[a]}' file.txt
...

irockey

回复 2# jason680

对awk的元字符处理还不够熟悉，双引号有试过转义。不过因为-的原因，没能定位原因！谢谢指导

假设文章内容

1. [root@154 ~]# cat file
   
2. i love you!
   
3. miss you,tomorrow?
   
4. 'I miss you tomorrow!'
   
5. i tell you :'everything will be fine!'
   
6. 1-2-3
   

复制代码

统计文中单词出现的次数，另外在排序

1. [root@154 ~]# awk 'BEGIN{RS="[,.!?:\"\n\x27 -]+"}{w[$0]+=1}END{for(a in w)print w[a]"\t"a}' file |sort -r
   
2. 4        you
   
3. 2        tomorrow
   
4. 2        miss
   
5. 2        i
   
6. 1        will
   
7. 1        tell
   
8. 1        love
   
9. 1        I
   
10. 1        fine
    
11. 1        everything
    
12. 1        be
    
13. 1        3
    
14. 1        2
    
15. 1        1
    

复制代码

irockey

回复 3# 本友会机友会摄友会

谢谢！
没有使用成功，主要是对.net不熟悉，没有接触过我是直接执行的
$a = 'aa bb cc bb cc cc' -split ' ' | Group-Object


结果报错

1. -bash: Group-Object: command not found
   
2. -bash: =: command not found
   

复制代码

可能没有理解你说的意思，菜鸟一个！

jason680

回复 4# irockey

$ cat file
[root@154 ~]# cat file
i love you!
miss you,tomorrow?
'I miss you tomorrow!'
i tell you :'everything will be fine!'
1-2-3
$


$ awk 'BEGIN{RS="[,.!?:\"\n\x27 -]+"}{w[$0]+=1}END{for(a in w)print w[a]"\t"a}' file |sort -r
4    you
2    tomorrow
2    miss
2    i
1    will
1    tell
1    [root@154
1    love
1    I
1    fine
1    file
1    everything
1    cat
1    be
1    3
1    2
1    1
1    $
1    ~]#


#try this way ...

$ perl -lne '{$RE=qr/([A-Za-z]+|\d+)/;@a=split($RE);for(@a){/^$RE$/&&++$c{$_}}}END{print "$c{$_}\t$_" for(keys %c)}' file | sort -r
4    you
2    tomorrow
2    miss
2    i
1    will
1    tell
1    root
1    love
1    I
1    fine
1    file
1    everything
1    cat
1    be
1    3
1    2
1    154
1    1

irockey

回复 6# jason680

万分感谢，不过没有使用过perl，但一直听说perl的正则很好用
感觉有必要学习下perl，发现自己还有太多太多的东西要学习！

irockey

回复 7# 本友会机友会摄友会

跪谢，要学习的东西太多了，看来不止是知识技能少，连知识面都接触的太少！
谢谢耐心回帖