如何计算一个单词出现的次数

dinner3000

awk也可以:
      1 echo "\"Is there a tree? Yeah, there is a tree. How green the tree is.\""
      2 echo "Is there a tree? Yeah, there is a tree. How green the tree is." \
      3 |awk -F" " '
      4 BEGIN{
      5     count=0;
      6 }
      7 {
      8     for(i=0;i<NF;i++){
      9         if($i~/Is/ || $i~/is/){
     10             if(length($i)==2){
     11                 count++;
     12             }else if(length($i==3)){
     13                 if(substr($i,1,1)!~/[a-zA-Z]/ || substr($i,3,1)!~/[a-zA-Z]/){
     14                     count++;
     15                 }
     16             }else{
     17                 continue;
     18             }
     19         }else{
     20             continue;
     21         }
     22     }
     23 }
     24 END{
     25     printf("There are %d \"is\" in this text.\n",count);
     26 }
     27 '

Axin

原帖由 "yearnx" 发表：
我中午的时候用这个可以做了:

sed 's/ /\n/g' file | grep -c "^is&"

这个显然不行。

“is”　这个单词你肯定抓不住。

有一个问题：什么才是一个单词的标准？比如you're 这个简写有没有匹配you这个单词？

对于Unix本身的处理方式来说，他算是匹配了。

还有one-and-a-half　这个怪物也算匹配了单词and。

我们自己的标准又是？

網中人

摟主連單詞的判定都沒清楚, 那, 再設計怎麼寫命令, 都是多餘的...

honbj

[quote]原帖由 "網中人"]摟主連單詞的判定都沒清楚, 那, 再設計怎麼寫命令, 都是多餘的...[/quote 发表：


同意 如果没有确定标准 任何解法都是徒劳 觉得有些时候是方法而不是知识出了问题

yearnx

我贴的sed办法，是针对你给出的文档的。

原帖由 "Axin" 发表：


这个显然不行。

“is”　这个单词你肯定抓不住。

有一个问题：什么才是一个单词的标准？比如you're 这个简写有没有匹配you这个单词？

对于Unix本身的处理方式来说，他算是匹配了。

还有one-and-a-hal..........

不过你提出的问题很对，我觉得解决这种文档的最好办法就是逐个排除特殊字符了。

Axin你有什么好办法么？

Axin

我没有什么好办法。　

我觉得可能还是用作\bis\b过滤，

如果觉得is-xx这样的不算的话，那就再用grep -v 把这些带"-"的再过滤掉。。

and so on...

wwashington

刚好我也碰到这个问题，结果挖古董挖到这里。我分析了一下，其实计算单词很简单。正解如下：

Jackyz-MBP:~ jackyz$ echo "This is Chris , that is is-land" | tr ' ' '\n' | grep "^is$"
is
is
Jackyz-MBP:~ jackyz$ echo "This is Chris , that is is-land" | tr ' ' '\n' | grep "^is$" | wc -l
       2
Jackyz-MBP:~ jackyz$ echo "This is Chris , that is is-land" | xargs -n1 | grep "^is$"
is
is
Jackyz-MBP:~ jackyz$ echo "This is Chris , that is is-land" | xargs -n1 | grep "^is$" | wc -l
       2

wwashington

也许要考虑标点符号的问题，也就是必须以单词开头，以单词结尾或者单词后面加某些标点（例如,号和.号）。修订版本：

Jackyz-MBP:~ jackyz$ echo "This MerryChris is Chris, that Chris and Chris-Mas is Chris." |  tr ' ' '\n' | egrep "^Chris$|^Chris,|^Chris\."
Chris,
Chris
Chris.
Jackyz-MBP:~ jackyz$ echo "This MerryChris is Chris, that Chris and Chris-Mas is Chris." |  tr ' ' '\n' | egrep "^Chris$|^Chris,|^Chris\." | wc -l
       3
Jackyz-MBP:~ jackyz$ echo "This MerryChris is Chris, that Chris and Chris-Mas is Chris." | xargs -n1  | egrep "^Chris$|^Chris,|^Chris\."
Chris,
Chris
Chris.
Jackyz-MBP:~ jackyz$ echo "This MerryChris is Chris, that Chris and Chris-Mas is Chris." | xargs -n1  | egrep "^Chris$|^Chris,|^Chris\." | wc -l
       3

wwashington

分词规则很复杂啊。我在^Chris$的基础上，补充了单词后面有标点、前面有标点、两边有单双引号的。如果-Chris和Chris-
也算，就是把-号当成单词的分隔符处理，用我最后完善的脚本来分析，可以随时修改中括号的标点内容，方便调整统计规则。

Jackyz-MBP:~ jackyz$ echo "This Merry-Chris and Merry-Chris-Eve is Chris, that Chris\'s \'Chris\' and Chris-Mas is Chris." | xargs -n1 | egrep "^Chris$|^Chris[,.']|[,.']Chris$|[\'\"]Chris[\'\"]"
Chris,
Chris's
'Chris'
Chris.
Jackyz-MBP:~ jackyz$ echo "This Merry-Chris and Merry-Chris-Eve is Chris, that Chris\'s \'Chris\' and Chris-Mas is Chris." | xargs -n1 | egrep "^Chris$|^Chris[,.'-]|[,.'-]Chris$|[\'\"-]Chris[\'\"-]"
Merry-Chris
Merry-Chris-Eve
Chris,
Chris's
'Chris'
Chris-Mas
Chris.

dn833

1. awk 'BEGIN{RS=" |\n"}{if($0~/^is$/)a++}END{print a}'

复制代码

awk倒不是搞不定，就是放着现成的grep -wo不用没必要。