免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2185 | 回复: 3
打印 上一主题 下一主题

请教:统计文本单词数 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2005-05-05 11:58 |只看该作者 |倒序浏览
处理某文本,做到此步,现需统计文本单词数,每行1单词,我用forfor处理没有搞定,请哪位前辈指点一下啊
示例:
you
will
be
in
my
heart
heart
forever
forever
forever
期望结果(按count降序排列):
word count percent
forever 3 30%
heart 2 20%
you 1 10%
will 1 10%
be 1 10%
in 1 10%
my 1 10%

论坛徽章:
0
2 [报告]
发表于 2005-05-05 14:11 |只看该作者

请教:统计文本单词数


  1. #!/usr/bin/perl -w
  2. use strict;
  3. my %words=();
  4. my $total = 0;
  5. while(<>;){
  6.     $words{$1}++,$total++ if(/^\s*(\w+)/);
  7. }

  8. my @keys =sort {$words{$b} <=>; $words{$a}} keys %words;

  9. print "word\tcount\tpercent\n";
  10. foreach(@keys){
  11.     printf "%s\t$words{$_}\t%d%%\n", $_,$words{$_}/$total*100;
  12. }
复制代码

输出结果:

  1. #./a.pl data.in
  2. word    count   percent
  3. forever 3       30%
  4. heart   2       20%
  5. you     1       10%
  6. in      1       10%
  7. be      1       10%
  8. will    1       10%
  9. my      1       10%
复制代码

论坛徽章:
0
3 [报告]
发表于 2005-05-05 17:35 |只看该作者

请教:统计文本单词数

多谢pupilzeng前辈!
顺利解决问题!承教!
严重学习中~~

论坛徽章:
1
荣誉会员
日期:2011-11-23 16:44:17
4 [报告]
发表于 2005-05-05 17:50 |只看该作者

请教:统计文本单词数

shell:

  1. /home/lee#n=$(cat tmp|wc -l);tr -d ' '<tmp|uniq -c|awk 'BEGIN{print "word count percent"}{print $2,$1,$1/'"$n"'*100"\%"|"sort -k3nr"}'
  2. word count percent
  3. forever 3 30%
  4. heart 2 20%
  5. be 1 10%
  6. in 1 10%
  7. my 1 10%
  8. will 1 10%
  9. you 1 10%
复制代码

PS:看来真要好好学习perl啦
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP