免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 13638 | 回复: 16
打印 上一主题 下一主题

[文本处理] 大文本如何统计每行字符出现的次数 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2013-08-24 15:24 |只看该作者 |倒序浏览
本帖最后由 vkqo 于 2013-08-24 16:40 编辑

一个大文本

每行一个字符串,统计不同的字符串出现的次数,然后把生成次数的结果排序生成一个文本

比如a.txt
wangbo
ohpho
wou
abc
asdjfklj
urowre
jojfan
asjdouw
12308s
ja134
9348022
2980024
jbouwf
mingwou
ajluouw
o9274
cba
abc
982344
9999
9999
2308
5644
9999
wangbo
litao
litao

统计后生成个次数文件
9999:3
wangbo:2
litao:2
...

论坛徽章:
0
2 [报告]
发表于 2013-08-24 15:27 |只看该作者
我刚才用这个
sort a.txt |uniq -d -c
但是好像处理速度好慢啊

论坛徽章:
0
3 [报告]
发表于 2013-08-24 15:32 |只看该作者
而且统计出来的东西也是错误的
有的重复统计

论坛徽章:
10
天蝎座
日期:2013-09-22 22:32:23程序设计版块每日发帖之星
日期:2016-08-07 06:20:00lufei
日期:2016-06-17 17:38:40程序设计版块每日发帖之星
日期:2016-06-12 06:20:002016科比退役纪念章
日期:2016-05-31 15:47:20CU十四周年纪念徽章
日期:2016-05-27 12:24:562015年亚洲杯之阿曼
日期:2015-05-03 21:01:352015年辞旧岁徽章
日期:2015-03-03 16:54:15天蝎座
日期:2013-10-20 21:05:24程序设计版块每日发帖之星
日期:2016-08-11 06:20:00
4 [报告]
发表于 2013-08-24 15:44 |只看该作者
回复 2# vkqo

  1. sort ufile | uniq -c | sort -rk1 | head -50

  2. awk '{line[$1]++}END{for(i in line){print i " " line[i]}}'  | sort -rk 2 | head -50
复制代码

论坛徽章:
0
5 [报告]
发表于 2013-08-24 15:50 |只看该作者
我的是win32系统,只有gawk和sort

论坛徽章:
0
6 [报告]
发表于 2013-08-24 16:54 |只看该作者
呵呵 不会            

论坛徽章:
0
7 [报告]
发表于 2013-08-24 16:55 |只看该作者
gawk "{a[$1]++}END{for(i in a){print i,a[i]}}" a.txt > b.txt

win32下面怎么对次数排序啊???

论坛徽章:
0
8 [报告]
发表于 2013-08-24 16:59 |只看该作者
Windows下面那个sort很多时候无法正确的排序

论坛徽章:
0
9 [报告]
发表于 2013-08-24 17:08 |只看该作者
用sort -rk 2 就
提示输入文件指定了两次。

我郁闷

论坛徽章:
60
20周年集字徽章-20	
日期:2020-10-28 14:04:3015-16赛季CBA联赛之北京
日期:2016-07-06 15:42:0715-16赛季CBA联赛之同曦
日期:2016-06-12 10:38:0915-16赛季CBA联赛之佛山
日期:2016-05-27 11:54:56黄金圣斗士
日期:2015-12-02 11:44:35白银圣斗士
日期:2015-11-25 14:32:43白银圣斗士
日期:2015-11-23 12:53:352015亚冠之布里斯班狮吼
日期:2015-10-21 16:55:482015亚冠之首尔
日期:2015-09-01 16:46:052015亚冠之德黑兰石油
日期:2015-08-31 11:39:192015亚冠之萨济拖拉机
日期:2015-08-28 21:06:5315-16赛季CBA联赛之广东
日期:2016-07-12 14:58:53
10 [报告]
发表于 2013-08-24 17:55 |只看该作者
文本多大???
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP