免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Shell › 统计频率
12
最近访问板块 发新帖
楼主: catloverat99
打印 上一主题 下一主题

[文本处理] 统计频率 [复制链接]

catloverat99

论坛徽章:
1
程序设计版块每日发帖之星 日期:2015-10-29 06:20:00
11楼 [报告]
发表于 2015-10-26 14:20 |只看该作者
回复 8# zxy877298415


   新文件第一行是id,大文件中还有许多id，每个ID前面都有个>
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
catloverat99

论坛徽章:
1
程序设计版块每日发帖之星 日期:2015-10-29 06:20:00
12楼 [报告]
发表于 2015-10-26 14:45 |只看该作者
回复 8# zxy877298415


    >g1_ENSRNOG00000013436_451a  0 -1 g1_ENSRNOG00000013436_451a Yes 新文件第一行是id，g1_ENSRNOG00000013436_451a 后面都是没用的。原始文件包括了很多>id
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
haooooaaa

论坛徽章:
54
2015亚冠之德黑兰石油 日期:2015-07-07 13:00:1615-16赛季CBA联赛之深圳 日期:2016-03-31 09:03:5415-16赛季CBA联赛之辽宁 日期:2016-05-09 20:38:15程序设计版块每日发帖之星 日期:2016-05-12 06:20:0015-16赛季CBA联赛之四川 日期:2016-05-13 15:19:4715-16赛季CBA联赛之福建 日期:2016-05-15 20:24:34每日论坛发贴之星 日期:2016-05-16 06:20:0015-16赛季CBA联赛之吉林 日期:2016-05-26 11:49:4715-16赛季CBA联赛之广东 日期:2016-05-26 13:49:18极客徽章 日期:2016-12-07 14:05:2315-16赛季CBA联赛之广夏 日期:2016-12-20 17:33:532017金鸡报晓 日期:2017-01-10 15:19:56
13楼 [报告]
发表于 2015-10-26 14:51 |只看该作者
本帖最后由 haooooaaa 于 2015-10-26 14:55 编辑
  1. awk 'function g(){print c;for(i in a)print i,a[i];delete a}/^>/{if(c)g();c=$0;next}NF{a[$1]++}END{g()}' a
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
zxy877298415

论坛徽章:
30
申猴 日期:2014-04-10 09:43:532015年亚洲杯纪念徽章 日期:2015-03-20 14:40:232015亚冠之阿尔纳斯尔 日期:2015-06-02 18:59:042015亚冠之阿尔希拉尔 日期:2015-06-30 15:22:572015亚冠之大阪钢巴 日期:2015-07-20 10:44:332015亚冠之阿尔纳斯尔 日期:2015-10-28 14:57:5215-16赛季CBA联赛之新疆 日期:2015-12-25 10:18:45黑曼巴 日期:2016-06-26 21:39:5315-16赛季CBA联赛之山西 日期:2016-07-25 21:54:2715-16赛季CBA联赛之北京 日期:2016-10-27 12:07:2315-16赛季CBA联赛之八一 日期:2017-07-07 16:39:0915-16赛季CBA联赛之吉林 日期:2017-09-04 12:14:43
14楼 [报告]
发表于 2015-10-26 14:53 |只看该作者
回复 12# catloverat99
那就从6开始！
awk -v RS=">" 'NR>1{print ">"$1;for(i=6;i<=NF;i+=6) {a[$i]++} for(i in a) {print i,a} delete a;}' file2
>g1_ENSRNOG00000013436_451a
V$MYB_Q4 1
V$CDX2_01 2
V$YY1_Q6_03 2
V$CHCH_01 2
V$CPBP_Q6 1
V$GKLF_Q4 1
V$TBX5_01 2
V$CDX2_Q5_02 1
V$TATA_01 1
V$RFX_Q6 1
V$MYB_05 1
V$FREAC3_01 1
V$RFX1_01 1
V$AIRE_01 1
V$TEF1_Q6_04 1
V$BBX_04 2
V$SMAD4_Q6_01 1
V$IK_Q5_01 2
V$NANOG_01 2
V$GFI1_Q6_01 1


   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
catloverat99

论坛徽章:
1
程序设计版块每日发帖之星 日期:2015-10-29 06:20:00
15楼 [报告]
发表于 2015-10-26 15:07 |只看该作者
回复 13# haooooaaa


谢谢，太棒了！


   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
catloverat99

论坛徽章:
1
程序设计版块每日发帖之星 日期:2015-10-29 06:20:00
16楼 [报告]
发表于 2015-10-26 15:08 |只看该作者
回复 14# zxy877298415

非常感谢，这次可以了


   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
sync_1521

论坛徽章:
12
IT运维版块每日发帖之星 日期:2015-11-17 06:20:00程序设计版块每日发帖之星 日期:2016-01-19 06:20:0015-16赛季CBA联赛之江苏 日期:2016-01-17 15:31:3915-16赛季CBA联赛之上海 日期:2016-01-16 15:44:3015-16赛季CBA联赛之浙江 日期:2016-01-15 20:38:1815-16赛季CBA联赛之北京 日期:2016-01-09 14:30:15CU十四周年纪念徽章 日期:2016-01-07 12:31:5115-16赛季CBA联赛之四川 日期:2016-01-01 11:49:1515-16赛季CBA联赛之深圳 日期:2015-12-24 14:23:4115-16赛季CBA联赛之山西 日期:2015-12-15 16:22:31技术图书徽章 日期:2015-12-10 17:41:0015-16赛季CBA联赛之北控 日期:2016-02-03 10:03:24
17楼 [报告]
发表于 2015-10-26 15:31 |只看该作者
awk '/>g/{m=$0;a[m];next}!/^$/{b[m,$1]++}END{for(i in a){print i;for(j in b){split(j,c,SUBSEP);if(c[1]==i){print c[2],b[j]}}}}' file
虽然比他们的复杂，可是也是个思路
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
catloverat99

论坛徽章:
1
程序设计版块每日发帖之星 日期:2015-10-29 06:20:00
18楼 [报告]
发表于 2015-10-26 15:35 |只看该作者
回复 17# sync_1521


    都是牛人：）
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
聆雨淋夜

论坛徽章:
22
处女座 日期:2014-10-11 13:33:292015亚冠之塔什干火车头 日期:2015-07-20 19:59:042015亚冠之塔什干火车头 日期:2015-07-26 10:59:31程序设计版块每日发帖之星 日期:2015-08-05 06:20:00每日论坛发贴之星 日期:2015-08-05 06:20:00程序设计版块每日发帖之星 日期:2015-08-07 06:20:00每日论坛发贴之星 日期:2015-08-07 06:20:002015亚冠之阿尔纳斯尔 日期:2015-10-01 15:23:28白银圣斗士 日期:2015-12-07 17:17:06操作系统版块每日发帖之星 日期:2015-12-27 06:20:002015亚冠之广州富力 日期:2015-07-08 15:48:31程序设计版块每日发帖之星 日期:2015-06-11 22:20:00
19楼 [报告]
发表于 2015-10-26 19:30 |只看该作者
大家的思路差不多
awk '/^>g/{print $0;next}{if($0~/^$/){for(i in a)print i,a[i];delete a}else a[$1]++}END{for(i in a)print i,a[i]}' file
>g1
V$FREAC3_01 1
V$CHCH_01 1
V$AP2ALPHA_03 2
V$P53_04 2
V$ZFP161_04 3
>g2
V$CREBP1_01 2
V$CDX2_01 1
V$SOX10_Q3 1
V$SOX2_Q3_01 1
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
12
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP