免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 3860 | 回复: 11

[文本处理] AWK多次分割一行数据的问题 [复制链接]

论坛徽章:
3
15-16赛季CBA联赛之辽宁
日期:2017-12-28 12:15:1015-16赛季CBA联赛之福建
日期:2017-12-28 12:26:5115-16赛季CBA联赛之新疆
日期:2018-03-07 15:09:17
发表于 2017-09-14 18:00 |显示全部楼层
ATR    hsa03460:Fanconi anemia pathway,hsa04110:Cell cycle,hsa04115:p53 signaling pathway,hsa05166:HTLV-I infection

我有一些很规范的数据,如上所示,
我想用第一层,以tab键为FS,将这行的数据分割成两部分,第一部分,ATR赋值给一个变量v_gene,

在的第二层,处理第一层的第二部分,hsa03460:Fanconi anemia pathway,hsa04110:Cell cycle,hsa04115:p53 signaling pathway,hsa05166:HTLV-I infection,以,为FS
分割成
hsa03460:Fanconi anemia pathway
hsa04110:Cell cycle
hsa04115:p53 signaling pathway
hsa05166:HTLV-I infection
四部分,

最后以:为分割符,将上面切割好的4组数据再次切割,
第一部分赋值个v_hsa,第二部分赋值给v_pathway

再这里把变量答应出来
printf v_gene,v_hsa,v_pathway


这个可用AWK实现吗?给个思路

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
发表于 2017-09-14 19:04 |显示全部楼层
本帖最后由 moperyblue 于 2017-09-15 10:09 编辑
  1. awk '{match($0,/(\S+)\s+(.*)/,a);v_gene=a[1];l=split(a[2],b,",");for(i=1;i<=l;i++){split(b[i],c,":");v_hsa=c[1];v_pathway=c[2];print v_gene,v_hsa,v_pathway}}' OFS=,
复制代码

论坛徽章:
25
程序设计版块每日发帖之星
日期:2016-05-03 06:20:0015-16赛季CBA联赛之八一
日期:2018-07-05 10:34:09黑曼巴
日期:2018-07-06 15:19:5015-16赛季CBA联赛之佛山
日期:2018-08-03 13:19:3315-16赛季CBA联赛之山西
日期:2018-08-07 19:46:2315-16赛季CBA联赛之广夏
日期:2018-08-08 19:31:5015-16赛季CBA联赛之青岛
日期:2018-11-26 15:21:5015-16赛季CBA联赛之上海
日期:2018-12-11 09:45:3219周年集字徽章-年
日期:2020-04-18 23:54:5215-16赛季CBA联赛之深圳
日期:2020-04-19 21:40:19黑曼巴
日期:2022-04-03 17:55:1315-16赛季CBA联赛之八一
日期:2018-07-03 16:56:46
发表于 2017-09-14 21:39 |显示全部楼层
回复 1# XQKA


文件1内容如下:
ATR        hsa03460:Fanconi anemia pathway,hsa04110:Cell cycle,hsa04115:p53 signaling pathway,hsa05166:HTLV-I infection

  1. awk '{s=split($0,t,"[\t:,]");v_gene=t[1];for(i=2;i<=s;i+=2){v_hsa=t[i];v_pathway=t[i+1];print v_gene,v_hsa,v_pathway}}' 1
复制代码


输出:
ATR hsa03460 Fanconi anemia pathway
ATR hsa04110 Cell cycle
ATR hsa04115 p53 signaling pathway
ATR hsa05166 HTLV-I infection

论坛徽章:
3
15-16赛季CBA联赛之辽宁
日期:2017-12-28 12:15:1015-16赛季CBA联赛之福建
日期:2017-12-28 12:26:5115-16赛季CBA联赛之新疆
日期:2018-03-07 15:09:17
发表于 2017-09-15 09:57 |显示全部楼层
回复 3# wh7211

厉害了!
思路精妙啊,不管啥分隔符,统统分隔符。

[root@Dev-Mysql tmp]# cat 372gene_pathway_OK.txt | tail -1 | awk '{s=split($0,t,"[\t:,]");print "s="s"\n","t1="t[1]"\n","t2="t[2]"\n","t3="t[3]"\n","t4="t[4]"\n","t5="t[5]"\n","t6="t[6]"\n","t7="t[7]"\n","t8="t[8]}'
s=9
t1=VHL
t2=hsa04066
t3=HIF-1 signaling pathway
t4=hsa04120
t5=Ubiquitin mediated proteolysis
t6=hsa05200
t7=Pathways in cancer
t8=hsa05211

论坛徽章:
3
15-16赛季CBA联赛之辽宁
日期:2017-12-28 12:15:1015-16赛季CBA联赛之福建
日期:2017-12-28 12:26:5115-16赛季CBA联赛之新疆
日期:2018-03-07 15:09:17
发表于 2017-09-15 09:57 |显示全部楼层
回复 3# wh7211

感谢感谢,另外2楼的我没试出来

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
发表于 2017-09-15 10:09 |显示全部楼层
本帖最后由 moperyblue 于 2017-09-15 10:18 编辑

[code][/code]

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
发表于 2017-09-15 10:17 |显示全部楼层
本帖最后由 moperyblue 于 2017-09-15 10:19 编辑

[code][/code]

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
发表于 2017-09-15 10:20 |显示全部楼层
回复 5# XQKA
  1. more urfile
复制代码
  1. ATR     hsa03460:Fanconi anemia pathway,hsa04110:Cell cycle,hsa04115:p53 signaling pathway,hsa05166:HTLV-I infection
复制代码
  1. awk '{match($0,/(\S+)\s+(.*)/,a);v_gene=a[1];l=split(a[2],b,",");for(i=1;i<=l;i++){split(b[i],c,":");v_hsa=c[1];v_pathway=c[2];print v_gene,v_hsa,v_pathway}}' OFS=, urfile
复制代码
  1. ATR,hsa03460,Fanconi anemia pathway
  2. ATR,hsa04110,Cell cycle
  3. ATR,hsa04115,p53 signaling pathway
  4. ATR,hsa05166,HTLV-I infection
复制代码




论坛徽章:
3
15-16赛季CBA联赛之辽宁
日期:2017-12-28 12:15:1015-16赛季CBA联赛之福建
日期:2017-12-28 12:26:5115-16赛季CBA联赛之新疆
日期:2018-03-07 15:09:17
发表于 2017-09-15 11:07 |显示全部楼层
回复 8# moperyblue

是不是版本差异?

  1. [root@Dev-Mysql tmp]# tail -1 372gene_pathway_OK.txt >myfile.txt
  2. [root@Dev-Mysql tmp]# awk '{match($0,/(\S+)\s+(.*)/,a);v_gene=a[1];l=split(a[2],b,",");for(i=1;i<=l;i++){split(b[i],c,":");v_hsa=c[1];v_pathway=c[2];print v_gene,v_hsa,v_pathway}}' OFS=, myfile.txt
  3. [root@Dev-Mysql tmp]# awk '{s=split($0,t,"[\t:,]");v_gene=t[1];for(i=2;i<=s;i+=2){v_hsa=t[i];v_pathway=t[i+1];print v_gene,v_hsa,v_pathway}}' myfile.txt
  4. VHL hsa04066 HIF-1 signaling pathway
  5. VHL hsa04120 Ubiquitin mediated proteolysis
  6. VHL hsa05200 Pathways in cancer
  7. VHL hsa05211 Renal cell carcinoma
  8. [root@Dev-Mysql tmp]# awk -W version | head -1
  9. GNU Awk 3.1.7
复制代码

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
发表于 2017-09-15 11:46 |显示全部楼层
回复 9# XQKA


版本问题
awk --version|sed q
GNU Awk 4.0.1
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP