免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12
最近访问板块 发新帖
楼主: bjsfeng
打印 上一主题 下一主题

awk 多个文件列合并 求高效脚本 [复制链接]

论坛徽章:
0
11 [报告]
发表于 2010-12-17 14:09 |只看该作者
本帖最后由 zang232 于 2010-12-17 14:12 编辑

paste  a.txt  b.txt  c.txt >abc.txt 不就成了!AWK?小题大做了~~

论坛徽章:
0
12 [报告]
发表于 2010-12-17 14:27 |只看该作者
paste  a.txt  b.txt  c.txt >abc.txt 不就成了!AWK?小题大做了~~
zang232 发表于 2010-12-17 14:09



    大题小做了啊 paste 无法匹配上a.txt$1  b.txt$1

论坛徽章:
0
13 [报告]
发表于 2010-12-17 14:29 |只看该作者
回复 7# jason680


PERL是个好思路
但是
报出 Modfication of non-creatable array value attempted , subscript 5699 at 1234.pl line 15, <FHin> line 1

论坛徽章:
2
射手座
日期:2014-10-10 15:59:4715-16赛季CBA联赛之上海
日期:2016-03-03 10:27:14
14 [报告]
发表于 2010-12-17 14:29 |只看该作者
本帖最后由 yinyuemi 于 2010-12-17 14:41 编辑

awk '{print $1}' 1.txt 2.txt 3.txt | sort -n|uniq > tem
awk 'NR==FNR {a[$1]=$2} NR>FNR{print $1,a[$1]}' 1.txt tem| awk 'NF<2{NF+=1;$NF=0}1'>tem1
awk 'NR==FNR {a[$1]=$2} NR>FNR {print $1,$2,a[$1]}' 2.txt tem1 | awk 'NF<3{NF+=1;$NF=0}1'>tem2
awk 'NR==FNR {a[$1]=$2} NR>FNR{print $1,$2,$3,a[$1]}' 3.txt tem2 | awk 'NF<4{NF+=1;$NF=0}1'| sed 's/ /\t/g'
rm tem*


1       456798  1233    1343
2       456764  0       1343
3       489743  1324    1324
4       0       1234    0
5       136633  0       0

论坛徽章:
0
15 [报告]
发表于 2010-12-17 14:31 |只看该作者
回复 9# ly5066113


    还有一个问题 有的时候$1起始的第一个值 可能就为很大的数 可能这个awk就有问题了

论坛徽章:
145
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
16 [报告]
发表于 2010-12-17 14:50 |只看该作者
回复  jason680


PERL是个好思路
但是
报出 Modfication of non-creatable array value attempted  ...
bjsfeng 发表于 2010-12-17 14:29


我试过Linux/windows都没问题....

你会不会忘了给(档案)参数
# perl item_combine.pl foo.*
item      foo.1      foo.2      foo.3
1         11234          0          0
2         12555      22123          0
3             0      23567      33234
4         14111      24333          0
5         15000          0          0
6             0          0      36567

# uname -a
Linux atayal-server 2.6.9-42.ELlargesmp #1 SMP Wed Jul 12 23:46:39 EDT 2006 x86_64 x86_64 x86_64 GNU/Linux

# perl -v

This is perl, v5.8.5 built for x86_64-linux-thread-multi

论坛徽章:
2
射手座
日期:2014-10-10 15:59:4715-16赛季CBA联赛之上海
日期:2016-03-03 10:27:14
17 [报告]
发表于 2010-12-17 15:14 |只看该作者
再来个,呵呵

cat 1.txt 2.txt 3.txt | awk '{print $1}' | sort -n |uniq > tem
for i in `echo 1 2 3`
do
awk 'NR==FNR{a[$1]=$2}NR>FNR{print (a[$1]?a[$1]:"0") >"tem'$i'"}' $i.txt tem
done
paste tem tem1 tem2 tem3
rm tem*

论坛徽章:
23
15-16赛季CBA联赛之吉林
日期:2017-12-21 16:39:27白羊座
日期:2014-10-27 11:14:37申猴
日期:2014-10-23 08:36:23金牛座
日期:2014-09-30 08:26:49午马
日期:2014-09-29 09:40:16射手座
日期:2014-11-25 08:56:112015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:49:0315-16赛季CBA联赛之山东
日期:2017-12-21 16:39:1915-16赛季CBA联赛之广东
日期:2016-01-19 13:33:372015亚冠之山东鲁能
日期:2015-10-13 09:39:062015亚冠之西悉尼流浪者
日期:2015-09-21 08:27:57
18 [报告]
发表于 2010-12-18 10:27 |只看该作者
本帖最后由 ly5066113 于 2010-12-18 10:31 编辑

回复 15# bjsfeng

用 GNU awk 就不会有问题了:
  1. awk 'FNR==1{n++}{a[$1","n]=$2;b[$1]=$1}END{for(i=1;i<=asort(b);i++){printf b[i];for(j=1;j<=n;j++) printf "%8s",a[b[i]","j]?a[b[i]","j]:0;print ""}}' [abc].txt
复制代码
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP