免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: fcbqs1989
打印 上一主题 下一主题

[文本处理] 请问一下如何用awk合并下面2个文件 [复制链接]

论坛徽章:
5
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:50:282015年亚洲杯之朝鲜
日期:2015-03-13 22:47:33IT运维版块每日发帖之星
日期:2016-01-09 06:20:00IT运维版块每周发帖之星
日期:2016-03-07 16:27:44
11 [报告]
发表于 2013-01-26 11:04 |只看该作者
本帖最后由 blackold 于 2013-01-26 11:08 编辑

回复 10# fcbqs1989


    可以实现,不过速度肯定要慢了。

论坛徽章:
0
12 [报告]
发表于 2013-01-26 11:06 |只看该作者
回复 11# blackold


慢不打紧,总比我用其他方法几个小时快吧~~~


请赐教~~~这个问题困扰很久了。

论坛徽章:
0
13 [报告]
发表于 2013-01-26 11:27 |只看该作者
回复 11# blackold



在线求答案~~~

谢谢啊~~~

论坛徽章:
5
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:50:282015年亚洲杯之朝鲜
日期:2015-03-13 22:47:33IT运维版块每日发帖之星
日期:2016-01-09 06:20:00IT运维版块每周发帖之星
日期:2016-03-07 16:27:44
14 [报告]
发表于 2013-01-26 11:38 |只看该作者
本帖最后由 blackold 于 2013-01-26 11:40 编辑

回复 13# fcbqs1989
  1. $ awk 'NR==FNR {a[$1,$2,$3]=$4;next}{for(i in a){split(i,t,SUBSEP);if( t[1]-$1 >-0.5 && t[1]-$1 < 0.5 && t[2]-$2 >-0.5 && t[2]-$2<0.5 && t[3]-$3>-0.5 && t[3]-$3<0.5) {print $0,a[i];break;}}}' b.txt a.txt
复制代码
汗,awk没有绝对值函数?

论坛徽章:
0
15 [报告]
发表于 2013-01-26 11:50 |只看该作者
回复 14# blackold


{:3_205:}

比matlab还慢。。。

晕了

论坛徽章:
5
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:50:282015年亚洲杯之朝鲜
日期:2015-03-13 22:47:33IT运维版块每日发帖之星
日期:2016-01-09 06:20:00IT运维版块每周发帖之星
日期:2016-03-07 16:27:44
16 [报告]
发表于 2013-01-26 11:52 |只看该作者
回复 15# fcbqs1989


    数据太大的话,效率马上下来了。


  解决的方法:根据你的数据特征来调整方法。

论坛徽章:
0
17 [报告]
发表于 2013-01-26 11:58 |只看该作者
回复 16# blackold


哦,c啊,matlab啊,之类的,都很慢。
后来写了个cuda的c code,gpu处理200万行的数据也还是要2个小时的样子。

其实也就是个排序的问题。但就是实在想不出更快的方法了。

对了,可以只对小数点前面的字符做对比么?

实在是因为对awk处理多个文件的功能不熟。

您觉得可以实现么?

论坛徽章:
5
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:50:282015年亚洲杯之朝鲜
日期:2015-03-13 22:47:33IT运维版块每日发帖之星
日期:2016-01-09 06:20:00IT运维版块每周发帖之星
日期:2016-03-07 16:27:44
18 [报告]
发表于 2013-01-26 12:14 |只看该作者
回复 17# fcbqs1989


    可以。

   另外,perl 实现应该更快。

   你可以根据你的数据特点,修改代码。

论坛徽章:
0
19 [报告]
发表于 2013-01-26 12:23 |只看该作者
回复 18# blackold



哦,没用过perl~~

对了,您能帮我实现下刚才的那个不?就是对比小数点前面的数字。谢谢~~

另外,我打算先把a,b文件里面的(x,y,z)全部四舍五入取整了,然后用你给的第一个code, 然后取出最后一列,paste到a 文件的第4列。。。。。

论坛徽章:
5
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:50:282015年亚洲杯之朝鲜
日期:2015-03-13 22:47:33IT运维版块每日发帖之星
日期:2016-01-09 06:20:00IT运维版块每周发帖之星
日期:2016-03-07 16:27:44
20 [报告]
发表于 2013-01-26 12:26 |只看该作者
回复 19# fcbqs1989


    可以啊。你可以先把小数点后面的去掉,之前用前面的代码就可以了。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP