12 / 2 页下一页

论坛徽章:: 18

电梯直达

1楼 [收藏(0)] [报告]

发表于 2016-09-06 04:19 |只看该作者 |倒序浏览

5可用积分

本帖最后由 bikkuri 于 2016-09-06 04:21 编辑

大家好，我有一个问题向大家请教。
有大量文件，内容是IP地址和机器名的对应关系。
例如以下是一个样本sample1：
66.241.106.180  mirror1.centos.org
101.70.152.37 www.weather.com.cn
106.187.93.85 www.pm25x.com
112.124.140.210 mirrors.aliyun.com
120.25.63.41 coolmoon
45.32.13.160 tokyo
185.122.57.125  london
以下是另一个样本sample2：
127.0.0.1 localhost
106.187.93.86 www.pm25x.com
101.70.152.37 www.weather.com.cn
66.241.106.180  mirror2.centos.org
120.25.63.41 alex
54.215.223.83 wang
现在希望将所有文件中的内容整合到一个文件，要求如下：
IP地址相同的，以最后出现的机器名为准；
新出现的IP，直接添加到汇总文件的最后。
例如以上两个样本汇总后的结果应该是：
66.241.106.180  mirror2.centos.org
101.70.152.37 www.weather.com.cn
106.187.93.85 www.pm25x.com
112.124.140.210 mirrors.aliyun.com
120.25.63.41 alex
45.32.13.160 tokyo
185.122.57.125  london
127.0.0.1 localhost
106.187.93.86 www.pm25x.com
54.215.223.83 wang
谢谢大家！

文库|博客

moperyblue

大富大贵

论坛徽章:: 28

2楼 [报告]

发表于 2016-09-06 08:28 |只看该作者

本帖最后由 moperyblue 于 2016-09-06 10:04 编辑

awk '!a[$1]++{b[++c]=$1}{d[$1]=$2}END{for(;i++<c;)print b[i],d[b[i]]}' simple1 simple2

复制代码

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

elu_ligao

腰缠万贯

论坛徽章:: 29

3楼 [报告]

发表于 2016-09-06 09:14 |只看该作者

awk '!a[$1]{b[++i]=$1}{a[$1]=$0}END{for(k=1;k<=i;++k)print a[b[k]]}'

复制代码

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

jason680

富可敌国

论坛徽章:: 145

4楼 [报告]

发表于 2016-09-06 09:18 |只看该作者

$ awk '{if(!a[$1]++)b[++c]=$1;d[$1]=$2}END{for(n=1;n<=c;++n)print b[n],d[b[n]]}' s1 s2
66.241.106.180 mirror2.centos.org
101.70.152.37 www.weather.com.cn
106.187.93.85 www.pm25x.com
112.124.140.210 mirrors.aliyun.com
120.25.63.41 alex
45.32.13.160 tokyo
185.122.57.125 london
127.0.0.1 localhost
106.187.93.86 www.pm25x.com
54.215.223.83 wang

复制代码

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

zxy877298415

小富即安

论坛徽章:: 30

5楼 [报告]

发表于 2016-09-06 09:42 |只看该作者

回复 1# bikkuri

awk 'FNR==NR{a[$1]=$2;c[$1]=1;next}{if(c[$1]) {delete a[$1];b[$0]} else {t=t?t"\n"$0:$0}}END{for(i in a) print i,a[i];for(i in b) print i,b[i];print t}' sample1 sample2

复制代码

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

fh21_xuejinlian

家境小康

论坛徽章:: 1

6楼 [报告]

发表于 2016-09-06 10:20 |只看该作者

awk 'NR==FNR{a[$1]=$2;next}{a[$1]=$2}END{for(i in a)print i,a[i]}' file1 file2

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

本友会机友会摄友会本友会机友会摄友会当前离线禁止发言好友博客消息论坛徽章: 0	7楼 [报告] 发表于 2016-09-06 18:51 \|只看该作者提示: 作者被禁止或删除内容自动屏蔽
	实战分享：从技术角度谈机器学习入门\| 【大话IT】RadonDB低门槛向MySQL集群下战书 \| ChinaUnix打赏功能已上线！ \| 新一代分布式关系型数据库RadonDB知多少？

bikkuri

家境小康

论坛徽章:: 18

8楼 [报告]

发表于 2016-09-07 06:19 |只看该作者

非常感谢大家的帮助。
能不能再将所有文件中相同IP但不同机器名的内容汇总到另外一个文件。
例如以上两个样本汇总后的结果应该是：
66.241.106.180  mirror1.centos.org
66.241.106.180  mirror2.centos.org
120.25.63.41       coolmoon
120.25.63.41       alex
谢谢大家！

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

moperyblue

大富大贵

论坛徽章:: 28

9楼 [报告]

发表于 2016-09-07 08:22 |只看该作者

本帖最后由 moperyblue 于 2016-09-07 12:00 编辑

awk 'a[$1]++{b[++c]=$1}{if(d[$1]){if(d[$1]==$0){delete d[$1];next};d[$1]=d[$1] RS $0}else{d[$1]=$0}}END{for(;i++<c;)if(d[b[i]])print d[b[i]]}' simple1 simple2

复制代码

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

elu_ligao

腰缠万贯

论坛徽章:: 29

10楼 [报告]

发表于 2016-09-07 09:16 |只看该作者

sort 1 > 11
sort 2 > 22
join 11 22 | awk '$2!=$3&&$2=$2"\n"$1'

复制代码

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

12 / 2 页下一页

返回列表

Chinaunix › 论坛 › 程序设计 › Shell › 文本求助-内容汇总更新去重

[文本处理] 文本求助-内容汇总更新去重 [复制链接]