免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 1150 | 回复: 1
打印 上一主题 下一主题

[文本处理] 【求助】如何控制线程/进程数量运行脚本 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2016-03-21 14:20 |只看该作者 |倒序浏览
本帖最后由 响亮的名字 于 2016-03-21 17:12 编辑

现有千万行数据A文件,格式如下:
数据 IP
数据 IP
数据 IP
……

另有IP列表一份A文件,格式如下:
IP
IP
IP
……

现要求从A文件找出包含B文件中IP的行,输出到C文件。

我尝试过一些方法,发现自己就是个傻逼……

最后采取了这种方法,正在跑但总觉得效率太低……

#!/bin/bash
for i in `cat Bfile`
do
awk '$2=="$i"' Afile
done >Cfile

由于每次都循环匹配一个行出来,所以将就还能跑……但是想到要循环几百万次,就蛋疼不已
不知道怎么控制线程数量,只知道启用多线程,启用多线程貌似就跑死了……

论坛徽章:
84
每日论坛发贴之星
日期:2015-12-29 06:20:00每日论坛发贴之星
日期:2016-01-16 06:20:00每周论坛发贴之星
日期:2016-01-17 22:22:00程序设计版块每日发帖之星
日期:2016-01-20 06:20:00每日论坛发贴之星
日期:2016-01-20 06:20:00程序设计版块每日发帖之星
日期:2016-01-21 06:20:00每日论坛发贴之星
日期:2016-01-21 06:20:00程序设计版块每日发帖之星
日期:2016-01-23 06:20:00程序设计版块每日发帖之星
日期:2016-01-31 06:20:00数据库技术版块每日发帖之星
日期:2016-01-16 06:20:00程序设计版块每日发帖之星
日期:2016-01-16 06:20:00程序设计版块每日发帖之星
日期:2016-01-14 06:20:00
2 [报告]
发表于 2016-03-22 17:33 |只看该作者
grep -f Bfile Afile
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP