Chinaunix

标题: 【求助】如何控制线程/进程数量运行脚本 [打印本页]

作者: 响亮的名字 时间: 2016-03-21 14:20
标题: 【求助】如何控制线程/进程数量运行脚本
本帖最后由响亮的名字于 2016-03-21 17:12 编辑

现有千万行数据A文件，格式如下：
数据 IP
数据 IP
数据 IP
……

另有IP列表一份A文件，格式如下：
IP
IP
IP
……

现要求从A文件找出包含B文件中IP的行，输出到C文件。

我尝试过一些方法，发现自己就是个傻逼……

最后采取了这种方法，正在跑但总觉得效率太低……

#!/bin/bash
for i in `cat Bfile`
do
awk '$2=="$i"' Afile
done >Cfile

由于每次都循环匹配一个行出来，所以将就还能跑……但是想到要循环几百万次，就蛋疼不已
不知道怎么控制线程数量，只知道启用多线程，启用多线程貌似就跑死了……

作者: yjh777 时间: 2016-03-22 17:33
grep -f Bfile Afile

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)