130W的文件分类脚本求优化

very_99

现有邮件备份大约130W以上的邮件，需要更具邮件内发件人和收件人做分类，保存到不同的目录下面。

目前使用所有邮件list和所有用户list，用2个for做这个文件循环查询。    第一个for是查邮件list，第二个for是查用户list，因为用户数毕竟少的多了。

然后发现4cor的cpu，其中只能使用到一个core，而且几乎占满了，其他3个空闲。 脚本无法重复运行，系统响应会很慢很慢。 目前跑了1天，只完成百分之几的量。


求一下方法，如何能高效快速！！！！

personball

回复 1# very_99


    最多多开几个进程去后台执行，可以分割下待处理的资源，进程对不同部分进行处理

另外提醒下：循环体内的代码最好少涉及io，不然再怎么优化代码也会慢死，最好先提取一下文件关键信息，做完分类后再根据分类结果去做IO方面的事

very_99

放后台也无法并发运行，单个cpu占用马上100%  系统异常慢。

1. for  所有邮件list文件
   
2. do
   
3.    for  所有用户list
   
4.      do  grep 发信用户 如果在邮件内容里  就 cp 到特定目录
   
5. 
   
6. done
   
7. done
   

复制代码

jils2013

1：这样的逻辑比较难受，下面的awk的类似逻辑，读一遍userlist，就可以了；

1. awk 'BEGIN{while(getline<userlistfile){diretory[user]=xxxxx;}}{xxxxxxx}' maillist

复制代码

2：还有就是2楼的建议，IO的操作最好可以集中完成，并且尽量的少；

very_99

jils2013 发表于 2012-06-27 16:09
1：这样的逻辑比较难受，下面的awk的类似逻辑，读一遍userlist，就可以了；2：还有就是2楼的建议，IO的操作 ...

读一遍的可以理解了。  遍历一遍maillist，把发送的，接收的，CC, BCC 的都处理一下。 这样比较好，

very_99

一个邮件内 发送人的好写了。

收件人是多人的话，语句怎么搞啊？


收件人是多人时候，是在一行的 用；做间隔
cc是多人的时候， 是多行的。

very_99

邮件内内容格式为：

1. *************
   
2. *****************
   
3. From:= FSDFDSsdfxfsadffdsfdsf <sender@xxx.com>
   
4. To:= <d@com;e@com:f@com>
   
5. Cc:= <a@xxx.com>;
   
6.          <b@xxx.com>
   
7. ***************8
   
8. *****************
   
9. ***********88
   

复制代码

damcool

把两个for的完整代码贴出来看看