unix多进程使用shell sort排序文件的问题

cnufo

unix下写c程序，排序文件
首先测试：
a.txt文件200多万行数据
使用sort -T /aaa -k 2 a.txt >; b.txt排序
执行11分钟

然后再测试900多个文件共1.8亿行数据，分十个进程对这些900多文件进行sort排序
结果竟然用了9个小时

按平均来说1.8亿/10/9=200万
也就是说一个进程一个小时才排一个200万行的文件
这不可能呀

什么原因呢？
难道说十个进程并不是并行的排序？
该如何提高速度？？？

谢谢

北京野狼

原帖由 "cnufo" 发表：
unix下写c程序，排序文件
首先测试：
a.txt文件200多万行数据
使用sort -T /aaa -k 2 a.txt >; b.txt排序
执行11分钟

然后再测试900多个文件共1.8亿行数据，分十个进程对这些900多文件进行sort排序
结果竟..........

900多个文件统一排序？？
那当然不是一个文件的累计，排序随着元素的增加几何增长

cnufo

不是900多个文件统一排序
是对900多个文件单个排序
比如900多个文件：A,B,C,D,E,F,G,H,I,J,K,L……
开十个进程
第一个进程排序：A,B……排完A,排B
第二个进程排序：C,D……排完C,排D
……
第十个进程排序：……

北京野狼

原帖由 "cnufo" 发表：
不是900多个文件统一排序
是对900多个文件单个排序
比如900多个文件：A,B,C,D,E,F,G,H,I,J,K,L……
开十个进程
第一个进程排序：A,B……排完A,排B
第二个进程排序：C,D……排完C,排D
……
第十个进程排序：…..........

排序是很耗内存和cpu的，几百万行的文件也得几十兆了。
同时10个大循环操作一般机器还真受不了，不如试试就1，2个进程。
拍一个写个日志，先试10个文件，应该会更快

cnufo

你的意思是开5个进程一起排序比开10个排序这900多个文件快？

北京野狼

[quote]原帖由 "cnufo"]你的意思是开5个进程一起排序比开10个排序这900多个文件快？[/quote 发表：


看你什么机器了。10个进程是多了点
而且sort命令还包括大量的i/o操作
你可以试试一个一个进程的开看看cpu和内存的使用量，看是什么时候cpu到100%

cnufo

一共12个CPU
hp

FH

原帖由 "cnufo" 发表：
一共12个CPU
hp

要在过程中不断调整并监控，才能知道瓶颈。
我觉得瓶颈可能在IO上

cnufo

请问楼上，该如何调整、监控？
请详细些
谢谢

另外，如果在IO上应该怎么解决？

北京野狼

原帖由 "cnufo" 发表：
请问楼上，该如何调整、监控？
请详细些
谢谢

另外，如果在IO上应该怎么解决？

你一个进程一个进程的开，不就是了。
什么时候cpu到了高水平就是出问题了。也看看是不是每个cpu都用上了
用sort命令没法调整io