求程序或者思路

zhangmaocun

现在有一个大文本文件，对文本文件的每行进行相关的处理后，输出到一个文本中去，
现在中间的处理过程需要消耗大量的时候，怎么处理才能使处理过程时间大大缩短，
求程序~~

picbhan

没人知道你所谓的中间处理是什么处理，也不知道这些处理是不是都是必要的，所以怎么可能知道如何缩短时间呢？更别提程序了。

zhangmaocun

picbhan 发表于 2013-03-28 18:27
没人知道你所谓的中间处理是什么处理，也不知道这些处理是不是都是必要的，所以怎么可能知道如何缩短时间呢 ...

中间的处理过程基本上优化空间不大，就是想能不对文件进行文件拆分或者存进数组在内存中拆分，并行处理。。
就是一个文件多线程写进另一个文本的程序。。

zhangmaocun

sinian126 发表于 2013-03-28 20:50
来个 数据 或是 代码  告诉我们你要实现 什么啊

来个多线程并行处理的程序。。。

mcshell

用hadoop吧{:3_186:}  大数据 都用它。。然后加上脚本  快速解决大数据问题

zhangmaocun

mcshell 发表于 2013-03-28 21:50
用hadoop吧  大数据 都用它。。然后加上脚本  快速解决大数据问题

好像不行，这件分割匹配处理的太多了，用数据库好像不太现实。。。

mcshell

回复 8# zhangmaocun


    hadoop是一个云计算架构....

laputa73

既然已经有了文件
不明白你要多线程干什么用
直接多进程,从不同的偏移量开始读就ok了