如何提高读文件效率?

mikenoodle

应用是把一些文件（有大有小，最大可达１Ｇ以上）通过ＵＤＰ包发出去
我试过以下几种方法：
1.fread(假设1000B)后send(假设1000B)
2.fread(假设10000B)后send(假设1000B)
3.一个线程fread，一个线程send
4.内存映射

结果：
1和2速度差不多，
3要快一些，但也快不了多少，4忘了，但好像在处理大文件时比较慢

实现上1，2，4相对简单，3要麻烦些

请问还有什么比较好的方法，谢谢!

web_surf

无疑采用多线程较好。但是你仍需要先确定程序的瓶颈在哪里。如果是读文件，可考虑内存映射；如果是发送网络包，可考虑压缩网络数据。。。

MMMIX

原帖由 mikenoodle 于 2008-8-11 15:38 发表
应用是把一些文件（有大有小，最大可达１Ｇ以上）通过ＵＤＰ包发出去
我试过以下几种方法：
1.fread(假设1000B)后send(假设1000B)
2.fread(假设10000B)后send(假设1000B)

读取的单位最好是按照 page size 来，例如以 4K 为单位。

MMMIX

原帖由 web_surf 于 2008-8-11 16:54 发表
但是你仍需要先确定程序的瓶颈在哪里。

嗯，过早考虑优化不是什么好主意。

mikenoodle

好像是有这么一个说法，不过fread不是带缓冲的么，它向下读时就按最优的大小读了吧
另外，由于网络协议规定，发包时大小是1000，那么按4k来读，就变成了第2种了方法了，经试验效率差不多

mikenoodle

程序无非就是循环读文件，发送，在发送时直接send的(两次，发双包)，10M的网卡，2410cpu，2.6内核，发送速度大约在500-510kB/s左右，估计瓶颈就是在读文件处

MMMIX

原帖由 mikenoodle 于 2008-8-12 00:26 发表
程序无非就是循环读文件，发送，在发送时直接send的(两次，发双包)，10M的网卡，2410cpu，2.6内核，发送速度大约在500-510kB/s左右，估计瓶颈就是在读文件处

做下 profiling 嘛，估计啥？

duanjigang

说远点，LZ既然目的是传文件，为啥不变通一下？
比如，如果支持FTP的话，用FTP传送，或者scp,rsync等，看看这些现成工具的效率如何
一般遇到这种很典型的问题，俺还是习惯借助系统自带工具
这几天在研究axel,等有眉目了可以讨论下能否借鉴Axel的方法

mikenoodle

偶小菜，呵呵，谢谢MMMIX大哥指点,又多学了一样东西，这就去试试

MMMIX

原帖由 duanjigang 于 2008-8-12 07:19 发表
说远点，LZ既然目的是传文件，为啥不变通一下？
比如，如果支持FTP的话，用FTP传送，或者scp,rsync等，看看这些现成工具的效率如何
一般遇到这种很典型的问题，俺还是习惯借助系统自带工具

没错，是应该先找现成工具。