多线程如何同时读写同一个文件？

linux_c_py_php

mmap也快不起来, 普通硬盘就老实的单线程write吧, 用4KB/32KB一写可以明显提速.

folklore

回复 11# linux_c_py_php


    一直往下看贴子， 思维定势了。 这个用异步写不就可以了。 大家一起写， 等系统自动Flush（Disk Array时这个是可以多个盘同时写的）。
此外， 个人认为IO粒度自然越大越好， 而不是4K/32K。。。

linux_c_py_php

folklore 发表于 2013-02-19 19:25
回复 11# linux_c_py_php

真不是越大越好, 4KB明显快, 特别明显.

liuiang

哦，看错了。普通硬盘单线程吧，she说得对。瓶颈在io。

windoze

回复 9# folklore

目前所有主流的OS上的主流文件系统本身都支持并发写，关键是底下的块设备支不支持。单个普通硬盘显然没这个能力，就算是SSD其实也不行，因为绝大多数消费级的SSD都是单通道的。

但是我们有高档设备：
FusionIO：其实本质上就是很高档滴SSD，而且是多通道的，所以可以支持多路并发读写。
Disk Array：包含不止一块硬盘，做RAID可以让一个文件系统分布在不同的硬盘上，所以可以多路并发读写
Multi Path：就是让一个Disk Array通过多条线连接到主机，这样多条线可以负载分摊，进一步提高多路读写的性能。

总而言之，很多方法可以让你并发读写同一个文件而且很快，但是这些方案不是灰常贵就是灰常灰常贵，要么就是灰常灰常灰常贵……

linux_c_py_php

额, 怨不着公司木有这种机型, 太贵了- -..

上个项目就是写磁盘的项目, 需要在内存先按KEY缓存个1M, 等缓存堆满1M再丢给一个单线程直接做4KB一块的I/O, 杠杠的把网卡跑满了.

一开始缓存逻辑和I/O逻辑在一个线程里, 后来发现瓶颈很大, 把缓存逻辑挪到独立线程里, 通过队列交给I/O线程直接写, 这样I/O线程所有CPU都花在I/O上了, 直接high起来了.

尼玛, 多核的世界真需要好好想想了- -.

FaintKnowledge

回复 1# upfantasy


这种机制叫做记录锁，每个线程写多少数据就锁多少字节就可以了...
使用fcntl，得第三个参数flock结构

upfantasy

回复 7# linux_c_py_php

这个你说的不对，你看看迅雷下载，都是并发写的。


   

morris2600

xunlei是类似mmap的机制吧？
毕竟他面对的是众多普通的PC，无法对磁盘能力做过多假设
回复 18# upfantasy