并发读写的问题

vinciho

我有个疑问，并发读写的时候会出现文件内容为空的现象，为此我模拟了以下，如下：

#!/bin/bash

for((i=1;i<=100;i++))do
{
cp aaa bbb
if [ ! -s bbb ]; then
  echo [$i]: is none content.
fi
}&
done

执行时发现，出现不少检查bbb文件为空的现象：
[oracle@hpdl380-1 tmp]$ ./test2.sh
[17]: is none content.
[44]: is none content.
[49]: is none content.
[72]: is none content.
[79]: is none content.
[82]: is none content.


我不解：
1. 为啥会出现这种问题，难道文件系统不解决这个并发读写的问题吗？
2. 如何有效的回避这个问题？

求解！！！

waker

系统为什么要解决这个问题?只cp第100次就够了,前面99次都是白耽误工夫

vinciho

我的需求是，多个进程去更新目标文件，通过CP的方式去覆盖而更新，这多个进程可能会出现并发问题，而导致目标文件被空，进而导致后续一些问题。

vinciho

我不了解，为什么，并发读写会出现这种情况，到底那个底层的原理环节导致的？并发CP时，遇到冲突系统宁可把文件置空也不报个错，或者return一个1状态。

jason680

回复 6# vinciho

maybe you want to know what is file lock

http://en.wikipedia.org/wiki/File_locking
   

ran3guns

回复 1# vinciho


    这是linux文件系统的原因，就是这样。具体可以可以看看apue的p56 文件共享。
    解决方式就是使用同步机制。

Ace_kream

晚生个人理解。

cp实际上是调用一个子进程去执行这个复制操作。

也就是在cp没完成之前，就有可能 执行之后的 if 判断了。



如果以上成立，那就容易解释了。

比如我们把 i = 1 的cp 叫做 cp1， i = 2 的cp 叫做 cp2， 以此类推……

当cp1去复制aaa到bbb的时候，cp1会打开bbb文件，然后进行写操作。

如果能够顺利进行，当cp1写完之后 并且保存， 这时 if 进行判断， 毫无疑问echo应该不会报错。

如果cp1在写到一半的时候，这时 if 进行判断，由于bbb的锁没有释放， if 实际判断的是一个【空文件】，echo自然会报错。

如果cp1全部写完之后，if判断没报错。 这时cp2进行再次拷贝，

***我们知道cp a b， 如果b是一个已经存在的文件， 默认应该是 将a 覆盖到 b， 也就是对b文件执行w操作， 即，先将b的内容清除，再重新写***

***如果用逻辑抽象来理解cp，（我也没读过cp的源码，只是抽象的想象）cp操作应该是几种操作的抽象集合，
cp a b，（b存在）->  1.  rm b
                                2. touch b
                                3. open b
                                4. 写 a的内容 到 b
                                5. close b
其中3-5步骤应该是有锁的，就是无缝隙的。

如果cp2 执行到1-2步骤时， 1-2这个时间段，b都是【空文件】这时 if 对bbb进行判断，就是判断一个【空文件】， echo 会报错。

vinciho

非常感谢各位，我大致了解底层并发导致文件读写冲突的问题，我有想到底层锁的机制，却不知道为啥有锁的设计，却没有等待阻塞反而直接类似置空的操作呈现（不好意思，我把思维固化在数据库机制上了），可能这种情况比较少，尤其在shell的应用范围内比较少吧，还是为了兼顾性能吧。想深入还是得学习apue，谢谢各位。

我暂时通过命名管道把这个并发读写的问题解决了，大致思路是将原先并发操作的更新数据丢给管道，然后再用另一个shell循环读取管道进行串行化处理。

感谢CU！