多个进程把日志记录在同一个文件的问题

linuxiang

一个程序有多个进程，父子进程都以O_APPEND方式打开同一个日志文件，用系统调用write向文件写入一条日志，像这种没有进程间相互协调，会不会出现日志信息混乱的情况（一个进程的日志写入一半后出现另一进程的日志）。
写了个小程序测试了一下，很简单的两个进程，大家看看，这个程序没有出现信息混乱的情况。可能因为写入的信息太少，没有发生在日志写到一半的时候出现进程间切换。

1. 
   
2. #include <unistd.h>
   
3. #include <stdio.h>
   
4. #include <string.h>
   
5. #include <sys/stat.h>
   
6. #include <sys/types.h>
   
7. #include <fcntl.h>
   
8. 
   
9. int main(int argc,char * argv[])
   
10. {
    
11.         int fd;
    
12.         int childpid;
    
13.         int i;
    
14.         char buf[1024];
    
15. 
    
16.         for(i=0 ;i<1; i++){
    
17.                 if(childpid = fork())
    
18.                         break;
    
19.         }
    
20. 
    
21.         if(childpid == -1){
    
22.                 perror("failed to fork\n");
    
23.                 return 1;
    
24.         }
    
25. 
    
26.         fd = open("tmp.dat",O_WRONLY|O_CREAT|O_APPEND,0666);
    
27.         if(fd < 0){
    
28.                 perror("failed to open\n");
    
29.                 return 1;
    
30.         }
    
31.         if(childpid > 0){
    
32.                 memset(buf,0,1024);
    
33.                 strcpy(buf,"1111111111111111111111111111111111111111111111111111111111111111111111111111111111
    
34. 1111111111111111111111111111111111111111111111111111111");
    
35.                 strcat(buf,"\n");
    
36.                 for(i=0; i<100000; i++){
    
37.                         usleep(1000);
    
38.                         write(fd,buf,strlen(buf));
    
39.                 }
    
40.         }else{
    
41.                 memset(buf,0,1024);
    
42.                    strcpy(buf,"2222222222222222222222222222222222222222222222222222222222222222222222222222222222
    
43. 222222222222222222222222222222222222222222222222222222");
    
44.                 strcat(buf,"\n");
    
45.                 for(i=0; i<100000; i++){
    
46.                         usleep(1000);
    
47.                         write(fd,buf,strlen(buf));
    
48.                 }
    
49. 
    
50.         }
    
51. 
    
52.         close(fd);
    
53.         return 0;
    
54. }
    
55. 
    

复制代码

[ 本帖最后由 linuxiang 于 2006-8-3 23:46 编辑 ]

isnowran

write 并非原子操作，当然会出现交叉的情况

narkissos

不会，read和write是系统调用，是原子操作。放心用吧。如果用fread和fwrite就要小心了，因为glibc有一个进程内的buffer，会造成数据不完整。

wenlq

偶单位有个系统开始也是这种方式，append打开写，关闭。说io太高，后来改成写消息队列，单独一个进程循环读队列写日志文件。io确实小了很多。

思一克

不会。

read, write 可以认为是原子的。中间不会被打断。写LOG是APPEND，无数进程不会乱。
当如果你自己写LOG，必须一个记录一个write调用写入。如果2次以上write调用一个记录就会交错。

isnowran

原帖由 思一克 于 2006-8-4 08:32 发表
不会。

read, write 可以认为是原子的。中间不会被打断。写LOG是APPEND，无数进程不会乱。
当如果你自己写LOG，必须一个记录一个write调用写入。如果2次以上write调用一个记录就会交错。

老大，如果日志是在nfs或是磁带上，还能认为是原子的吗？一个程序，总不能挑文件系统吧？

isjfk

还是用守护进程+消息队列的方式比较理想，可以充分利用缓存减少 IO。


PS: 我一直比较欣赏微内核+消息传递的操作系统

思一克

你说的到可以考虑。

有一点，read write 是原子的，对于磁盘，pipe, sock等都是。许多著名的程序都是基于这一点。
比如qmail系统，它100个进程用write写一个pipe发命令，如果某个write会被其他write打断，那系统就崩溃。

不会“被其它write打断”。
至于被别的事件是可能打断的，但这不妨碍write的原子性，因为没有被其他write打断，数据不会交错。

至于TAPE上，TAPE是顺序设备，更应该没有问题。
NFS，你能证明有问题吗。我不肯定是否。

原帖由 isnowran 于 2006-8-4 09:32 发表

老大，如果日志是在nfs或是磁带上，还能认为是原子的吗？一个程序，总不能挑文件系统吧？

isnowran

？我记忆中原子操作只有sync，open，fcntl，dup以及锁等等为数不多的函数，从来没有印象书中说过write、read也是原子操作，我先去查查。。。

思一克

to isnowran,

那你的印象可能不对。

系统调用对于系统调用应该是“原子”的。例如100个P 同时write 一个文件，当P1 正在KERNEL中write时，P2的write一定不可能打断在KERNEL中的P1。如果理解KERNEL的调度，进程切换的方式和时机，对理解这个有帮助。