请教linux c多线程系统日志系统的实现

20040925

同写一个文件不加锁会出问题吧？

群雄逐鹿

原帖由 wflyfox 于 2009-8-25 15:48 发表
写日志的地方比较多，竞争的机会应该蛮大的

弄个thread单独写，semaphore控制生产者消费者，
或者用两个 condition 更加方便。
log_buf开大点就可以。
这样IO的时间几乎不会有影响了

伪代码：
线程：
pthread_mutex_lock(&l);
while(1)
{
       if ( !log_buf.empty() )
       {
             log_buf.write_to_file();
             pthread_cond_signal(&full);
       }
       else
            pthread_cond_wait(&empty, &l);
}
pthread_mutex_unlock(&l);

其他thread打印log的函数
void log_printf( const char *buf, ... )
{
      ...
      pthread_mutex_lock(&l);
      while( !log_buf.has_enough_buffer() )
             pthread_cond_wait(&full, &l);
      log_buf.printf( buf, va_args );
      pthread_mutex_unlock(&l);

      pthread_cond_signal(&empty);
}

思一克

原帖由 gawk 于 2009-8-25 14:51 发表

我是这样用的
搞了个日志缓冲循环表
循环写，只要保证每次调用写日志函数时，缓冲表的索引不重复，就没问题了
这样日志也不会丢，用的挺爽的

我用了多少年也没有问题。
原理上APPEND方式的文件写是原子操作。根本不会有交叉混乱发生。

思一克

原帖由 20040925 于 2009-8-25 16:01 发表
同写一个文件不加锁会出问题吧？

不会的。

zhoubug

原帖由 20040925 于 2009-8-25 16:01 发表
同写一个文件不加锁会出问题吧？

同写一个文件 多次打开不同描述符应该是没问题的 前提是APPEND+write这两个条件,这个在很早前讨论write的原子性是有帖子可以看下。想问下思一克，如果是同一个描述符用write不加锁的情况。这两天看apache的代码看到它在write的时候，多线程write同一个文件句柄也是不枷锁的。我现在的理解是，只要不用带缓冲的函数，APPEND方式打开文件，对同一个句柄write也是没问题的。请教下。

思一克

原帖由 zhoubug 于 2009-8-25 16:24 发表

同写一个文件 多次打开不同描述符应该是没问题的 前提是APPEND+write这两个条件,这个在很早前讨论write的原子性是有帖子可以看下。想问下思一克，如果是同一个描述符用write不加锁的情况。这两天看apache的代 ...

我的做法就是有LOG要写了就APPEND打开，写LOG后就关闭。

消失在地平线

点错了~~给了某人一蛋蛋

思一克

原帖由 zhoubug 于 2009-8-25 16:24 发表

同写一个文件 多次打开不同描述符应该是没问题的 前提是APPEND+write这两个条件,这个在很早前讨论write的原子性是有帖子可以看下。想问下思一克，如果是同一个描述符用write不加锁的情况。这两天看apache的代 ...

这个我不是很清楚。可以写个程序实验看。
估计是。

cookis

原帖由 wflyfox 于 2009-8-25 15:48 发表
写日志的地方比较多，竞争的机会应该蛮大的

那你就该考虑精简单日志了，因为文件IO是很耗资源的

zhoubug

原帖由 思一克 于 2009-8-25 16:38 发表


我的做法就是有LOG要写了就APPEND打开，写LOG后就关闭。

我有个程序确实是文件记录数据很频繁，所以不想这么做，程序是多进程，每个工作进程又有很多工作线程，
现在只是为每个进程打开文件，在定时器到了rotate log的时候才这么做，程序做过比较大的压力测试确实没发现写交错的情况，
但心里没底，所以想有点理论支持