免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 659 | 回复: 0

[文本处理] tail -f只读出数据却不输出的问题 [复制链接]

论坛徽章:
2
IT运维版块每日发帖之星
日期:2016-04-15 06:20:0015-16赛季CBA联赛之福建
日期:2016-08-08 13:37:03
发表于 2016-06-23 13:12 |显示全部楼层
我想做日志实时监控。
思路是,创建一个命名管道,
用tail -f监控应用程序日志,并重定向给命名管道,
在管道另一侧,用tail -f监视并发送给kafka(一种消息队列)。

第一步,启动管道读侧:
  1. stdbuf -oL tail -f ${FIFO} | ${KAFKA_HOME}/bin/kafka-console-producer.sh
复制代码
第二步,启动管道写侧:
  1. stdbuf -oL tail -F -n0 ${APPLOG} > ${FIFO}
复制代码
(使用stdbuf把tail设置成行缓冲模式,避免io缓冲导致延时输出。)

但是遇到的问题是,有时会发生应用日志在不断写入,但并没有发出kafka。

我使用strace -p连接到管道读侧的tail查看运行情况,
在另一个窗口执行 echo xxx > ${FIFO},
可以观察到tail read 读出了 xxx,但没有执行write。
有怕是io缓冲问题,所以我 echo 了10KB的内容,发现tail调用了read,和brk,但仍然没有write。

这种问题并不总发生,似乎是运行了一段时间以后会发生,重新启动一次就好了。

求高手帮忙解决。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

SACC2019中国系统架构师大会

【数字转型 架构演进】SACC2019中国系统架构师大会,8.5折限时优惠重磅来袭!
2019年10月31日~11月2日第11届中国系统架构师大会(SACC2019)将在北京隆重召开。四大主线并行的演讲模式,1个主会场、20个技术专场、超千人参与的会议规模,100+来自互联网、金融、制造业、电商等领域的嘉宾阵容,将为广大参会者提供一场最具价值的技术交流盛会。

限时8.5折扣期:2019年9月30日前


----------------------------------------

大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP