免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 3533 | 回复: 0

[Spark] 请教flume如何将数据写入HDFS [复制链接]

论坛徽章:
1
天秤座
日期:2014-11-05 16:54:55
发表于 2015-06-12 11:42 |显示全部楼层
请教如何将flume采集到的日志数据写入到HDFS中,

结构图:
Image.png

应用端大概有70台服务器,需要采集日志,而且日志需要写入到HDFS系统上的不同路径下,这样的话汇聚端的agent就没办法写了(请教)


那么可不可以直接将数据从应用服务器采集上传到HDFS节点上呢???

像这样:
20140625114928093.jpg


可以好像这样的结构图是必须flume的agent要跟hadoop的在同一节点上。



flume agent配置:
  1. a1.sources = r1
  2. a1.sinks = k1
  3. a1.channels = c1

  4. a1.sources.r1.type = exec
  5. a1.sources.r1.channels = c1
  6. a1.sources.r1.command = tail -n +0 -F /home/hadoop/catalina.out
  7. a1.sources.r1.bind = 0.0.0.0
  8. a1.sources.r1.port = 44444

  9. a1.sinks.k1.type = hdfs
  10. a1.sinks.k1.hdfs.path = hdfs://Hadoop-Namenode:9000/flume/apache-tomcat-base
  11. a1.sinks.k1.hdfs.filePrefix = events-
  12. a1.sinks.k1.hdfs.fileType = DataStream
  13. a1.sinks.k1.hdfs.writeFormat = Text
  14. a1.sinks.k1.hdfs.roundUnit = minute

  15. a1.channels.c1.type = memory
  16. a1.channels.c1.capacity = 1000
  17. a1.channels.c1.transactionCapacity = 100

  18. a1.sources.r1.channels = c1
  19. a1.sinks.k1.channel = c1
复制代码
然后启动:
  1. flume-ng agent -c conf -f flume.conf -n a1 -Dflume.root.logger=INFO.console
  2. Info: Including Hive libraries found via () for Hive access
  3. + exec /export/java/jdk1.7.0_67/bin/java -Xmx20m -Dflume.root.logger=INFO.console -cp 'conf:/export/server/flume/lib/*:/lib/*' -Djava.library.path= org.apache.flume.node.Application -f flume.conf -n a1
  4. log4j:WARN No appenders could be found for logger (org.apache.flume.lifecycle.LifecycleSupervisor).
  5. log4j:WARN Please initialize the log4j system properly.
  6. log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
复制代码
卡住不动,HDFS也没有数据。。。。请教各位大神。。。。。网上太多帖子都只是做一个简单示例,请教生产中到底是如何实现日志分类采集存储到HDFS上的。。。

















您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

DTCC2020中国数据库技术大会

【架构革新 高效可控】2020年12月21日-23日第十一届中国数据库技术大会将在北京隆重召开。

大会设置2大主会场,20+技术专场,将邀请超百位行业专家,重点围绕数据架构、AI与大数据、传统企业数据库实践和国产开源数据库等内容展开分享和探讨,为广大数据领域从业人士提供一场年度盛会和交流平台。

http://dtcc.it168.com


大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP