agent1.sources = source1
agent1.sinks = sink1
agent1.channels = channel1
# Describe/configure source1
agent1.sources.source1.type = avro
agent1.sources.source1.bind = AY1307200004001547efZ
agent1.sources.source1.port = 44444
# Describe sink1
agent1.sinks.sink1.type = hdfs
# Use a channel which buffers events in memory
agent1.channels.channel1.type = memory
agent1.channels.channel1.capacity = 1000
agent1.channels.channel1.transactionCapactiy = 100
agent1.sinks.sink1.hdfs.path =/user/root/log4j001/
agent1.sinks.sink1.hdfs.filePrefix = events-
agent1.sinks.sink1.hdfs.round = true
agent1.sinks.sink1.hdfs.roundValue = 10
agent1.sinks.sink1.hdfs.roundUnit = minute
# Bind the source and sink to the channel
agent1.sources.source1.channels = channel1
agent1.sinks.sink1.channel = channel1
- 浏览: 173927 次
- 性别:
- 来自: 北京
最新评论
-
buildhappy:
知道如何解决了吗?
Hbase异常 正在找解决办法 ~~ -
xs.cctv:
相当不错的资料
MyEclipse设置注释格式(转载) -
di1984HIT:
写的很好啊。
HBase行健设计策略(三)(未完成) -
zhaoshijie:
jar 包呢
Storm 本地运行 统计字母出现次数 -
bgkpbgkp:
感谢分享
hibernate.current_session_context_class属性配置(转载)
相关推荐
Flume-ng在windows环境搭建并测试+log4j日志通过Flume输出到HDFS 11111
log4j输出日志到flume例子,包含log4j配置,flume配置,测试类
flime安装+配置+测试+案例(采集日志至HDFS)+理论+搭建错误解决,超详细flum搭建,一篇带你入门flume,通俗易懂,详细步骤注解!!!
NULL 博文链接:https://chengjianxiaoxue.iteye.com/blog/2169989
Flume + kafka + log4j构建日志采集系统,附实例及文档。
利用Flume将MySQL表数据准实时抽取到HDFS、MySQL、Kafka用到的jar包
apache-log4j-1.2.15.jar, apache-log4j-extras-1.0.jar, apache-log4j-extras-1.1.jar, apache-log4j.jar, log4j-1.2-api-2.0.2-javadoc.jar, log4j-1.2-api-2.0.2-sources.jar, log4j-1.2-api-2.0.2.jar, log4j-...
Apache Flume, Distributed Log Collection for Hadoop,2015 第二版,Packt Publishing
自己研究大数据多年,写的一个日志数据采集方案笔记,可快速熟悉Flume,Kafka,Hdfs的操作使用,以及相互的操作接口。
Flume采集Rabbitmq数据同步到HDFS
环境配置: linux:Centos7 JDK:1.8 Hadoop:2.8.5(默认已安装好集群环境) Nginx:14.0(独立部署) Flume:1.8.0(与Nginx部署在一起) 一、Nginx编译安装 1、官网下载.tar.gz文件,上传至linux服务器 ...
Log4j直接发送数据到Flume + Kafka (方式一) 通过flume收集系统日记, 收集的方式通常采用以下. 系统logs直接发送给flume系统, 本文主要记录种方式进行说明. 文章链接,请看:...
flume是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据… 各领域数据集,工具源码,适合毕业设计、课程设计作业...
LogDemox 收集信息通过log4j直接打到flume中,进行日志收集
log4j+flume+kafka+storm整合
让你快速认识flume及安装和使用flume1 5传输数据 日志 到hadoop2 2 中文文档 认识 flume 1 flume 是什么 这里简单介绍一下 它是 Cloudera 的一个产品 2 flume 是干什么的 收集日志的 3 flume 如何搜集日志 我们把...
flume所需要的hdfs包.zip, flume所需要的hdfs包.zip, flume所需要的hdfs包.zip
通过修改flume源码实现flume向两个HA hadoop集群分发数据。
lnmp(linux+nginx+mysql+php)安装配置及分布式系统大数据处理hadoop集群中的flume+Kafka+Storm+HDFS等实时系统搭分享
具体是flume使用hdfs sink时所用的,当你的主机没有hadoop环境的时候,添加这些jar包就能使用,前提是主机能通hdfs服务器的9000端口。 【flume版本1.7.0 hadoop版本2.7.4】 这些jar包是楼主一个个试出来的,大佬们给...