#Hadoop# #hadoop# #大数据# #日志分析#

上一篇介绍了Flume的部署与安装，本篇将继续介绍Flume的应用：监听端口、监听日志文件

3 应用

3.1 监听端口

3.1.1 配置文件

配置conf文件:创建netcat.conf

#三个组件分别取名字

a1.sources = r1

a1.channels = c1

a1.sinks = k1

#定义具体的source内容

#这里是执行命令以及下面对应的具体命令

#这个命令执行后的数据返回给这个source

a1.sources.r1.type = netcat

a1.sources.r1.bind = hadoop-senior01.test.com

a1.sources.r1.port = 44444

#定义具体的channel信息

#我们source定义好了，就要来定义我们的channel

a1.channels.c1.type = memory

a1.channels.c1.capacity = 10000

a1.channels.c1.transactionCapacity = 100

#定义具体的sink信息

#这个logger sink，就是将信息直接打印到控制台

#就是打印日志

a1.sinks.k1.type = logger

#最后来组装我们之前定义的channel和sink

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

3.1.2 启动：bin/flume-ng agent --conf conf --conf-file conf/netcat.conf --name a1 -Dflume.root.logger=INFO,console

成功后显示监听端口

在其他机器上使用telnet，连接端口，可以获得相应的监听。

3.2 监听日志文件

3.2.1 配置文件

配置conf文件:创建file.conf

# 指定Agent的组件名称

a1.sources = r1

a1.sinks = k1

a1.channels = c1

# 指定Flume source

a1.sources.r1.type = spooldir

#要监听的目录地址

a1.sources.r1.spoolDir = /root/test/flumelist

# 指定Flume sink

a1.sinks.k1.type = logger

# 指定Flume channel

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

# 绑定source和sink到channel上

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

3.2.2 启动：bin/flume-ng agent --conf conf --conf-file conf/file.conf --name a1 -Dflume.root.logger=INFO,console

成功后显示状态

在监听文件夹中写入新文件内容，可以看到监听结果。