最近项目用到了logstash,在这里做一个简单的记录。
首先从官网下载tar.gz包,版本是不是最新版本无所谓,只是用于学习。安装logstash之前首先安装jdk,安装的jdk版本是1.8。具体的安装过程在这里不做介绍;下载logstash-6.2.0.tar.gz,然后解压:tar -zxvf logstash-6.2.0.tar.gz,之后进入目录logstash-6.2.0里面启动logstash,命令如下:bin/logstash -e 'input { stdin { } } output { stdout {} }';或者直接用bin/logstash -e ""也行;输入hello world
出现如下图片表示成功:
运行成功
这里暂且只简单介绍logstash对接kafka,在配置文件目录里增加配置文件kafka.conf,配置内容如下:
input {
file {
path => ["/root/anaconda-ks.cfg.bak"]
type => "system"
start_position => "beginning"
}
}
output
{
kafka {
#codec => plain {
# format => "%{message}"
#}
codec => "json"
bootstrap_servers => "192.168.109.130:9092,192.168.109.131:9092,192.168.109.132:9092"
topic_id => "test"
}
}
运行命令./logstash -f ../config/kafka.conf即可,之后就可以从kafka看到数据了;