1、使用Logstash提供的监控 APIs 来进行监控
通过监控 APIs 的使用,它们可以提供 Logstash 的指标。我们无需做任何的配置,在默认的情况下就已经工作。
1.1 Node Info API Logstash node 的详细信息
curl -XGET 'localhost:9600/_node?pretty'
1.2 Plugins info API 所有已经被安装的插件
curl -XGET 'localhost:9600/_node/plugins?pretty'
1.3 Node Stats API Logstash node 的运行时状态
curl -XGET 'localhost:9600/_node/stats?pretty'
1.4 Hot Threads API Logstash 当前的 hot threads
curl -XGET 'localhost:9600/_node/hot_threads?pretty'
使用 Elastic 的监控功能
2.1 metricbeat安装与配置
2.1.1 Ambari集成安装metricbeat
登录Ambari,点击“Stack and Versions”菜单,找到metricbeat,点击其后的“Add Service”,根据向导完成安装。
2.1.2 手动安装metricbeat
下载并安装 metricbeat
# curl -L -O https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-7.4.2-x86_64.rpm
# sudo rpm -vi metricbeat-7.4.2-x86_64.rpm
2.1.3 metricbeat配置
修改 /etc/metricbeat/metricbeat.yml 以设置连接信息:
output.elasticsearch:
hosts: ["<es_url>"]
username: "elastic"
password: "<password>"
setup.kibana:
host: "<kibana_url>"
其中,<password> 是 elastic 用户的密码,<es_url> 是 Elasticsearch 的 URL,<kibana_url> 是 Kibana 的 URL。
2.2 metricbeat启动配置logstash模块
2.2.1启用和配置 logstash 模块
#sudo metricbeat modules enable logstash
在 /etc/metricbeat/modules.d/logstash.yml 文件中修改设置。
2.2.2 启动 Metricbeat
setup 命令加载 Kibana 仪表板。如果仪表板已设置,请省略此命令。
#sudo metricbeat setup
#sudo service metricbeat start
注:Ambari上通过启动菜单启动
2.3 在kibana上监控logstash
Logstash多pipeline配置
3.1 修改/etc/logstash/pipelines.yml
3.2 添加input、filter、output配置文件到conf.d中