简介
Logstash是一个开源的数据收集引擎，常用于采集、过滤和转发日志数据。它支持多种输入源和输出目的地，并且可以通过插件扩展其功能。在Kubernetes集群中，我们可以使用Logstash来收集容器的日志数据。本文是Kubernetes日志采集ELK系列文章的第二篇，主要介绍如何在Kubernetes集群中部署Logstash进行日志收集。
部署Logstash
在部署Logstash之前，我们需要先准备好以下内容：
- Logstash镜像：我们可以从Docker Hub上拉取最新的Logstash镜像，也可以自己构建一个镜像并上传到镜像仓库中。
- Logstash配置文件：我们需要编写一个Logstash的配置文件，用于定义日志输入源和输出目的地，以及过滤日志数据的规则。
编写Logstash配置文件
下面是一个简单的Logstash配置文件示例，用于收集Kubernetes中所有容器的日志数据，并将它们发送到Elasticsearch中：
vim logstash.conf
input {
tcp {
port => 8888
mode => "server"
}
}
filter {
if [kubernetes][container][name] {
mutate {
add_field => { "app" => "%{[kubernetes][container][name]}" }
}
}
}
output {
elasticsearch {
hosts => ["http://es-cluster-svc:9200"]
index => "k8s-system-log-%{+YYYY.MM.dd}"
ecs_compatibility => disabled
}
stdout { codec => rubydebug }
}这个配置文件包含了三个部分：
- input：定义了输入源，这里我们使用了TCP协议来接收JSON格式的日志数据。Logstash会监听8888端口并等待数据的到来。
- filter：定义了过滤规则，这里我们筛选出了所有Kubernetes容器的日志数据，并添加了一个新的字段“app”来标识容器名称。
- output：定义了输出目的地，这里我们将日志数据发送到Elasticsearch中，并以“k8s-system-log-年月日”作为索引名称。
vim logstash.yml
http.host: "0.0.0.0"logstash.yml是Logstash的主配置文件，它包含了全局设置和默认值
- http.host：HTTP监听器绑定的IP地址。
vim pipelines.yml
- pipeline.id: testlogs
path.config: "/usr/share/logstash/pipeline/logstash.conf"pipeline.yml是Logstash管道的配置文件，它包含了输入、过滤器和输出的详细设置
创建Logstash应用配置文件
我们可以使用Kubernetes的StatefulSet对象来部署Logstash。下面是一个StatefulSet的示例文件，用于部署一个Logstash实例：
vim logstash-statefulset.yaml
apiVersion: apps/v1
kind: StatefulSet
metadata:
labels:
app: logstash
name: logstash
namespace: elk
spec:
serviceName: "logstash"
replicas: 1
selector:
matchLabels:
app: logstash
template:
metadata:
labels:
app: logstash
spec:
containers:
- image: 192.168.82.111:80/elk/logstash:8.6.0
name: logstash
resources:
requests:
memory: "500Mi"
cpu: "400m"
limits:
memory: "800Mi"
cpu: "800m"
volumeMounts:
- name: logstash-yml-config
mountPath: /usr/share/logstash/config/logstash.yml
subPath: logstash.yml
- name: logstash-config
mountPath: /usr/share/logstash/pipeline/logstash.conf
subPath: logstash.conf
- name: pipelines-yml-config
mountPath: /usr/share/logstash/config/pipelines.yml
subPath: pipelines.yml
env:
- name: TZ
value: Asia/Shanghai
volumes:
- name: logstash-yml-config
configMap:
name: logstash-yml-config
- name: pipelines-yml-config
configMap:
name: pipelines-yml-config
- name: logstash-config
configMap:
name: logstash-config这个文件包含了一个StatefulSet对象，它会创建一个名为“logstash”的Pod副本。Pod中包含了一个名为“logstash”的容器，使用了Logstash官方提供的镜像，我已经把这个镜像上传到了我的私有仓库内，并挂载了三个的ConfigMap卷。
我们需要在集群中创建三个ConfigMap对象，用于存储Logstash的配置文件。下面是创建ConfigMap对象的示例文件：
kubectl create configmap pipelines-yml-config -n elk --from-file=pipelines.yml
kubectl create configmap logstash-config -n elk --from-file=logstash.conf
kubectl create configmap logstash-yml-config -n elk --from-file=logstash.yml可以看到配置文件已经创建好了
部署Logstash
使用kubectl命令来创建Logstash的StatefulSet
#kubectl apply -f logstash-statefulset.yaml
statefulset.apps/logstash created创建成功后，使用kubectl命令来查看Pod的状态：
kubectl get pods -n elk如果一切正常，你应该会看到一个名为“logstash-0”的Pod处于“Running”状态。
Logstash日志显示正常启动
创建Logstash服务
部署好Logstash之后，我们需要暴露Logstash的服务，才能让其他组件访问它，下面介绍一种常见的暴露Logstash服务的方法
通过NodePort方式暴露Logstash服务
vim logstash-service.yaml
apiVersion: v1
kind: Service
metadata:
labels:
app: logstash
name: logstash
namespace: elk
spec:
type: NodePort
ports:
- name: logstash
protocol: TCP
port: 8888
nodePort: 38888
targetPort: 8888
selector:
app: logstash这个文件包含了一个Service对象，它会创建一个名为“logstash”的服务，使用了NodePort方式来暴露服务。Service会将所有符合标签选择器“app: logstash”的Pod都加入到该服务中，将服务端口8888映射到容器端口8888，并将节点端口38888映射到服务端口8888。
可以使用kubectl命令来创建Service对象
kubectl apply -f logstash-service.yaml总结
在本文中，我们介绍了如何在Kubernetes集群中部署Logstash进行日志收集，并编写了一个简单的Logstash配置文件。在下一篇文章中，我们将介绍如何将Java项目容器的日志数据发送到Logstash中。
