导读：Logstash拥有许多的filter plugins 可相互配合进行数据处理，但是当遇到复杂的处理逻辑时部分插件即便可以达到相同的处理效果，但在编写时也可能会显得比较吃力。这时候可以考虑使用 ruby插件，通过编写 ruby 脚本实现轻松灵活处理复杂逻辑。本文将围绕以下四点展开讨论关于使用Logstash的ruby插件实现复杂处理逻辑：
- Ruby简述
- Logstash的ruby插件
- event概念
- 使用ruby插件实现复杂处理逻辑的demo
Ruby简述
Ruby 一种简单快捷的面向对象（面向对象程序设计）脚本语言，在 20 世纪 90 年代中期由日本的松本行弘（まつもとゆきひろ/Yukihiro Matsumoto）设计并开发，Ruby是动态语言。
Ruby 安装及语法学习地址，如下：
https://www.runoob.com/ruby/ruby-tutorial.html
可自己在平台上搭建ruby开发环境，或者使用ruby在线编程测试网站，如下
http://www.dooccn.com/ruby/
Logstash的ruby插件
Logstash在Filter plugins中提供了ruby plugin，支持通过内联（inline）或者 ruby file形式。
内联形式
filter {
ruby {
# 在此处编写直接编写ruby代码
code => "event.cancel if rand <= 0.90"
}
}ruby file形式
当代码比较复杂时，采用内联形式在文本字符串中构造会显得复杂和困难，因此最好将Ruby代码放在.rb文件中，并通过 path 指定。
filter {
ruby {
# path指定 ruby file所在路径
path => "/etc/logstash/drop_percentage.rb"
script_params => { "percentage" => 0.9 }
}
}在编写 .rb 脚本文件时，应定义以下两个方法：
- register(params)：一个可选的注册方法，该方法接收自配置选项 script_params 传递进来的 key/value 。
- filter(event)：一个强制的Ruby方法，它接受Logstash event并必须返回event（注：在filter中，我们的参数就是input过来的每一条消息，这个消息在filter中被称为event对象，关于event对象下文会进行详细讨论）。
def register(params)
@drop_percentage = params["percentage"]
end
def filter(event)
if rand >= @drop_percentage
return [event]
else
return [] # return empty array to cancel event
end
end详细关于ruby 插件详细描述可查看官网地址，如下：
https://www.elastic.co/guide/en/logstash/7.1/plugins-filters-ruby.html#_description_134
Event
Event是在Logstash内部封装数据流的主要对象，同时其为使用插件的开发人员提供与事件(event)内容交互的API，其可以用于Ruby filter 进行数据检索及转换。Event对象包含发送到Logstash的原始数据和在Logstash的过滤阶段创建的任何其他字段。因此当采用ruby插件时，我们可以通过处理event对象实现数据处理。
# 获取
event.get(field)
# 设置
event.set(field, value)关于event api 的详细应用可参考官方文档，如下：
https://www.elastic.co/guide/en/logstash/7.1/event-api.html#_event_object
一个简单的Demo例子
编写一个 logstash.conf 文件，包含 input、filter 、output三部分
input {
file {
path => ["/data/nginx_logs/ods_media_show_log/access.log"]
type => "nginx"
}
}
filter {
kv {
field_split => "&?"
}
mutate{
split=>["message","/"]
add_field => {
"channel" => "%{[message][0]}"
}
remove_field => [ "message" ]
}
# ruby 插件可以与其他filter插件相结合
ruby {
path => "/usr/local/logstash/config/odsMediaShowLog.rb"
}
}
output {
stdout {}
}编写ruby脚本文件
- （可选）编写register(params)
- （必选）编写filter(event)，内部编写对 event的处理逻辑
# 用于接收script_params传递过来的值，同时做一些声明
def register(params)
@MEDIA_TYPE_MAP = { "channel1" => 1, "channel2" => 2, "channel3" => 5 }
end
# 处理event
def filter(event)
# 获取event中channel字段的值
channel = event.get("channel")
# 添加新字段
event.set("media_type_id", @MEDIA_TYPE_MAP[channel])
# 如果没有platform字段，则返回空数组，过滤掉该event
if event.get("platform").nil?
return []
end
#....... 其他复杂逻辑
end通过借助ruby插件，我们可以通过编写ruby file 从而更加简便灵活地实现复杂处理逻辑。ruby插件可以使用任何的ruby语法，包括如逻辑判断，条件语句，循环语句，字符串的操作等，十分方便。
总结
本文先简单介绍了 Ruby语言、Logstash的ruby插件、event 这个三个概念。并使用一个简单的例子展示了如何通过 ruby 插件实现复杂处理逻辑。logstash 拥有很多 filter 插件，拥有强大的过滤功能，尽管ruby插件很方便，但也需要一定的学习成本。要达到过滤目的方式有很多，我们应结合实际场景选择最恰当的处理方式才是最好的方案。
感谢您的阅读，如果喜欢本文欢迎关注和转发，本头条号将坚持持续分享IT技术知识。对于文章内容有其他想法或意见建议等，欢迎提出共同讨论共同进步。
