百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

开源物联网MQTT 5.0服务器——EMQX服务集群搭建教程

bigegpt 2024-08-01 11:53 5 浏览

集群是指通过组合一组计算机软硬件来协同完成计算任务,这些软硬件之间通过网络连接。组成一个集群的软硬件可以有相同、相似或完全不同的结构和功能。从外部来看,一个集群可以被看作一个整体而无需了解集群内部的细节就可以使用集群提供的服务。通常,一个集群可以提供比单个计算机更高的处理速度、数据吞吐量和可靠性。

在集群中的每个单独的能独立工作的软硬件模块,称之为一个节点。

EMQ X 支持集群。多台 EMQ X 服务器可以工作在集群模式下,各个服务器之间通过TCP网络相连,其中每个 EMQ X 服务器就是一个节点。相对于单服务器,EMQ X 集群能通过多台服务器之间的协作带来以下优势:

  • 高可用性:在单机模式下,如果服务器故障停机,则整个 EMQ X 提供的消息服务也就随之中断,整个应用服务也随之不可用。在集群模式下,单台或少量的服务器故障并不会导致整个消息服务中断,其余的正常工作的节点可以继续提供服务。
  • 负载均衡:通过负载均衡机制,EMQ X 集群可以把负载平均的分布在各个节点。
  • 更高的整体性能:相比单机部署,多节点的 EMQ X 集群能够成倍的提升整个系统的连接和消息处理能力。
  • 可扩展性:当应用需要更强的处理能力的时候,可以通过在集群中添加新节点的方式来完成扩容而无需停机。

基于 Erlang/OTP 的 EMQ X集群

EMQ X 使用Erlang/OTP 平台。Erlang/OTP 最初是为了开发电信设备系统而设计的编程语言平台,在设计时就将集群特性作为一项重要的特性纳入考虑,以 Erlang/OTP 实现的分布式系统在集群上基本都是简单易用而又高效可靠,EMQ X 也不例外。


当某个客户端连接到 EMQ X 集群的一个节点后,他所订阅的主题会被通知到其他节点,他所发布的消息也会被所有节点上订阅了相应主题的客户端收到。用户无需关心其中的实现细节。对于用户而言,这一切都是透明和自动的。

节点

集群中的每台 EMQ X 服务器就是一个节点。在集群内部的通讯中,节点由一个唯一的节点名标识。节点名的格式为 name@host,其中name由用户指定,host是IP地址或者全程域名(FQDN,Fully Qualified Domain Name)。比如:

emqx1@192.168.1.165
emqx2@broker1.emqx.io

节点间通讯

EMQ X 集群使用epmd来映射节点名称到TCP端口,如果集群所在网络内部有防火墙等过滤机制,需要在上面允许相应的端口通讯。

EMQ X 使用 Erlang/OTP 的 magic cookie机制来确认同一个集群之间的互联。只需要在要加入集群的节点上设置相同的cookie字串即可。

集群内部的通讯可以是 TCPv4 或者 TCPv6,支持TLS方式。

EMQ X 集群处理MQTT协议的方式

EMQ X 集群处理MQTT的基本原则可以概括为以下两点:

  • MQTT 客户端订阅主题时,所在节点订阅成功后广播通知其他节点:某个主题(Topic)被本节点订阅。
  • MQTT 客户端发布消息时,所在节点会根据消息主题(Topic),检索订阅并路由消息到相关节点。EMQ X 消息服务器同一集群的所有节点,都会复制一份主题(Topic) -> 节点(Node)映射的路由表,例如一个简单的路由表可以是这样的:
topic1 -> node1, node2
topic2 -> node3
topic3 -> node2, node4

主题树(Topic Trie)与路由表(Route Table)

在EMQ X 集群的每个节点,都会保存一份主题树和路由表。

如果在集群中有如下的主题订阅关系:

客户端所在节点订阅主题client1node1t/+/x, t/+/yclient2node2t/#client3node3t/+/x, t/a

最终会生成如下的主题树和路由表:


订阅与消息派发

客户端的主题订阅(Subscription)关系,只保存在客户端所在节点,用于本节点内派发消息到客户端。

例如client1向主题’t/a’发布消息,消息在节点间的路由与派发流程:

client1->node1: Publish[t/a]
node1-->node2: Route[t/#]node1-->
node3: Route[t/a]node2-->
client2: Deliver[t/#]node3-->
client3: Deliver[t/a]

一、静态集群

EMQ X 静态集群的原理是在所有需要加入集群的 EMQ X 上配置一个相同的节点列表,这个列表包含所有节点的节点名,它是自动集群中最简单的一种,在各节点启动后,会根据列表自动建立一个集群。静态集群只需要各节点间可以通过 TCP 协议互相访问,不需要任何其他网络组件或服务,也不需要网络支持IP组播。

节点配置

静态集群的配置相对简单,只需要在每个节点的 etc/emqx.conf 文件中配置集群方式和节点列表即可:

cluster.discovery = static
##--------------------------------------------------------------------
##Cluster with static node list
cluster.static.seeds = emqx1@192.168.0.10,emqx2@192.168.0.20

cluster.discovery 为集群方式。cluster.static.seeds 配置项为集群列表。列表中的节点名遵从name@host的格式,各个节点名以逗号(,)分隔。配置完成后,启动所有节点,集群即可建立。

查询集群状态

在任意节点上执行以下命令可以查询集群状态:

$ ./bin/emqx_ctl cluster statusCluster status: [{running_nodes,['emqx1@192.168.0.10','emqx2@192.168.0.20']}]


二、使用 IP 组播的自动集群

IP 组播(Multicast)自动集群的原理

IP 组播(又称多播)是IP协议下的一种一对多的或多对多的通讯方式,它可以用于网络中多个(而不是全部)主机间的通讯。在 EMQ X 的集群中,所有的 EMQ X 节点正好构成一个这样的组播群体,可以利用组播的特性来向所有集群成员发送加入和退出集群的消息。这种方式配置较方便,使用灵活,无需额外的网元支持。因为 EMQ X 集群的节点数有限,组播消息也不会对网络造成过大压力。

使用组播组建集群无需额外的网元或软件,只需要网络环境自身支持组播即可。目前定义的组播地址段为D类地址端,落在224.0.0.0到239.255.255.255之间,划分为三个子段,

  • 224.0.0.0 ~ 224.0.0.255 :局部组播段。目的地址为此地址范围内的报文不会被路由器转发,常用于路由协议等用途。
  • 224.0.1.0 ~ 238.255.255.255 : 为全球范围预留段。
  • 239.0.0.0 ~ 239.255.255.255 : 管理权限组播段。可供组织内部使用,类似于192.168.0.0/16这样的私有网络IP地址。在EMQ X 集群中,我们一般使用第三个地址段。

使用组播建立EMQ X 集群的限制由于大多数的公有云提供商都禁止在云上使用组播,这种组网方式一般仅能在私有部署上应用。

配置 EMQ X 节点

您需要在各个 EMQ X 节点上编辑 'etc/emqx.conf'文件中的cluster段落和node段落。

配置组播集群方式

您需要指定 EMQ X 节点需要加入的组播群的地址、使用的端口和网络接口、TTL值、以及报文是否loop (是否接收自己发送的组播报文)。

cluster.discovery = mcast
##--------------------------------------------------------------------
## Cluster using IP Multicast.
## IP Multicast Address.
##
## Value: IP Address
cluster.mcast.addr = 239.192.0.1
## Multicast Ports.
##
## Value: Port List
cluster.mcast.ports = 4369,4370
## Multicast Iface.
##
## Value: Iface Address
##
## Default: 0.0.0.0
cluster.mcast.iface = 0.0.0.0
## Multicast Ttl.
##
## Value: 0-255
cluster.mcast.ttl = 255
## Multicast loop.
##
## Value: on | off
cluster.mcast.loop = on

配置节点名

按照 name@host 的格式为各个节点配置节点名,如:

node.name = emqx1@192.168.1.162

检验是否集群成功

在配置完成后,依次启动集群的各个节点。然后在任意节点上执行命令查询集群状态:

./emqx_ctl cluster status

看到以下结果则表示集群建立成功:

Cluster status: [{running_nodes,['emqx1@192.168.1.162','emqx2@192.168.1.165']}]

关闭集群内一个节点,再次查询集群状态,应该能看到以下结果:

Cluster status: [{running_nodes,['emqx2@192.168.1.165']},                 {stopped_nodes,['emqx1@192.168.1.162']}]

相关推荐

得物可观测平台架构升级:基于GreptimeDB的全新监控体系实践

一、摘要在前端可观测分析场景中,需要实时观测并处理多地、多环境的运行情况,以保障Web应用和移动端的可用性与性能。传统方案往往依赖代理Agent→消息队列→流计算引擎→OLAP存储...

warm-flow新春版:网关直连和流程图重构

本期主要解决了网关直连和流程图重构,可以自此之后可支持各种复杂的网关混合、多网关直连使用。-新增Ruoyi-Vue-Plus优秀开源集成案例更新日志[feat]导入、导出和保存等新增json格式支持...

扣子空间体验报告

在数字化时代,智能工具的应用正不断拓展到我们工作和生活的各个角落。从任务规划到项目执行,再到任务管理,作者深入探讨了这款工具在不同场景下的表现和潜力。通过具体的应用实例,文章展示了扣子空间如何帮助用户...

spider-flow:开源的可视化方式定义爬虫方案

spider-flow简介spider-flow是一个爬虫平台,以可视化推拽方式定义爬取流程,无需代码即可实现一个爬虫服务。spider-flow特性支持css选择器、正则提取支持JSON/XML格式...

solon-flow 你好世界!

solon-flow是一个基础级的流处理引擎(可用于业务规则、决策处理、计算编排、流程审批等......)。提供有“开放式”驱动定制支持,像jdbc有mysql或pgsql等驱动,可...

新一代开源爬虫平台:SpiderFlow

SpiderFlow:新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。-精选真开源,释放新价值。概览Spider-Flow是一个开源的、面向所有用户的Web端爬虫构建平台,它使用Ja...

通过 SQL 训练机器学习模型的引擎

关注薪资待遇的同学应该知道,机器学习相关的岗位工资普遍偏高啊。同时随着各种通用机器学习框架的出现,机器学习的门槛也在逐渐降低,训练一个简单的机器学习模型变得不那么难。但是不得不承认对于一些数据相关的工...

鼠须管输入法rime for Mac

鼠须管输入法forMac是一款十分新颖的跨平台输入法软件,全名是中州韵输入法引擎,鼠须管输入法mac版不仅仅是一个输入法,而是一个输入法算法框架。Rime的基础架构十分精良,一套算法支持了拼音、...

Go语言 1.20 版本正式发布:新版详细介绍

Go1.20简介最新的Go版本1.20在Go1.19发布六个月后发布。它的大部分更改都在工具链、运行时和库的实现中。一如既往,该版本保持了Go1的兼容性承诺。我们期望几乎所...

iOS 10平台SpriteKit新特性之Tile Maps(上)

简介苹果公司在WWDC2016大会上向人们展示了一大批新的好东西。其中之一就是SpriteKitTileEditor。这款工具易于上手,而且看起来速度特别快。在本教程中,你将了解关于TileE...

程序员简历例句—范例Java、Python、C++模板

个人简介通用简介:有良好的代码风格,通过添加注释提高代码可读性,注重代码质量,研读过XXX,XXX等多个开源项目源码从而学习增强代码的健壮性与扩展性。具备良好的代码编程习惯及文档编写能力,参与多个高...

Telerik UI for iOS Q3 2015正式发布

近日,TelerikUIforiOS正式发布了Q32015。新版本新增对XCode7、Swift2.0和iOS9的支持,同时还新增了对数轴、不连续的日期时间轴等;改进TKDataPoin...

ios使用ijkplayer+nginx进行视频直播

上两节,我们讲到使用nginx和ngixn的rtmp模块搭建直播的服务器,接着我们讲解了在Android使用ijkplayer来作为我们的视频直播播放器,整个过程中,需要注意的就是ijlplayer编...

IOS技术分享|iOS快速生成开发文档(一)

前言对于开发人员而言,文档的作用不言而喻。文档不仅可以提高软件开发效率,还能便于以后的软件开发、使用和维护。本文主要讲述Objective-C快速生成开发文档工具appledoc。简介apple...

macOS下配置VS Code C++开发环境

本文介绍在苹果macOS操作系统下,配置VisualStudioCode的C/C++开发环境的过程,本环境使用Clang/LLVM编译器和调试器。一、前置条件本文默认前置条件是,您的开发设备已...