百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

开源物联网MQTT 5.0服务器——EMQX服务集群搭建教程

bigegpt 2024-08-01 11:53 11 浏览

集群是指通过组合一组计算机软硬件来协同完成计算任务,这些软硬件之间通过网络连接。组成一个集群的软硬件可以有相同、相似或完全不同的结构和功能。从外部来看,一个集群可以被看作一个整体而无需了解集群内部的细节就可以使用集群提供的服务。通常,一个集群可以提供比单个计算机更高的处理速度、数据吞吐量和可靠性。

在集群中的每个单独的能独立工作的软硬件模块,称之为一个节点。

EMQ X 支持集群。多台 EMQ X 服务器可以工作在集群模式下,各个服务器之间通过TCP网络相连,其中每个 EMQ X 服务器就是一个节点。相对于单服务器,EMQ X 集群能通过多台服务器之间的协作带来以下优势:

  • 高可用性:在单机模式下,如果服务器故障停机,则整个 EMQ X 提供的消息服务也就随之中断,整个应用服务也随之不可用。在集群模式下,单台或少量的服务器故障并不会导致整个消息服务中断,其余的正常工作的节点可以继续提供服务。
  • 负载均衡:通过负载均衡机制,EMQ X 集群可以把负载平均的分布在各个节点。
  • 更高的整体性能:相比单机部署,多节点的 EMQ X 集群能够成倍的提升整个系统的连接和消息处理能力。
  • 可扩展性:当应用需要更强的处理能力的时候,可以通过在集群中添加新节点的方式来完成扩容而无需停机。

基于 Erlang/OTP 的 EMQ X集群

EMQ X 使用Erlang/OTP 平台。Erlang/OTP 最初是为了开发电信设备系统而设计的编程语言平台,在设计时就将集群特性作为一项重要的特性纳入考虑,以 Erlang/OTP 实现的分布式系统在集群上基本都是简单易用而又高效可靠,EMQ X 也不例外。


当某个客户端连接到 EMQ X 集群的一个节点后,他所订阅的主题会被通知到其他节点,他所发布的消息也会被所有节点上订阅了相应主题的客户端收到。用户无需关心其中的实现细节。对于用户而言,这一切都是透明和自动的。

节点

集群中的每台 EMQ X 服务器就是一个节点。在集群内部的通讯中,节点由一个唯一的节点名标识。节点名的格式为 name@host,其中name由用户指定,host是IP地址或者全程域名(FQDN,Fully Qualified Domain Name)。比如:

emqx1@192.168.1.165
emqx2@broker1.emqx.io

节点间通讯

EMQ X 集群使用epmd来映射节点名称到TCP端口,如果集群所在网络内部有防火墙等过滤机制,需要在上面允许相应的端口通讯。

EMQ X 使用 Erlang/OTP 的 magic cookie机制来确认同一个集群之间的互联。只需要在要加入集群的节点上设置相同的cookie字串即可。

集群内部的通讯可以是 TCPv4 或者 TCPv6,支持TLS方式。

EMQ X 集群处理MQTT协议的方式

EMQ X 集群处理MQTT的基本原则可以概括为以下两点:

  • MQTT 客户端订阅主题时,所在节点订阅成功后广播通知其他节点:某个主题(Topic)被本节点订阅。
  • MQTT 客户端发布消息时,所在节点会根据消息主题(Topic),检索订阅并路由消息到相关节点。EMQ X 消息服务器同一集群的所有节点,都会复制一份主题(Topic) -> 节点(Node)映射的路由表,例如一个简单的路由表可以是这样的:
topic1 -> node1, node2
topic2 -> node3
topic3 -> node2, node4

主题树(Topic Trie)与路由表(Route Table)

在EMQ X 集群的每个节点,都会保存一份主题树和路由表。

如果在集群中有如下的主题订阅关系:

客户端所在节点订阅主题client1node1t/+/x, t/+/yclient2node2t/#client3node3t/+/x, t/a

最终会生成如下的主题树和路由表:


订阅与消息派发

客户端的主题订阅(Subscription)关系,只保存在客户端所在节点,用于本节点内派发消息到客户端。

例如client1向主题’t/a’发布消息,消息在节点间的路由与派发流程:

client1->node1: Publish[t/a]
node1-->node2: Route[t/#]node1-->
node3: Route[t/a]node2-->
client2: Deliver[t/#]node3-->
client3: Deliver[t/a]

一、静态集群

EMQ X 静态集群的原理是在所有需要加入集群的 EMQ X 上配置一个相同的节点列表,这个列表包含所有节点的节点名,它是自动集群中最简单的一种,在各节点启动后,会根据列表自动建立一个集群。静态集群只需要各节点间可以通过 TCP 协议互相访问,不需要任何其他网络组件或服务,也不需要网络支持IP组播。

节点配置

静态集群的配置相对简单,只需要在每个节点的 etc/emqx.conf 文件中配置集群方式和节点列表即可:

cluster.discovery = static
##--------------------------------------------------------------------
##Cluster with static node list
cluster.static.seeds = emqx1@192.168.0.10,emqx2@192.168.0.20

cluster.discovery 为集群方式。cluster.static.seeds 配置项为集群列表。列表中的节点名遵从name@host的格式,各个节点名以逗号(,)分隔。配置完成后,启动所有节点,集群即可建立。

查询集群状态

在任意节点上执行以下命令可以查询集群状态:

$ ./bin/emqx_ctl cluster statusCluster status: [{running_nodes,['emqx1@192.168.0.10','emqx2@192.168.0.20']}]


二、使用 IP 组播的自动集群

IP 组播(Multicast)自动集群的原理

IP 组播(又称多播)是IP协议下的一种一对多的或多对多的通讯方式,它可以用于网络中多个(而不是全部)主机间的通讯。在 EMQ X 的集群中,所有的 EMQ X 节点正好构成一个这样的组播群体,可以利用组播的特性来向所有集群成员发送加入和退出集群的消息。这种方式配置较方便,使用灵活,无需额外的网元支持。因为 EMQ X 集群的节点数有限,组播消息也不会对网络造成过大压力。

使用组播组建集群无需额外的网元或软件,只需要网络环境自身支持组播即可。目前定义的组播地址段为D类地址端,落在224.0.0.0到239.255.255.255之间,划分为三个子段,

  • 224.0.0.0 ~ 224.0.0.255 :局部组播段。目的地址为此地址范围内的报文不会被路由器转发,常用于路由协议等用途。
  • 224.0.1.0 ~ 238.255.255.255 : 为全球范围预留段。
  • 239.0.0.0 ~ 239.255.255.255 : 管理权限组播段。可供组织内部使用,类似于192.168.0.0/16这样的私有网络IP地址。在EMQ X 集群中,我们一般使用第三个地址段。

使用组播建立EMQ X 集群的限制由于大多数的公有云提供商都禁止在云上使用组播,这种组网方式一般仅能在私有部署上应用。

配置 EMQ X 节点

您需要在各个 EMQ X 节点上编辑 'etc/emqx.conf'文件中的cluster段落和node段落。

配置组播集群方式

您需要指定 EMQ X 节点需要加入的组播群的地址、使用的端口和网络接口、TTL值、以及报文是否loop (是否接收自己发送的组播报文)。

cluster.discovery = mcast
##--------------------------------------------------------------------
## Cluster using IP Multicast.
## IP Multicast Address.
##
## Value: IP Address
cluster.mcast.addr = 239.192.0.1
## Multicast Ports.
##
## Value: Port List
cluster.mcast.ports = 4369,4370
## Multicast Iface.
##
## Value: Iface Address
##
## Default: 0.0.0.0
cluster.mcast.iface = 0.0.0.0
## Multicast Ttl.
##
## Value: 0-255
cluster.mcast.ttl = 255
## Multicast loop.
##
## Value: on | off
cluster.mcast.loop = on

配置节点名

按照 name@host 的格式为各个节点配置节点名,如:

node.name = emqx1@192.168.1.162

检验是否集群成功

在配置完成后,依次启动集群的各个节点。然后在任意节点上执行命令查询集群状态:

./emqx_ctl cluster status

看到以下结果则表示集群建立成功:

Cluster status: [{running_nodes,['emqx1@192.168.1.162','emqx2@192.168.1.165']}]

关闭集群内一个节点,再次查询集群状态,应该能看到以下结果:

Cluster status: [{running_nodes,['emqx2@192.168.1.165']},                 {stopped_nodes,['emqx1@192.168.1.162']}]

相关推荐

当Frida来“敲”门(frida是什么)

0x1渗透测试瓶颈目前,碰到越来越多的大客户都会将核心资产业务集中在统一的APP上,或者对自己比较重要的APP,如自己的主业务,办公APP进行加壳,流量加密,投入了很多精力在移动端的防护上。而现在挖...

服务端性能测试实战3-性能测试脚本开发

前言在前面的两篇文章中,我们分别介绍了性能测试的理论知识以及性能测试计划制定,本篇文章将重点介绍性能测试脚本开发。脚本开发将分为两个阶段:阶段一:了解各个接口的入参、出参,使用Python代码模拟前端...

Springboot整合Apache Ftpserver拓展功能及业务讲解(三)

今日分享每天分享技术实战干货,技术在于积累和收藏,希望可以帮助到您,同时也希望获得您的支持和关注。架构开源地址:https://gitee.com/msxyspringboot整合Ftpserver参...

Linux和Windows下:Python Crypto模块安装方式区别

一、Linux环境下:fromCrypto.SignatureimportPKCS1_v1_5如果导包报错:ImportError:Nomodulenamed'Crypt...

Python 3 加密简介(python des加密解密)

Python3的标准库中是没多少用来解决加密的,不过却有用于处理哈希的库。在这里我们会对其进行一个简单的介绍,但重点会放在两个第三方的软件包:PyCrypto和cryptography上,我...

怎样从零开始编译一个魔兽世界开源服务端Windows

第二章:编译和安装我是艾西,上期我们讲述到编译一个魔兽世界开源服务端环境准备,那么今天跟大家聊聊怎么编译和安装我们直接进入正题(上一章没有看到的小伙伴可以点我主页查看)编译服务端:在D盘新建一个文件夹...

附1-Conda部署安装及基本使用(conda安装教程)

Windows环境安装安装介质下载下载地址:https://www.anaconda.com/products/individual安装Anaconda安装时,选择自定义安装,选择自定义安装路径:配置...

如何配置全世界最小的 MySQL 服务器

配置全世界最小的MySQL服务器——如何在一块IntelEdison为控制板上安装一个MySQL服务器。介绍在我最近的一篇博文中,物联网,消息以及MySQL,我展示了如果Partic...

如何使用Github Action来自动化编译PolarDB-PG数据库

随着PolarDB在国产数据库领域荣膺桂冠并持续获得广泛认可,越来越多的学生和技术爱好者开始关注并涉足这款由阿里巴巴集团倾力打造且性能卓越的关系型云原生数据库。有很多同学想要上手尝试,却卡在了编译数据...

面向NDK开发者的Android 7.0变更(ndk android.mk)

订阅Google官方微信公众号:谷歌开发者。与谷歌一起创造未来!受Android平台其他改进的影响,为了方便加载本机代码,AndroidM和N中的动态链接器对编写整洁且跨平台兼容的本机...

信创改造--人大金仓(Kingbase)数据库安装、备份恢复的问题纪要

问题一:在安装KingbaseES时,安装用户对于安装路径需有“读”、“写”、“执行”的权限。在Linux系统中,需要以非root用户执行安装程序,且该用户要有标准的home目录,您可...

OpenSSH 安全漏洞,修补操作一手掌握

1.漏洞概述近日,国家信息安全漏洞库(CNNVD)收到关于OpenSSH安全漏洞(CNNVD-202407-017、CVE-2024-6387)情况的报送。攻击者可以利用该漏洞在无需认证的情况下,通...

Linux:lsof命令详解(linux lsof命令详解)

介绍欢迎来到这篇博客。在这篇博客中,我们将学习Unix/Linux系统上的lsof命令行工具。命令行工具是您使用CLI(命令行界面)而不是GUI(图形用户界面)运行的程序或工具。lsoflsof代表&...

幻隐说固态第一期:固态硬盘接口类别

前排声明所有信息来源于网络收集,如有错误请评论区指出更正。废话不多说,目前固态硬盘接口按速度由慢到快分有这几类:SATA、mSATA、SATAExpress、PCI-E、m.2、u.2。下面我们来...

新品轰炸 影驰SSD多款产品登Computex

分享泡泡网SSD固态硬盘频道6月6日台北电脑展作为全球第二、亚洲最大的3C/IT产业链专业展,吸引了众多IT厂商和全球各地媒体的热烈关注,全球存储新势力—影驰,也积极参与其中,为广大玩家朋友带来了...