百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

一款Kafka可视化Web界面管理工具:CMAK

bigegpt 2024-10-19 02:49 8 浏览


使用过KafKa集群的人都知道,要记住KafKa的命令对于新手确实比较难,所以一般都会寻找能在页面操作的管理工具。

今天跟大家介绍其中一款可视化Web界面管理工具,它就是kafka-manager,不过现在更名为CMAK。



kafka-manager管理工具简介

它最早由雅虎开源,功能非常齐全,展示的数据非常丰富。同时用户能够在界面上执行一些简单的集群管理操作。

不过雅虎已经将其更名为CMAK(Cluster Manager for Apache Kafka)。


CMAK支持的功能


  • 管理多个集群
  • 轻松检查集群状态(主题,消费者,偏移,代理,副本分发,分区分发)
  • 运行首选副本选举
  • 使用选项生成分区分配以选择要使用的代理
  • 运行分区重新分配(基于生成的分配)
  • 使用可选主题配置创建主题(0.8.1.1具有与0.8.2+不同的配置)
  • 删除主题(仅支持0.8.2+并记住在代理配置中设置delete.topic.enable = true)
  • 主题列表现在指示标记为删除的主题(仅支持0.8.2+)
  • 批量生成多个主题的分区分配,并可选择要使用的代理
  • 批量运行重新分配多个主题的分区
  • 将分区添加到现有主题
  • 更新现有主题的配置
  • 选择性为 broker level and topic level metrics 开放JMX polling
  • 选择性过滤掉在zookeeper中没有ids|owners|offsets|directories的消费者


下面跟大家分享下如何部署安装这款管理工具。

CMAK管理工具支持的范围

  1. 支持 Kafka 0.8以上版本
  2. Java 11+
  3. zookeeper必须是3.5+版本。

可能有些会说要求这么多,还涉及zookeeper版本,那么你可以选择Kafka-manager的旧版本,比如1.3.3.23版本。


普通用户配置Java11环境

需要提前下载Java11压缩包,解压到指定位置。


这里我进行了如下配置:

$ vim ~/.bash_profile 

export JAVA_HOME=$HOME/3rd/jdk-11.0.4
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH

生效环境变量

$ source ~/.bash_profile

验证是否生效,如果显示是你部署的jdk目录路径,那么就生效成功了。

$ which java
~/3rd/jdk-11.0.4/bin/java


普通用户下载安装包

官网地址:https://github.com/yahoo/CMAK

这里以3.0.0.5版本为例,进行下载。

$ wget https://github.com/yahoo/CMAK/releases/download/3.0.0.5/cmak-3.0.0.5.zip


解压安装包,并进入解压后的目录。

$ unzip  cmak-3.0.0.5.zip
$ cd cmak-3.0.0.5


修改配置文件application.conf


$ vim cmak-3.0.0.5/conf/application.conf

用上面的命令编辑打开文件,将下面的两个配置项配置成你实际的kafka集群对应的zookeeper地址。

kafka-manager.zkhosts="kafka-manager-zookeeper:2181"
cmak.zkhosts="kafka-manager-zookeeper:2181"


启动服务


默认使用9000端口,如果端口占用,可以通过参数指定端口。

$ bin/cmak -Dconfig.file=conf/application.conf  -Dhttp.port=9001


效果图



1.点击上图的“Add Cluster"进入添加集群向导。

2.配置要管理的Kafka集群信息

注意:如果需要管理监控的Kafka集群已经开启JMX_PORT,那么就可以勾选额外蓝色的选项,否则不要勾选,按照默认的不勾选即可。


如果有报错内容是这个:
Yikes! KeeperErrorCode = Unimplemented for /kafka-manager/mutex Try again.
那么你需要升级zookeeper到3.5+版本。



3.创建成功后,你就可以看到你的Kafka信息。




结束语


通过这个管理工具,我们可以进行Topic(主题)、分区等操作,不再需要通过命令行去调用Kafka集群获取信息,提高我们的效率。


补充一句:我之前一直用的是kafka-manager/archive/1.3.3.23.tar.gz的压缩包,新版本部署后效果是一样的。如果你所部署的kafka集群不支持最新CMAK的要求,可以下载1.3.3.23.tar.gz版本试试。



感谢大家的耐心观看,码字不易,希望能帮助到你。

我是testerzhang,喜欢技术知识的可以关注,谢谢。

相关推荐

当Frida来“敲”门(frida是什么)

0x1渗透测试瓶颈目前,碰到越来越多的大客户都会将核心资产业务集中在统一的APP上,或者对自己比较重要的APP,如自己的主业务,办公APP进行加壳,流量加密,投入了很多精力在移动端的防护上。而现在挖...

服务端性能测试实战3-性能测试脚本开发

前言在前面的两篇文章中,我们分别介绍了性能测试的理论知识以及性能测试计划制定,本篇文章将重点介绍性能测试脚本开发。脚本开发将分为两个阶段:阶段一:了解各个接口的入参、出参,使用Python代码模拟前端...

Springboot整合Apache Ftpserver拓展功能及业务讲解(三)

今日分享每天分享技术实战干货,技术在于积累和收藏,希望可以帮助到您,同时也希望获得您的支持和关注。架构开源地址:https://gitee.com/msxyspringboot整合Ftpserver参...

Linux和Windows下:Python Crypto模块安装方式区别

一、Linux环境下:fromCrypto.SignatureimportPKCS1_v1_5如果导包报错:ImportError:Nomodulenamed'Crypt...

Python 3 加密简介(python des加密解密)

Python3的标准库中是没多少用来解决加密的,不过却有用于处理哈希的库。在这里我们会对其进行一个简单的介绍,但重点会放在两个第三方的软件包:PyCrypto和cryptography上,我...

怎样从零开始编译一个魔兽世界开源服务端Windows

第二章:编译和安装我是艾西,上期我们讲述到编译一个魔兽世界开源服务端环境准备,那么今天跟大家聊聊怎么编译和安装我们直接进入正题(上一章没有看到的小伙伴可以点我主页查看)编译服务端:在D盘新建一个文件夹...

附1-Conda部署安装及基本使用(conda安装教程)

Windows环境安装安装介质下载下载地址:https://www.anaconda.com/products/individual安装Anaconda安装时,选择自定义安装,选择自定义安装路径:配置...

如何配置全世界最小的 MySQL 服务器

配置全世界最小的MySQL服务器——如何在一块IntelEdison为控制板上安装一个MySQL服务器。介绍在我最近的一篇博文中,物联网,消息以及MySQL,我展示了如果Partic...

如何使用Github Action来自动化编译PolarDB-PG数据库

随着PolarDB在国产数据库领域荣膺桂冠并持续获得广泛认可,越来越多的学生和技术爱好者开始关注并涉足这款由阿里巴巴集团倾力打造且性能卓越的关系型云原生数据库。有很多同学想要上手尝试,却卡在了编译数据...

面向NDK开发者的Android 7.0变更(ndk android.mk)

订阅Google官方微信公众号:谷歌开发者。与谷歌一起创造未来!受Android平台其他改进的影响,为了方便加载本机代码,AndroidM和N中的动态链接器对编写整洁且跨平台兼容的本机...

信创改造--人大金仓(Kingbase)数据库安装、备份恢复的问题纪要

问题一:在安装KingbaseES时,安装用户对于安装路径需有“读”、“写”、“执行”的权限。在Linux系统中,需要以非root用户执行安装程序,且该用户要有标准的home目录,您可...

OpenSSH 安全漏洞,修补操作一手掌握

1.漏洞概述近日,国家信息安全漏洞库(CNNVD)收到关于OpenSSH安全漏洞(CNNVD-202407-017、CVE-2024-6387)情况的报送。攻击者可以利用该漏洞在无需认证的情况下,通...

Linux:lsof命令详解(linux lsof命令详解)

介绍欢迎来到这篇博客。在这篇博客中,我们将学习Unix/Linux系统上的lsof命令行工具。命令行工具是您使用CLI(命令行界面)而不是GUI(图形用户界面)运行的程序或工具。lsoflsof代表&...

幻隐说固态第一期:固态硬盘接口类别

前排声明所有信息来源于网络收集,如有错误请评论区指出更正。废话不多说,目前固态硬盘接口按速度由慢到快分有这几类:SATA、mSATA、SATAExpress、PCI-E、m.2、u.2。下面我们来...

新品轰炸 影驰SSD多款产品登Computex

分享泡泡网SSD固态硬盘频道6月6日台北电脑展作为全球第二、亚洲最大的3C/IT产业链专业展,吸引了众多IT厂商和全球各地媒体的热烈关注,全球存储新势力—影驰,也积极参与其中,为广大玩家朋友带来了...