百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

Kafka常用命令使用说明 kafka --from-beginning

bigegpt 2024-10-19 02:48 8 浏览

查看当前Kafka集群中Topic的情况

bin/kafka-topics.sh --list --zookeeper127.0.0.1:2181

列出该zookeeper中记录在案的topic列表,只有名字

查看Topic的分区和副本情况

命令:

bin/kafka-topics.sh --describe --zookeeper 127.0.0.1:2181 --topic test0

运行结果:

  Topic:test0   PartitionCount:16       ReplicationFactor:3     Configs:
  
  Topic: test0  Partition: 0    Leader: 0       Replicas: 0,2,1 Isr: 1,0,2

   Topic: test0  Partition: 1    Leader: 1       Replicas: 1,2,0 Isr: 1,0,2

   Topic: test0  Partition: 2    Leader: 2       Replicas: 2,0,1 Isr: 1,0,2

   Topic: test0  Partition: 3    Leader: 1       Replicas: 1,2,0 Isr: 1,0,2

   Topic: test0  Partition: 4    Leader: 2       Replicas: 2,0,1 Isr: 1,0,2

   Topic: test0  Partition: 5    Leader: 0       Replicas: 0,1,2 Isr: 1,0,2

   Topic: test0  Partition: 6    Leader: 1       Replicas: 1,0,2 Isr: 1,0,2

   Topic: test0  Partition: 7    Leader: 2       Replicas: 2,1,0 Isr: 1,0,2

   Topic: test0  Partition: 8    Leader: 2      Replicas: 2,0,1 Isr: 0,1,2

   Topic: test0  Partition: 9    Leader: 0       Replicas: 0,2,1 Isr: 0,1,2

   Topic: test0  Partition: 10   Leader: 1       Replicas: 1,0,2 Isr: 1,0,2

   Topic: test0  Partition: 11   Leader: 2       Replicas: 2,1,0 Isr: 1,0,2

   Topic: test0  Partition: 12   Leader: 0       Replicas: 0,2,1 Isr: 0,1,2

   Topic: test0  Partition: 13   Leader: 1       Replicas: 1,0,2 Isr: 1,0,2

   Topic: test0  Partition: 14   Leader: 2       Replicas: 2,1,0 Isr: 1,0,2

   Topic: test0  Partition: 15   Leader: 0       Replicas: 0,1,2 Isr: 0,1,2

结果分析:

第一行显示partitions的概况,列出了Topic名字,partition总数,存储这些partition的broker数

以下每一行都是其中一个partition的详细信息:

  • leader

是该partitons所在的所有broker中担任leader的broker id,每个broker都有可能成为leader

  • replicas

显示该partiton所有副本所在的broker列表,包括leader,不管该broker是否是存活,不管是否和leader保持了同步。

  • isr

in-sync replicas的简写,表示存活且副本都已同步的的broker集合,是replicas的子集

举例:

比如上面结果的第一行:Topic: test0 Partition:0 Leader: 0 Replicas: 0,2,1 Isr: 1,0,2

  • Partition: 0

该partition编号是0

  • Replicas: 0,2,1

代表partition0 在broker0,broker1,broker2上保存了副本

  • Isr: 1,0,2

代表broker0,broker1,broker2都存活而且目前都和leader保持同步

  • Leader: 0

代表保存在broker0,broker1,broker2上的这三个副本中,leader是broker0

leader负责读写,broker1、broker2负责从broker0同步信息,平时没他俩什么事

当producer发送一个消息时,producer自己会判断发送到哪个partiton上,如果发到了partition0上,消息会发到leader,也就是broker0上,broker0处理这个消息,broker1、broker2从broker0同步这个消息

如果这个broker0挂了,那么kafka会在Isr列表里剩下的broker1、broker2中选一个新的leader

创建Topic

命令:

bin/kafka-topics.sh --create --topic test0--zookeeper 127.0.0.1:2181 --config max.message.bytes=12800000 --config flush.messages=1 --partitions 5 --replication-factor 1

说明:

--topic后面的test0是topic的名称

--zookeeper应该和server.properties文件中的zookeeper.connect一样

--config指定当前topic上有效的参数值

--partitions指定topic的partition数量,如果不指定该数量,默认是server.properties文件中的num.partitions配置值

--replication-factor指定每个partition的副本个数,默认1个

删除topic

比如删除test0这个topic

1,删除kafka的topic

命令:

bin/kafka-topics.sh --delete --zookeeper 127.0.0.1:2181 --topic test0

如果server.properties中没有把delete.topic.enable设为true,那么此时的删除并不是真正的删除,而是把topic标记为:marked for deletion

2,删除kafka中该topic相关的目录。

在server.properties中找到配置log.dirs,把该目录下test0相关的目录删掉

3,登录zookeeper client。

命令:

/home/ZooKeeper/bin/zkCli.sh

4,删除zookeeper中该topic相关的目录

命令:

rm -r /kafka/config/topics/test0

rm -r /kafka/brokers/topics/test0

rm -r /kafka/admin/delete_topics/test0 (topic被标记为marked for deletion时需要这个命令)

5,重启zookeeper和broker

查看topic消费到的offset

命令:

bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 127.0.0.1:9092 --topic test0 --time -1

运行结果:

test0:0:177496

test0:1:61414


查看topic各个分区的消息的信息

命令:

bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group testgroup --topic test0 --zookeeper 127.0.0.1:2181

运行结果:

GROUP TOPIC PID OFFSET LOGSIZE LAG

消费者组 topic名字 partition id 当前已消费的条数 总条数 未消费的条数


修改topic的partition数量(只能增加不能减少)

命令:

bin/kafka-topics.sh --alter --zookeeper 127.0.0.1:2183 --partitions 10 --topic test0

修改topic的副本数

1,自己写一个文件addReplicas.json,文件的内容是JSON格式的,比如:

 {undefined

   "version": 1,

   "partitions": [
   
 {undefined

       "topic": "test0",

       "partition": 0,

       "replicas": [

            1,2

       ]

   },

   {undefined

       "topic": "test0",

       "partition": 1,

       "replicas": [

            1,2,3

       ]

   },

   {undefined

       "topic": "test0",

       "partition": 2,

       "replicas": [

            1,2,3

       ]

   }

]

}

2,运行命令:

bin/kafka-reassign-partitions.sh --zookeeper 127.0.0.1:9092 --reassignment-json-file addReplicas.json --execute

kafka服务启动

命令:

bin/kafka-server-start.sh -daemon config/server.properties

下线broker

比如下线broker0

命令:

bin/kafka-run-class.sh kafka.admin.ShutdownBroker --zookeeper 127.0.0.1:2181 --broker 0 --num.retries 3 --retry.interval.ms 60

shutdown broker

相关推荐

当Frida来“敲”门(frida是什么)

0x1渗透测试瓶颈目前,碰到越来越多的大客户都会将核心资产业务集中在统一的APP上,或者对自己比较重要的APP,如自己的主业务,办公APP进行加壳,流量加密,投入了很多精力在移动端的防护上。而现在挖...

服务端性能测试实战3-性能测试脚本开发

前言在前面的两篇文章中,我们分别介绍了性能测试的理论知识以及性能测试计划制定,本篇文章将重点介绍性能测试脚本开发。脚本开发将分为两个阶段:阶段一:了解各个接口的入参、出参,使用Python代码模拟前端...

Springboot整合Apache Ftpserver拓展功能及业务讲解(三)

今日分享每天分享技术实战干货,技术在于积累和收藏,希望可以帮助到您,同时也希望获得您的支持和关注。架构开源地址:https://gitee.com/msxyspringboot整合Ftpserver参...

Linux和Windows下:Python Crypto模块安装方式区别

一、Linux环境下:fromCrypto.SignatureimportPKCS1_v1_5如果导包报错:ImportError:Nomodulenamed'Crypt...

Python 3 加密简介(python des加密解密)

Python3的标准库中是没多少用来解决加密的,不过却有用于处理哈希的库。在这里我们会对其进行一个简单的介绍,但重点会放在两个第三方的软件包:PyCrypto和cryptography上,我...

怎样从零开始编译一个魔兽世界开源服务端Windows

第二章:编译和安装我是艾西,上期我们讲述到编译一个魔兽世界开源服务端环境准备,那么今天跟大家聊聊怎么编译和安装我们直接进入正题(上一章没有看到的小伙伴可以点我主页查看)编译服务端:在D盘新建一个文件夹...

附1-Conda部署安装及基本使用(conda安装教程)

Windows环境安装安装介质下载下载地址:https://www.anaconda.com/products/individual安装Anaconda安装时,选择自定义安装,选择自定义安装路径:配置...

如何配置全世界最小的 MySQL 服务器

配置全世界最小的MySQL服务器——如何在一块IntelEdison为控制板上安装一个MySQL服务器。介绍在我最近的一篇博文中,物联网,消息以及MySQL,我展示了如果Partic...

如何使用Github Action来自动化编译PolarDB-PG数据库

随着PolarDB在国产数据库领域荣膺桂冠并持续获得广泛认可,越来越多的学生和技术爱好者开始关注并涉足这款由阿里巴巴集团倾力打造且性能卓越的关系型云原生数据库。有很多同学想要上手尝试,却卡在了编译数据...

面向NDK开发者的Android 7.0变更(ndk android.mk)

订阅Google官方微信公众号:谷歌开发者。与谷歌一起创造未来!受Android平台其他改进的影响,为了方便加载本机代码,AndroidM和N中的动态链接器对编写整洁且跨平台兼容的本机...

信创改造--人大金仓(Kingbase)数据库安装、备份恢复的问题纪要

问题一:在安装KingbaseES时,安装用户对于安装路径需有“读”、“写”、“执行”的权限。在Linux系统中,需要以非root用户执行安装程序,且该用户要有标准的home目录,您可...

OpenSSH 安全漏洞,修补操作一手掌握

1.漏洞概述近日,国家信息安全漏洞库(CNNVD)收到关于OpenSSH安全漏洞(CNNVD-202407-017、CVE-2024-6387)情况的报送。攻击者可以利用该漏洞在无需认证的情况下,通...

Linux:lsof命令详解(linux lsof命令详解)

介绍欢迎来到这篇博客。在这篇博客中,我们将学习Unix/Linux系统上的lsof命令行工具。命令行工具是您使用CLI(命令行界面)而不是GUI(图形用户界面)运行的程序或工具。lsoflsof代表&...

幻隐说固态第一期:固态硬盘接口类别

前排声明所有信息来源于网络收集,如有错误请评论区指出更正。废话不多说,目前固态硬盘接口按速度由慢到快分有这几类:SATA、mSATA、SATAExpress、PCI-E、m.2、u.2。下面我们来...

新品轰炸 影驰SSD多款产品登Computex

分享泡泡网SSD固态硬盘频道6月6日台北电脑展作为全球第二、亚洲最大的3C/IT产业链专业展,吸引了众多IT厂商和全球各地媒体的热烈关注,全球存储新势力—影驰,也积极参与其中,为广大玩家朋友带来了...