kafkatools 第4页

连 Kafka 的稳定性都不懂，也敢说自己会用Kafka

一、事务1.事务简介1.1事务场景producer发的多条消息组成?个事务这些消息需要对consumer同时可?或者同时不可?producer可能会给多个topic，多个partition发消息，这些消息也需要能放在?个事务??，这就形成了?个典型的分布式事务kafka的应?场景经常是应?先消费...

在家办公这些天整理的Kafka知识点大全

图片来自PexelsKafka概述Kakfa是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据的实时处理领域。消息队列传统消息队列与新式消息队列模式如下图：上面是传统的消息队列，比如一个用户要注册信息，当用户信息写入数据库后，后面还有一些其他流程，比如发...

kafka的一些调试手段 kafka调度

简介Kafka是一个使用Scala和Java编写的快速、可扩展、高吞吐、可容错的分布式发布订阅消息系统。Kafka具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。在发布-订阅消息系统中，消息被持久化到一个topic中（即存放在磁盘中），消费者可以订阅一个或多个top...

云原生最佳实践系列 1:如何快速实现kafka性能压测

消息队列Kafka版实例类型的性能表现除了跟实例本身的规格相关外，与创建实例时选择的云盘类型也强相关，本实验通过相同规格的实例，不同的云盘类型来验证该因素的影响。消息队列KafkaServerless版本身实例未提供具体的云盘类型来选择，其性能表现只与购买实例时预留的写入、读取的指标有关，...

快速掌握Kafka系列《一》基本概念入门

目录一、前言二、简介三、周边生态四、安装1、linux1.1、依赖准备1.2、Kakfa安装2、window环境五、基础知识-官方术语1、event（事件）2、producer（生产者）3、consumer（消费者）4、brok...

Kafka 跨集群同步方案 kafka同步发送 性能

该方案解决Kafka跨集群同步、创建Kafka集群镜像等相关问题，主要使用Kafka内置的MirrorMaker工具实现。Kafka镜像即已有Kafka集群的副本。下图展示如何使用MirrorMaker工具创建从源Kafka集群（sourcecluster）到目标Kafka集群（targetcl...

Kafka日志文件格式及刷写清理策略

Kafka作为一个高吞吐的消息中间件和传统的消息中间件一个很大的不同点就在于它的消息实际上是以日志的方式默认保存在/tmp/kafka-logs文件夹中的。Kafka的持久化策略更像Redis——数据都在内存中，定期刷写到硬盘上持久化存储，以保证重启的时候数据不丢。刷写策略由log.flush.*...

windows 搭建kafka、zookeeper环境

安装配置java运行环境，也就是jdk，不多说不了解自行搜索教程安装zka.下载地址：http://mirrors.hust.edu.cn/apache/zookeeper/建议下载稳定版，也就是stable版本，选择可执行的bin包b.将安装包解压到自己指定的文件夹，如D:\Java\zook...

kafka-manager安装及添加clusters

一、kafka-manager安装1、下载包使用Git或者直接从Releases中下载，wget2、解压安装包tar-xf2.0.0.2.tar.gzcdkafka-manager-2.0.0.2/3、sbt编译1）yum安装sbt（因为kafka-manager需要sbt编译）[admin...

kafka 单机搭建及集群部署 kafka单机版搭建

kafka单机搭建及集群部署一：单机下载地址：http://mirror.bit.edu.cn/apache/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz/opt/kafka_2.11-0.9.0.1/bin/kafka-topics.sh-zookeeperh1:...