kafka管理工具

Apache Kafka如何实现限流

ApacheKafka是一个分布式流处理平台，主要用于构建实时的数据管道和应用程序。它具有高吞吐量、可扩展性和持久性的特点。在Kafka中实现限流通常是为了防止生产者或消费者过载，以下是一些实现限流的方法：1.生产者限流a.调整max.request.size和batch.sizemax...

分布式服务必问，Kafka分区Leader选举过程

上篇文章讲了KafkaController的选举过程，Controller的选举是为了保证整个Kafka集群的高可用。今天讲一下KafkaLeaderReplica（领导者副本）的选举过程，LeaderReplica选举的目的是为了保证数据在分区副本之间的可靠传输和一致性。1.Leade...

还在用ES查日志吗，快看看石墨文档 Clickhouse 日志架构玩法

1背景石墨文档全部应用部署在Kubernetes上，每时每刻都会有大量的日志输出，我们之前主要使用SLS和ES作为日志存储。但是我们在使用这些组件的时候，发现了一些问题。成本问题：SLS个人觉得是一个非常优秀的产品，速度快，交互方便，但是SLS索引成本比较贵我们想减少SLS索引成本的时候，发现云...

干货 | Kafka不是数据库

理解流式基础设施的使用和滥用，这一点很重要。Kafka是一种消息代理，在过去几年中迅速流行起来。消息代理已经存在很长时间了，它们是一种专门用于在生产者和消费者系统之间“缓冲”消息的数据存储。Kafka已经相当流行，因为它是开源的，并且能够支持海量的消息。消息代理通常用于解耦数据的生产者和消费者。...

Kafka、RocketMQ、Pulsar全方位对比

消息队列也通常称为消息中间件，提到消息队列，大部分互联网人或多或少都听过该名词。对于后端工程师而言，更是日常开发中必备的一项技能。图片来自Pexels随着大数据时代的到来，Apache旗下的Kafka一度成为消息队列的代名词，提起消息队列大家自然而然就想到了Kafka。然而消息队列本身是工...

docker-compose部署Kafka

在服务与服务的通信过程中，除了基本的http接口调用，还可以使用消息队列，比如RabbitMQ、RocketMQ及Kafka。今天介绍一下Kafa的搭建，依然还是使用docker-compose进行部署。说到Kafka，就不得不提到ZooKeeper，两者在很长一段时间都是配合使用，但随着kafka...

kafka是什么?为什么要用kafka

快速了解：1、快速了解什么是kafka2、什么时候考虑使用中间件3、怎么选择消息中间件4、通过几个案例了解这些选择中间件的原因什么是kafkaKafka也是一个高吞吐量的支持分布式的、发布-订阅消息系统，可以用来解决应用解耦、异步通信、流量控制等问题，从而构建一个高效的消息同步或消息异步传输、可伸...

Kafka 详解:知识点汇总与使用场景

ApacheKafka是由LinkedIn开发并开源一个分布式的流式数据平台，后来逐渐发展成了Apache的顶级项目。其设计主要是用来构建实时的数据流应用，能够处理海量的、高吞吐量的数据流操作，支持了高可用和可扩展等特性。作为一个分布式消息队列系统，Kafka的到了广泛的应用，下面我们就从基本概念...

阿里开源通用算法平台 Alink

整理|若名出品|AI科技大本营近日，阿里云计算部门已在GitHub上发布了其Alink平台的“核心代码”，并上传了一系列算法库，它们支持批处理和流处理，这对支持机器学习任务至关重要。Alink是基于Flink的通用算法平台，由阿里巴巴计算平台PAI团队研发。除了支持阿里自...

深度解读:Kafka 放弃 ZooKeeper，消息系统兴起二次革命

作者|Tina采访嘉宾|韩欣、王国璋“我对该版本感到非常兴奋，但我们的业务特性决定了我们不能停机升级...”3月30日，Kafka背后的企业Confluent发布博客表示，在即将发布的2.8版本里，用户可在完全不需要ZooKeeper的情况下运行Kafka，该版本将依赖...