kafkatools 第2页

架构师之路-如何建立高可用消息中间件kafka

一、熟悉kafkalServer-1broker其实就是kafka的server，因为producer和consumer都要去连它。Broker主要还是做存储用。lServer-2是zookeeper的server端，zookeeper的具体作用你可以去官网查，在这里你可以先想象，它维持了一张...

kafka新老集群平滑迁移实战 kafka集群数据迁移

前言公司一直使用云上的kafka服务，随着业务规模和体量的增大，使用云上的服务成本相对比较高，所以考虑本地自建kafka集群对外提供服务。因此，需要把正在运行的还在使用云上kafka的业务服务迁移到本地自建集群上。要求代码改动小升级过程中的稳定性升级后消息发送与消费的正确性迁移方案1、双写/双读顾名...

Kafka TO Doris 保姆级入门详解 kafka tools

导读本文主要分享如何快速将Kafka数据接入至Doris。全文目录：环境信息Kafka介绍Kafka安装部署RoutineLoad介绍RoutineLoad体验RoutineLoad常见问题环境信息1.硬件信息CPU：4CCPU架构：ARM内存：8G硬盘：66GSSD2.软件信息VM镜...

Kafka集群部署文档 kafka集群安装部署

一、部署JDK官网下载jdk版本https://www.oracle.com/java/technologies/javase/jdk11-archive-downloads.html解压安装tarxzvfjdk-11.0.13_linux-x64_bin.tar.gz配置环境变量vi/etc...

聊聊 Kafka:编译 Kafka 源码并搭建源码环境

一、前言老周这里编译Kafka的版本是2.7，为啥采用这个版本来搭建源码的阅读环境呢？因为该版本相对来说比较新。而我为啥不用2.7后的版本呢？比如2.8，这是因为去掉了ZooKeeper，还不太稳定，生产环境也不太建议使用，所以以2.7版本进行源码搭建并研究。二、环境准备JDK：1...

kafka全面认知 kafka全称

什么是KafkaKafka是?款分布式消息发布和订阅系统，它的特点是?性能、?吞吐量。最早设计的?的是作为LinkedIn的活动流和运营数据的处理管道。这些数据主要是?来对?户做?户画像分析以及服务器性能数据的?些监控。所以kafka?开始设计的?标就是作为?个分布式、?吞吐量的消息系统，所以适合运...

Kafka 压测:3 台廉价服务器竟支撑 200 万 TPS

这篇文章是关于LinkedIn如何用kafka作为一个中央发布-订阅日志，在应用程序，流处理，hadoop数据提取之间集成数据。无论如何，kafka日志一个好处就是廉价。百万级别的TPS都不是很大的事情。因为日志比起数据库或者K-V存储是更简单的东西。我们的生产环境kafka集群每天每秒处理上千万读...

linux 源码搭建Kafka集群，100%有效

kafka源码编译安装准备三台服务器192.168.xxx.xxx192.168.xxx.xxx192.168.xxx.xxx安装kafka前安装JDK和zookeeper如下步骤：JDK配置安装官网地址（https://www.oracle.com/cn/java/te...

浅谈Kafka2.8+在Windows下的搭建与使用

前言：周末空闲时间无意找到了一套个性化推荐的源码，整体项目运用了SSH，HDFS，Flume，Hive，Kafka，Spark，Scala等。运行时，本来通过spark计算业务埋点数据时，却发现本地没有Kafka。因为我一直也没使用过Kafka，所以也作为新人，浅谈以下Kafka的环境安装与分别在P...

大数据Hadoop之——Kafka Streams原理介绍与简单应用示例

一、KafkaStreams概述官网文档：https://kafka.apache.org/32/documentation/streams/1）KafkaStreams是什么KafkaStreams是一套客户端类库，它建立在重要的流处理概念之上，它可以对存储在Kafka内的数据进行流式处理和...