kafka 单机搭建及集群部署 kafka单机版搭建

kafka 单机搭建及集群部署

一：单机

下载地址：

http://mirror.bit.edu.cn/apache/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

/opt/kafka_2.11-0.9.0.1/bin/kafka-topics.sh -zookeeper h1:2180,h2:2180,h3:2180 -topic hktest -repli

cation-factor 2 -partitions 5 -create

说明：

节点：0

节点：1

节点：2

partions : 分区，1个topic 分多个区，随机分布在多个节点上

leader: 该分区负责读写所在的节点

replicas: 副本数及所在的节点

ISR：可选为 leader 的节点

#zookeeper 连接地址

zookeeper.connect=192.168.211.130:2180,192.168.211.131:2180,192.168.211.132:2180/kafka

这里需要说明的是，默认Kafka会使用ZooKeeper默认的/路径，这样有关Kafka的ZooKeeper配置就会散落在根路径下面，如果你有其他的应用也在使用ZooKeeper集群，查看ZooKeeper中数据可能会不直观，所以强烈建议指定一个chroot路径，直接在zookeeper.connect配置项中指定：

手动创建：

在ZooKeeper执行如下命令创建chroot路径：

create /kafka ''

这样，每次连接Kafka集群的时候（使用--zookeeper选项），也必须使用带chroot路径的连接字符串，后面会看到。

二：集群方式

一：JDK部署

1.安装jdk

rpm -ivh jdk-8u71-linux-x64.rpm

2.配置环境变量

vi ~/.bash_profile 或 vi /etc/profile

#set java environment

JAVA_HOME=/usr/java/jdk1.8.0_71

JAVA_BIN=/usr/java/jdk1.8.0_71/bin

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

PATH=$JAVA_BIN:$PATH

export PATH JAVA_HOME CLASSPATH

source ~/.bash_profile

6.检测Java环境

java -version

java version "1.8.0_71"

Java(TM) SE Runtime Environment (build 1.8.0_71-b15)

Java HotSpot(TM) 64-Bit Server VM (build 25.71-b15, mixed mode)

vi /etc/profile

#set java environment

JAVA_HOME=/usr/java/jdk1.7.0_55

JAVA_BIN=/usr/java/jdk1.7.0_55/bin

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

PATH=$JAVA_BIN:$PATH

export PATH JAVA_HOME CLASSPATH

二：zookeeper 集群部署

参考 Zookeeper_配置管理.docx

三：kafka 集群节点部署

h1,h2,h3

1.解压文件：

cd /opt/tools

tar zxvf kafka_2.11-0.9.0.1.tgz

cp -rf kafka_2.11-0.9.0.1 /opt

2.配置文件

/opt/kafka_2.11-0.9.0.1/config/server.properties

#各节点的唯一标识,需要不一致

broker.id=0

#默认端口

#port=9092

#主机名称

host.name=h1

#日志目录

log.dirs=/opt/kafka-logs

#zookeeper 连接地址

zookeeper.connect=192.168.211.130:2180,192.168.211.131:2180,192.168.211.132:2180

四：启动zookeeper集群

cd /opt/cluster

sh zook.sh start

五：启动kafka 集群

cd /opt/cluster

sh kafka.sh start

六：测试

1.创建topic

h1

/opt/kafka_2.11-0.9.0.1/bin/kafka-topics.sh -zookeeper h1:2180,h2:2180,h3:2180 -topic hktest -replication-factor 2 -partitions 5 -create

2.查看topic

h1

/opt/kafka_2.11-0.9.0.1/bin/kafka-topics.sh -zookeeper h1:2180,h2:2180,h3:2180 -list

3.创建生产者

h1

/opt/kafka_2.11-0.9.0.1/bin/kafka-console-producer.sh -broker-list h1:9092,h2:9092,h3:9092 -topic hktest

4.创建消费者

h2

/opt/kafka_2.11-0.9.0.1/bin/kafka-console-consumer.sh -zookeeper h1:2180,h2:2180,h3:2180 - from-begining -topic hktest

5.创建生产者，并输入消息

6.在另外的节点上，创建消费者

交互过程

producer --> topic --> consumer

7.查看状态

/opt/kafka_2.11-0.9.0.1/bin/kafka-topics.sh --zookeeper h1:2180,h2:2180,h3:2180 --describe --topic hktest