Kafka Manager引入

发表于

Kafka Manager

为简化维护kafka集群的工作，yahoo构建了基于Web的kafka管理工具。通过kafka manager, 可以直观地发现集群中topic、partition的使用与分布等。
Kafka Manager Github地址
Kafka概念介绍

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
yum install -y java-1.8.0-openjdk
yum install java-devel
git clone https://github.com/yahoo/kafka-manager
cd kafka-manager
curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo
mv bintray-sbt-rpm.repo /etc/yum.repos.d/
 
yum clean all
yum repolist all
yum install sbt -y
# 资源为墙外资源, 构建时间较长
sbt clean dist
# 成功后解压 kafka-manager-1.3.3.21.zip
cd target/universal
unzip kafka-manager-1.3.3.21.zip
# 配置zk地址
vim /conf/application.conf
kafka-manager.zkhosts="$domain1:2181,$domain2:2181,$domain3:2181"
# 后台启动, 选择未使用的端口号，默认为9000
nohup ./kafka-manager -Dhttp.port=8096 &
# 浏览器访问
$kafka-manager-domain:8096

安装参考

Kafka Api

以Kafka Api2.1(官方文档)为例。

安装

1
2
3
4
5
curl -o kafka-util2_1.tgz http://mirror.bit.edu.cn/apache/kafka/2.1.0/kafka_2.12-2.1.0.tgz
tar -xzvf kafka-util2_1.tgz
cd kafka_2.12-2.1.0/bin

命令示例

1.列出所有消费组

1
2
3
4
5
sh kafka-consumer-groups.sh --bootstrap-server $ip:9092 --list
# 返回
test_group1
test_group2

2.查看指定消费组信息

1
2
3
4
5
sh kafka-consumer-groups.sh --bootstrap-server  $ip:9092 --group test_group1 --describe
# 返回
TOPIC                PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID                                                                          HOST            CLIENT-ID
test_topic1          0          -               11              -               consumer-1-/172.19.2.23-2018-12-09 13:28:34:066-5ac252bc-83bd-4178-a364-21a3bfda7ce1 /172.19.2.23    consumer-1

3.消费某个topic的消息

1
sh kafka-console-consumer.sh --bootstrap-server $ip:9092 --topic test_topic1 --from-beginning

腾讯云CKafka手册: 参考链接