2024年运维最新吊炸天的 Kafka 图形化工具 Eagle，必须推荐给你！(2)

在profile文件中添加PATH# 使修改后的profile文件生效# 在profile文件中添加PATH# 使修改后的profile文件生效。

2401_83946826

167人浏览 · 2024-05-01 13:01:49

2401_83946826 · 2024-05-01 13:01:49 发布


* 会显示如下Topic信息；

Topic: consoleTopic TopicId: tJmxUQ8QRJGlhCSf2ojuGw PartitionCount: 1 ReplicationFactor: 1 Configs: segment.bytes=1073741824
Topic: consoleTopic Partition: 0 Leader: 0 Replicas: 0 Isr: 0


* 向Topic中发送消息：

bin/kafka-console-producer.sh --topic consoleTopic --bootstrap-server 192.168.5.78:9092


* 直接在命令行中输入信息即可发送；


![](https://img-blog.csdnimg.cn/img_convert/8292a58ca1d31cff7c99afb902a78288.png)


* 重新打开一个窗口，通过如下命令可以从Topic中获取消息：

bin/kafka-console-consumer.sh --topic consoleTopic --from-beginning --bootstrap-server 192.168.5.78:9092


![](https://img-blog.csdnimg.cn/img_convert/d754f8875efe13a0bbea551c89fd7985.png)


### 


### 


### **Kafka可视化**



> 
> 使用命令行操作Kafka确实有点麻烦，接下来我们试试可视化工具`kafka-eagle`。
> 
> 
> 


#### 安装JDK



> 
> 如果你使用的是CentOS的话，默认没有安装完整版的JDK，需要自行安装！
> 
> 
> 


* 下载JDK 8，下载地址：https://mirrors.tuna.tsinghua.edu.cn/AdoptOpenJDK/


![](https://img-blog.csdnimg.cn/img_convert/19ad75191a506ed0dc7b923441c80856.png)


* 下载完成后将JDK解压到指定目录；

cd /mydata/java
tar -zxvf OpenJDK8U-jdk_x64_linux_xxx.tar.gz
mv OpenJDK8U-jdk_x64_linux_xxx.tar.gz jdk1.8


* 在`/etc/profile`文件中添加环境变量`JAVA_HOME`。

vi /etc/profile
# 在profile文件中添加
export JAVA_HOME=/mydata/java/jdk1.8
export PATH= $P A T H :$ JAVA_HOME/bin
# 使修改后的profile文件生效
. /etc/profile


#### 安装`kafka-eagle`


* 下载`kafka-eagle`的安装包，下载地址：https://github.com/smartloli/kafka-eagle-bin/releases


![](https://img-blog.csdnimg.cn/img_convert/e0e63c50ff2369662cb6617bffbcc875.png)


* 下载完成后将`kafka-eagle`解压到指定目录；

cd /mydata/kafka/
tar -zxvf kafka-eagle-web-2.0.5-bin.tar.gz


* 在`/etc/profile`文件中添加环境变量`KE_HOME`；

vi /etc/profile
# 在profile文件中添加
export KE_HOME=/mydata/kafka/kafka-eagle-web-2.0.5
export PATH= $P A T H :$ KE_HOME/bin
# 使修改后的profile文件生效
. /etc/profile


* 安装MySQL并添加数据库`ke`，`kafka-eagle`之后会用到它；
* 修改配置文件`$KE_HOME/conf/system-config.properties`，主要是修改Zookeeper的配置和数据库配置，注释掉sqlite配置，改为使用MySQL；

######################################

multi zookeeper & kafka cluster list

######################################
kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=localhost:2181

######################################

kafka eagle webui port

######################################
kafka.eagle.webui.port=8048

######################################

kafka sqlite jdbc driver address

######################################

kafka.eagle.driver=org.sqlite.JDBC

kafka.eagle.url=jdbc:sqlite:/hadoop/kafka-eagle/db/ke.db

kafka.eagle.username=root

kafka.eagle.password=www.kafka-eagle.org

######################################

kafka mysql jdbc driver address

######################################
kafka.eagle.driver=com.mysql.cj.jdbc.Driver
kafka.eagle.url=jdbc:mysql://localhost:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=root


* 使用如下命令启动`kafka-eagle`；

$KE_HOME/bin/ke.sh start


* 命令执行完成后会显示如下信息，但并不代表服务已经启动成功，还需要等待一会；


![](https://img-blog.csdnimg.cn/img_convert/1103b0cea9a0931d8cfb5a3de33943cf.png)


* 再介绍几个有用的`kafka-eagle`命令：

# 停止服务
$KE_HOME/bin/ke.sh stop
# 重启服务
$KE_HOME/bin/ke.sh restart
# 查看服务运行状态
$KE_HOME/bin/ke.sh status
# 查看服务状态
$KaTeX parse error: Expected 'EOF', got '#' at position 25: \dotsin/ke.sh stats #̲ 动态查看服务输出日志 tai\dots$ KE_HOME/logs/ke_console.out


* 启动成功可以直接访问，输入账号密码`admin:123456`，访问地址：http://192.168.5.78:8048/


![](https://img-blog.csdnimg.cn/img_convert/65fb41196e36fc2f5e747351bca73260.png)


* 登录成功后可以访问到Dashboard，界面还是很棒的！


![](https://img-blog.csdnimg.cn/img_convert/81bc6cd5547033313f2799ca23f65d51.png)


#### 可视化工具使用


* 之前我们使用命令行创建了Topic，这里可以直接通过界面来创建；


![](https://img-blog.csdnimg.cn/img_convert/f82827a24e51b0dd085f90662e3d29c3.png)


* 我们还可以直接通过`kafka-eagle`来发送消息；


![](https://img-blog.csdnimg.cn/img_convert/0cbf0b5e282f648ceaea7e01aad28dd7.png)


* 我们可以通过命令行来消费Topic中的消息；

bin/kafka-console-consumer.sh --topic testTopic --from-beginning --bootstrap-server 192.168.5.78:9092


* 控制台获取到信息显示如下；


![](https://img-blog.csdnimg.cn/img_convert/f03dccd5f2fe8811f201f55aa8091bce.png)


* 还有一个很有意思的功能叫`KSQL`，可以通过SQL语句来查询Topic中的消息；


![](https://img-blog.csdnimg.cn/img_convert/5a8a3a591116324501d8c4a6465a9c60.png)


* 可视化工具自然少不了监控，如果你想开启`kafka-eagle`对Kafka的监控功能的话，需要修改Kafka的启动脚本，暴露JMX的端口；

vi kafka-server-start.sh
# 暴露JMX端口
if [ “x$KAFKA_HEAP_OPTS” = “x” ]; then
export KAFKA_HEAP_OPTS=“-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70”
export JMX_PORT=“9999”
fi


* 来看下监控图表界面；


![](https://img-blog.csdnimg.cn/img_convert/3dd0b0f28361a68b4735c3696fd74870.png)


* 还有一个很骚气的监控大屏功能；


![](https://img-blog.csdnimg.cn/img_convert/6e7f602a65e09b9723c286e6d3539320.png)


* 还有Zookeeper的命令行功能，总之功能很全，很强大！


![](https://img-blog.csdnimg.cn/img_convert/4c2071b2317efbdd4215852ab0b1028a.png)


### 


### 


### **SpringBoot整合Kafka**



> 
> 在SpringBoot中操作Kafka也是非常简单的，比如Kafka的消息模式很简单，没有队列，只有Topic。
> 
> 
> 


* 首先在应用的`pom.xml`中添加Spring Kafka依赖；

org.springframework.kafka spring-kafka 2.7.1


* 修改应用配置文件`application.yml`，配置Kafka服务地址及consumer的`group-id`；

server:
  port: 8088
spring:
  kafka:
    bootstrap-servers: ‘192.168.5.78:9092’
    consumer:
      group-id: “bootGroup”


* 创建一个生产者，用于向Kafka的Topic中发送消息；

/**
* Kafka消息生产者
* Created by macro on 2021/5/19.
*/
@Component
public class KafkaProducer {
@Autowired
private KafkaTemplate kafkaTemplate;

public void send(String message){
kafkaTemplate.send(“bootTopic”,message);
}
}


* 创建一个消费者，用于从Kafka中获取消息并消费；

/**
* Kafka消息消费者
* Created by macro on 2021/5/19.
*/
@Slf4j
@Component
public class KafkaConsumer {

最全的Linux教程，Linux从入门到精通

======================

linux从入门到精通(第2版)
Linux系统移植
Linux驱动开发入门与实战
LINUX 系统移植第2版
Linux开源网络全栈详解从DPDK到OpenFlow

华为18级工程师呕心沥血撰写3000页Linux学习笔记教程

第一份《Linux从入门到精通》466页

====================

内容简介

====

本书是获得了很多读者好评的Linux经典畅销书**《Linux从入门到精通》的第2版**。本书第1版出版后曾经多次印刷，并被51CTO读书频道评为“最受读者喜爱的原创IT技术图书奖”。本书第﹖版以最新的Ubuntu 12.04为版本，循序渐进地向读者介绍了Linux 的基础应用、系统管理、网络应用、娱乐和办公、程序开发、服务器配置、系统安全等。本书附带1张光盘，内容为本书配套多媒体教学视频。另外,本书还为读者提供了大量的Linux学习资料和Ubuntu安装镜像文件，供读者免费下载。

华为18级工程师呕心沥血撰写3000页Linux学习笔记教程