KfK学习

kafka的作用：收集和处理庞大的应用日志

环境配置顺序：

1. 安装 Java

Kafka 和 Zookeeper 都需要 Java 环境，因此首先需要安装 Java。

1. 下载并安装 Java JDK。

2. 设置环境变量 JAVA_HOME 和 PATH：

   • 右键点击“此电脑” -> “属性” -> “高级系统设置” -> “环境变量”。

   • 在“系统变量”中，找到 Path，点击“编辑”，添加 Java 的 bin 目录路径，例如：C:\Program Files\Java\jdk-11\bin。

   • 新建一个系统变量 JAVA_HOME，值为 Java 的安装路径，例如：C:\Program Files\Java\jdk-11。

2. 下载并解压 Kafka 和 Zookeeper

1. 下载 Kafka 和 Zookeeper：

   • Kafka：kafka_2.13-3.8.0

   • Zookeeper：apache-zookeeper-3.8.4

2. 解压下载的文件到指定目录，例如：

   • Kafka：C:\kafka_2.13-3.8.0

   • Zookeeper：C:\apache-zookeeper-3.8.4-bin

3. 配置 Zookeeper

1. 打开 Zookeeper 的配置文件 zoo.cfg，位于 C:\apache-zookeeper-3.8.4-bin\conf 目录下。

2. 编辑 zoo.cfg 文件，确保以下配置项存在：

   tickTime=2000
   dataDir=C:\apache-zookeeper-3.8.4-bin\data
   clientPort=2181

3. 创建 Zookeeper 的数据目录：

   mkdir C:\apache-zookeeper-3.8.4-bin\data

4. 启动 Zookeeper

1.打开命令提示符，导航到 Zookeeper 的 bin 目录：

cd C:\apache-zookeeper-3.8.4-bin\bin

2.启动 Zookeeper 服务：

zkServer.cmd

5. 配置 Kafka

1.打开 Kafka 的配置文件 server.properties，位于 C:\kafka_2.13-3.8.0\config 目录下。

2.编辑 server.properties 文件，确保以下配置项存在：

broker.id=0
listeners=PLAINTEXT://:9092
zookeeper.connect=localhost:2181
log.dirs=C:\kafka_2.13-3.8.0\logs

3.创建 Kafka 的日志目录：

mkdir C:\kafka_2.13-3.8.0\logs

6. 启动 Kafka

1.打开一个新的命令提示符窗口，导航到 Kafka 的 bin\windows 目录：

cd C:\kafka_2.13-3.8.0\bin\windows

2.启动 Kafka 服务：

kafka-server-start.bat ..\..\config\server.properties

7. 创建 Kafka 主题

1.在 Kafka 的 bin\windows 目录下，创建一个测试主题：

kafka-topics.bat --create --topic test --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1

8. 安装并配置 KafkaTool

1. 下载并安装 KafkaTool。

2. 打开 KafkaTool，点击“Add Cluster”添加 Kafka 集群。

3. 在“Broker List”中输入 localhost:9092，点击“OK”保存。

4. 在 KafkaTool 中，你应该能够看到刚刚创建的 test 主题。

9. 测试消息发送和接收

发送消息：

kafka-console-producer.bat --broker-list localhost:9092 --topic test

1.在命令提示符中输入消息，按回车发送。

接收消息：

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

2.在另一个命令提示符窗口中，查看接收到的消息。

注：最好使用127.0.0.1作为通讯地址

10. 通过 KafkaTool 发送和接收消息

1. 在 KafkaTool 中，选择 test 主题。

2. 点击“Produce”标签，输入消息并点击“Send”按钮发送消息。

3. 点击“Consume”标签，查看接收到的消息。

启动服务顺序：

1、zookeeper的 bin目录下命令行输入：

zkServer.cmd

2、kafka的bin\windows 目录下命令行输入：

kafka-server-start.bat ..\..\config\server.properties

3、打开kafkatool，ping通后查看通讯情况