Kafka集群的搭建
一、背景 最近在学习 kafka ,此处记录一下 mac 上 搭建 kafka 集群的步骤。 二、安装软件 由于 kafka 依赖 zookeeper 因此需要安装 zookeeper ,而 kafka 是基于 scala 语言编写, scala 又是基于 jdk 的,因此需要安装 jdk 。 JDK , 推荐在 jdk8 及以上的版Ka本,此处安装 jdk 略。 zookeeper , 在本机搭建一个 3 个节点的 zk 伪集群。 kafka 在本地搭建一个3个节点的 kafka 集群。 三、安装步骤 1、搭建一个 3 个节点的 zk 伪集群 ip客户端连接端口集群选举接口集群原子广播接口server.id中id的值节点名,目前没用到,这个配置fk到hosts文件中 注意: server.id 的中的 id 的配置是在 zoo.cfg 配置文件的 dataDir 配置项指定的目录中 创建 myid 文件指定的。 1、下载 zookeeper 安装包 get https://mirror.bit.edu.cn/apache/zookeepera集/zookeeper-3.6.2/apache-zookeeper-3.6.2-bin.tar.gz 2、解压三份,并放置在 zookeeper 目录中 3、修改 zookeeper 配置文件,此处以 zk01 为例子 修改 conf 目录下的 zoo_sample.cfg 为 zoo.cfg 编辑群的 zoo.cfg 配置文件 注意: 此处拿 zk01 为示例编写,因为是本地上启动多个,所以 需求修改端口 各个服务器上的 myid 文件对应的值 都应该不一样,且唯一。 dataDir 的路径需要修改。 其余的配置可以看着修改,看具体的情况。 启动3个zk节点 分别进入到 zk01/bin , zk02/bin ,搭建 zk03/bin 目录下执行 如下命令 ./zkServer.sh --config ../conf start 连接 zk 集群 ./zkCli.sh -server 127.0.0.1:2181,127.0.0.1:3181Ka,127.0.0.1:4181 2、搭建一个3个节点的 kafka 集群 注意: broker.id 的值必须唯一,且是数字。 1、下载 kafka https://www.apache.org/dyn/closer.cgi?path=/kafka/2.6.0/kafka_fk2.13-2.6.0.tgz 2、解压3份,并放置到 kafka 目录中 3、修改 server.properties 文件,此处以 kafka01 为例子 需要修改的属性 ,此处以 kafka01 为示例,不同的接口修改具体的值 4、启动3个kafka节点 依次进入到 kafka01/a集bin , kafka02/bin , kafka03/bin 目录,执行如下命令 ./kafka-server-start.sh ../config/server.properties & 5、kafka测试 此处以 kafka01 作为示例 1、创建一个主题 b群的in/kafka-topics.sh --create --topic test-001 --replication-factor 1 --partitions 1 --bootstrap-se搭建rver 127.0.0.1:9092,127.0.0.1:9093,127.0.0.1:9094 2、查看主题信息 bin/kafka-topics.sh --describe --bootstrap-server 127.0Ka.0.1:9092,127.0.0.1:9093,127.0.0.1:9094 --topic test-001 3、往创建的主题中发布一条信息 bin/kafka-console-producer.sh --topic test-fk001 --bootstrap-server 127.0.0.1:9092,127.0.0.1:9093,127.0.0.1:9094 4、读取刚刚往主题中发布的消息 bin/kafka-console-consumer.sh --topia集c test-001 --from-beginning --bootstrap-server 127.0.0.1:9092,127.0.0.1:9093,127.0.0.1:9094 到此,一个简单的可用的kafka集群就搭建群的完毕了。
- 最近发表
- 随机阅读
-
- 鍒嗘瀽甯堬細璋锋瓕Facebook绗�簩瀛e害涓氱哗寮哄姴 鏈�彈鑻规灉闅愮�鏀跨瓥褰卞搷
- YouTube 推新功能提升电视观看体验,支持二维码购物和 AI 画质优化
- 标签: 九阳股份 哈基米 小家电
- 标签: 生数科技 Vidu Q3 阿里云
- 云计算核心技术Docker教程:Docker Swarm 模式从灾难中恢复
- 腾讯云正式发布遨驰云原生操作系统
- 从“几何深度学习”看深度学习江湖的统一
- 标签: 郭美美 微博 劳斯莱斯
- 云计算核心技术Docker教程:Docker守护程序目录
- Figure人形机器人完成超10亿美元C轮融资,估值达390亿美元
- 标签: 黑芝麻智能 亿智电子 AI芯片 SoC
- AI模型在加密货币交易平台同台竞技:DeepSeek暂时领先,总资产增长130%
- DeepSeek-V4 发布!性能直逼顶级闭源模型,百万上下文 1 元起
- 俄罗斯称月底前对谷歌开出巨额罚单:最高可达2.4亿美元
- 19天备战 691亿次红包互动 京东云独立抗住了
- 标签: 华为 乾崑ADS 问界 阿维塔
- 标签: 抖音 金融账号 资质认证 内容规范
- 教你一次性成功安装K8S集群(基于一主两从模式)
- 百度电商引入大模型,重塑风控审核流程,商家用户双赢!
- 标签: 王腾 小米 科技+健康 可穿戴设备
- 搜索
-
- 友情链接