系统运维 » kafka

Linux系统下kafka集群使用KRaft模式安装部署

qihang01 — Mon, 26 May 2025 07:10:26 +0000

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。操作系统：CentOS-7.x\8.x\‌AnolisOS‌\openEuler\Kylin-Server-V10等 kafka版本：kafka_2.12-3.9.1 三台服务器ip地址： 192.168.21.100，192.168.21.101，192.168.21.128 1、关闭selinux sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config setenforce 0 2、关闭防火墙 kafka默认使用tcp9092端口号，建议在内网环境下部署kafka集群，并且关闭防火墙。 CentOS-7.x默认使用的是firewall作为防火墙，关闭 systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 systemctl mask firewalld systemctl stop firewalld yum remove firewalld 3、安装jdk kafka依赖Java，需要安装java环境，我们使用Java21版本 Linux系统下安装Java JDK：https://www.osyunwei.com/archives/12872.html 4、安装配置zookeeper 在 Kafka 2.8.0 及其以上版本，引入了 KRaft 模式（Kafka Raft Metadata mode），不再依赖 ZooKeeper，所有元数据由 Kafka 自己通过 Raft 协议管理。使用 Kafka 内部的 Quorum [...]

查看全文

Linux系统下kafka集群安装部署

qihang01 — Sun, 30 Apr 2023 17:17:10 +0000

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。操作系统：CentOS-7.x kafka版本：kafka_2.12-3.4.0 三台服务器ip地址： 192.168.21.100，192.168.21.101，192.168.21.128 1、关闭selinux sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config setenforce 0 2、关闭防火墙 kafka默认使用tcp9092端口号，建议在内网环境下部署kafka集群，关闭服务器防火墙。 CentOS-7.x默认使用的是firewall作为防火墙，关闭 systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 systemctl mask firewalld systemctl stop firewalld yum remove firewalld 3、安装jdk kafka依赖Java，需要安装java环境，我们使用Java 1.8版本 Linux系统下安装Java JDK：https://www.osyunwei.com/archives/12872.html 4、安装配置zookeeper kafka依赖zookeeper，需要先安装部署，并且优先于kafka启动也可以使用kafka自带的zookeeper，这里我们使用自定义安装的zookeeper Linux系统下部署ZooKeeper集群：https://www.osyunwei.com/archives/13465.html 5、添加hosts解析 vi /etc/hosts #编辑配置文件 192.168.21.100 kafka01 192.168.21.101 kafka02 192.168.21.128 kafka03 :wq! #保存退出 6、安装kafka 6.1、下载地址 [...]

查看全文

Linux系统下kafka单节点安装部署

qihang01 — Tue, 28 Mar 2023 06:58:36 +0000

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。操作系统：CentOS-7.x kafka版本：kafka_2.12-3.4.0 1、关闭selinux sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config setenforce 0 2、防火墙设置 CentOS-7.x默认使用的是firewall作为防火墙，这里改为iptables防火墙。 kafka默认使用tcp9092端口号 2.1、关闭firewall： systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 systemctl mask firewalld systemctl stop firewalld yum remove firewalld 2.2、安装iptables防火墙 yum install iptables-services #安装 vi /etc/sysconfig/iptables #编辑防火墙配置文件 # sample configuration for iptables service # you can edit this manually or use system-config-firewall # [...]

查看全文