<?xml version="1.0" encoding="UTF-8"?>
<rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>系统运维 &#187; 大数据</title>
	<atom:link href="http://www.osyunwei.com/archives/category/framework/bigdata/feed" rel="self" type="application/rss+xml" />
	<link>https://www.osyunwei.com</link>
	<description>国产化OS/AnolisOS/openEuler/RHEL/CentOS/Rocky Linux/Debian/Ubuntu Linux FreeBSD 服务器教程 &#124; Windows Server 2003/2008/2012/2016/2019/2022/2025服务器教程</description>
	<lastBuildDate>Sun, 10 May 2026 14:53:20 +0000</lastBuildDate>
	<language>en</language>
	<sy:updatePeriod>hourly</sy:updatePeriod>
	<sy:updateFrequency>1</sy:updateFrequency>
			<item>
		<title>minio从旧集群导出桶再上传到新集群导入桶</title>
		<link>https://www.osyunwei.com/archives/17060.html</link>
		<comments>https://www.osyunwei.com/archives/17060.html#comments</comments>
		<pubDate>Thu, 19 Mar 2026 16:18:57 +0000</pubDate>
		<dc:creator>qihang01</dc:creator>
				<category><![CDATA[MinIO]]></category>

		<guid isPermaLink="false">https://www.osyunwei.com/?p=17060</guid>
		<description><![CDATA[在旧集群上操作 1、配置旧集群别名 旧集群别名：oldminio #进入安装目录 cd /data/server/minio/bin #设置旧集群别名 ./mc alias set oldminio http://192.168.253.8:6901 admin admin123 #检测别名 ./mc alias list 2、下载数据到新建临时目录 创建一个临时目录，比如 /tmp/minio_temp，然后执行递归拷贝 mkdir -p /tmp/minio_temp # 下载整个桶的内容 (保持目录结构) cd /data/server/minio/bin ./mc cp -r oldminio/filemanagementpublic /tmp/minio_temp 3、验证下载完整性 cd /data/server/minio/bin ./mc du oldminio/filemanagementpublic/ du -sh /tmp/minio_temp/filemanagementpublic # 查看本地下载的文件列表 ls -lh /tmp/minio_temp/filemanagementpublic ls -lhR /tmp/minio_temp/filemanagementpublic # 查看源端的文件列表 ./mc ls [...]<p><a rel="bookmark" href="https://www.osyunwei.com/archives/17060.html" target="_blank">查看全文</a></p>]]></description>
		<wfw:commentRss>https://www.osyunwei.com/archives/17060.html/feed</wfw:commentRss>
		<slash:comments>0</slash:comments>
		</item>
		<item>
		<title>clickhouse集群中某个节点的数据表变成只读状态修复办法</title>
		<link>https://www.osyunwei.com/archives/16696.html</link>
		<comments>https://www.osyunwei.com/archives/16696.html#comments</comments>
		<pubDate>Wed, 27 Aug 2025 03:11:33 +0000</pubDate>
		<dc:creator>qihang01</dc:creator>
				<category><![CDATA[clickhouse]]></category>

		<guid isPermaLink="false">https://www.osyunwei.com/?p=16696</guid>
		<description><![CDATA[情况说明： ClickHouse 是5个节点的集群，其中一个节点10.103.128.198的数据库ckdata_devops中的network_config_backup表变成只读状态了，导致程序无法写入数据，日志报错。 修复思路： 由于修复元数据状态非常困难，最简单、最可靠的也是ClickHouse官方推荐的恢复方式是在坏掉的节点上，删除并重新创建表，让集群自动同步即可。 具体操作： 1、手动清理 ZooKeeper 中的副本节点 数据表已处于异常状态，但是直接删掉表后重新创建会报错，这是因为ZooKeeper 中的副本节点 /replicas/10.103.128.198 仍然存在（防止重复注册） 进入ZooKeeper集群的其中1个节点进行操作 cd /data/server/zookeeper/bin ./zkCli.sh #查看 replicas 下的所有副本 ls /clickhouse/tables/01/network_config_backup/replicas #删除故障节点 delete /clickhouse/tables/01/network_config_backup/replicas/10.103.128.198 #退出 quit 2、在正常节点10.103.128.196上面操作 进入控制台：clickhouse-client --password show databases; #查看数据库 use ckdata_devops; #进入数据库 show tables; #查看表 #查看表结构 SHOW CREATE TABLE ckdata_devops.network_config_backup; novalocal SHOW CREATE TABLE ckdata_devops.network_config_backup; SHOW CREATE TABLE ckdata_devops.network_config_backup Query id: [...]<p><a rel="bookmark" href="https://www.osyunwei.com/archives/16696.html" target="_blank">查看全文</a></p>]]></description>
		<wfw:commentRss>https://www.osyunwei.com/archives/16696.html/feed</wfw:commentRss>
		<slash:comments>0</slash:comments>
		</item>
		<item>
		<title>clickhouse集群硬件故障导致节点无法启动修复办法</title>
		<link>https://www.osyunwei.com/archives/16566.html</link>
		<comments>https://www.osyunwei.com/archives/16566.html#comments</comments>
		<pubDate>Thu, 17 Jul 2025 17:23:46 +0000</pubDate>
		<dc:creator>qihang01</dc:creator>
				<category><![CDATA[clickhouse]]></category>

		<guid isPermaLink="false">https://www.osyunwei.com/?p=16566</guid>
		<description><![CDATA[问题描述： 线上5节点的clickhouse集群，其中有1个节点服务器内存坏掉了，导致服务器无故重启，更换新的内存启动服务器后，clickhouse服务无法启动，节点故障。 排查解决： 1、登录故障节点服务器，开启clickhouse日志 vi /etc/clickhouse-server/config.xml &#60;log&#62;/data/server/clickhouse/log/clickhouse-server.log&#60;/log&#62; #主日志文件，记录 ClickHouse 的运行日志（包括启动、查询、加载表等） &#60;errorlog&#62;/data/server/clickhouse/log/clickhouse-server.err.log&#60;/errorlog&#62; #错误日志文件，记录严重错误、异常堆栈等信息 :wq! #保存退出 chmod 755 /etc/clickhouse-server -R #设置权限 2、启动并查看最新的日志 systemctl stop clickhouse-server #关闭 systemctl start clickhouse-server #启动服务 tail -n 200 /data/server/clickhouse/log/clickhouse-server.err.log #查看最新的200条错误日志记录 #日志如下 7. ./build_docker/./src/Storages/MergeTree/MergeTreeData.cpp:1440: void std::__function::__policy_invoker&#60;void ()&#62;::__call_impl&#60;std::__function::__default_alloc_func&#60;DB::MergeTreeData::loadDataPartsFromDisk(ThreadPoolImpl&#60;ThreadFromGlobalPoolImpl&#60;false&#62;&#62;&#38;, unsigned long, std::queue&#60;std::vector&#60;std::shared_ptr&#60;DB::MergeTreeData::PartLoadingTree::Node&#62;, std::allocator&#60;std::shared_ptr&#60;DB::MergeTreeData::PartLoadingTree::Node&#62;&#62;&#62;, std::deque&#60;std::vector&#60;std::shared_ptr&#60;DB::MergeTreeData::PartLoadingTree::Node&#62;, std::allocator&#60;std::shared_ptr&#60;DB::MergeTreeData::PartLoadingTree::Node&#62;&#62;&#62;, std::allocator&#60;std::vector&#60;std::shared_ptr&#60;DB::MergeTreeData::PartLoadingTree::Node&#62;, std::allocator&#60;std::shared_ptr&#60;DB::MergeTreeData::PartLoadingTree::Node&#62;&#62;&#62;&#62;&#62;&#62;&#38;, std::shared_ptr&#60;DB::MergeTreeSettings const&#62; const&#38;)::$_19, void ()&#62;&#62;(std::__function::__policy_storage const*) @ 0x14594b44 [...]<p><a rel="bookmark" href="https://www.osyunwei.com/archives/16566.html" target="_blank">查看全文</a></p>]]></description>
		<wfw:commentRss>https://www.osyunwei.com/archives/16566.html/feed</wfw:commentRss>
		<slash:comments>0</slash:comments>
		</item>
		<item>
		<title>Linux系统下kafka集群使用KRaft模式安装部署</title>
		<link>https://www.osyunwei.com/archives/15684.html</link>
		<comments>https://www.osyunwei.com/archives/15684.html#comments</comments>
		<pubDate>Mon, 26 May 2025 07:10:26 +0000</pubDate>
		<dc:creator>qihang01</dc:creator>
				<category><![CDATA[kafka]]></category>
		<category><![CDATA[linux]]></category>

		<guid isPermaLink="false">https://www.osyunwei.com/?p=15684</guid>
		<description><![CDATA[Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。 操作系统：CentOS-7.x\8.x\‌AnolisOS‌\openEuler\Kylin-Server-V10等 kafka版本：kafka_2.12-3.9.1 三台服务器ip地址： 192.168.21.100，192.168.21.101，192.168.21.128 1、关闭selinux sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config setenforce 0 2、关闭防火墙 kafka默认使用tcp9092端口号，建议在内网环境下部署kafka集群，并且关闭防火墙。 CentOS-7.x默认使用的是firewall作为防火墙，关闭 systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 systemctl mask firewalld systemctl stop firewalld yum remove firewalld 3、安装jdk kafka依赖Java，需要安装java环境，我们使用Java21版本 Linux系统下安装Java JDK：https://www.osyunwei.com/archives/12872.html 4、安装配置zookeeper 在 Kafka 2.8.0 及其以上版本，引入了 KRaft 模式（Kafka Raft Metadata mode），不再依赖 ZooKeeper，所有元数据由 Kafka 自己通过 Raft 协议管理。 使用 Kafka 内部的 Quorum [...]<p><a rel="bookmark" href="https://www.osyunwei.com/archives/15684.html" target="_blank">查看全文</a></p>]]></description>
		<wfw:commentRss>https://www.osyunwei.com/archives/15684.html/feed</wfw:commentRss>
		<slash:comments>0</slash:comments>
		</item>
		<item>
		<title>不同网段的2个minio集群进行数据迁移</title>
		<link>https://www.osyunwei.com/archives/15615.html</link>
		<comments>https://www.osyunwei.com/archives/15615.html#comments</comments>
		<pubDate>Wed, 26 Mar 2025 16:15:24 +0000</pubDate>
		<dc:creator>qihang01</dc:creator>
				<category><![CDATA[MinIO]]></category>

		<guid isPermaLink="false">https://www.osyunwei.com/?p=15615</guid>
		<description><![CDATA[Linux下MinIO分布式安装部署 https://www.osyunwei.com/archives/13787.html 1、源集群和目的集群之间的网络要打通，集群之间要能互访，权限要正常 2、使用MinIO自带的mc命令进行数据迁移 3、在源集群或者目的集群中的任意1个节点上面执行mc命令操作 具体操作： 1、添加minio源集群和目的集群的别名 源集群别名：srcminio 目的集群别名：destminio #进入安装目录 cd /data/server/minio/bin #设置源集群别名 ./mc alias set srcminio http://192.168.128.196:6901 admin admin123 #设置目的集群别名 ./mc alias set destminio http://192.168.253.8:6901 admin admin123 #检测别名 ./mc alias list 2、进行数据同步 cd /data/server/minio/bin ./mc mirror --watch srcminio/ destminio/ #在后台执行 nohup ./mc mirror --watch srcminio/ destminio/ &#62; /data/server/minio/logs/mirror_all_buckets.log 2&#62;&#38;1 &#38; #查看日志 tail -f /data/server/minio/logs/mirror_all_buckets.log [...]<p><a rel="bookmark" href="https://www.osyunwei.com/archives/15615.html" target="_blank">查看全文</a></p>]]></description>
		<wfw:commentRss>https://www.osyunwei.com/archives/15615.html/feed</wfw:commentRss>
		<slash:comments>0</slash:comments>
		</item>
		<item>
		<title>Linux下Cassandra集群安装部署</title>
		<link>https://www.osyunwei.com/archives/13863.html</link>
		<comments>https://www.osyunwei.com/archives/13863.html#comments</comments>
		<pubDate>Thu, 15 Jun 2023 09:45:54 +0000</pubDate>
		<dc:creator>qihang01</dc:creator>
				<category><![CDATA[cassandra]]></category>

		<guid isPermaLink="false">https://www.osyunwei.com/?p=13863</guid>
		<description><![CDATA[Cassandra简介：Cassandra是一套开源分布式NoSQL数据库系统 Cassandra官方网站：http://cassandra.apache.org/ 下载地址： https://www.apache.org/dyn/closer.lua/cassandra/4.1.2/apache-cassandra-4.1.2-bin.tar.gz https://dlcdn.apache.org/cassandra/4.1.2/apache-cassandra-4.1.2-bin.tar.gz 操作系统：3台服务器，CentOS-7.x系统 在所有节点服务器上操作 1、防火墙配置 7000：节点之间的通信端口，用于集群内部节点之间的数据传输和复制。 7001：节点之间的加密通信端口，如果启用了 SSL/TLS 加密通信，则使用该端口进行加密通信。 9042：CQL（Cassandra Query Language）客户端通信端口，用于与 Cassandra 集群进行数据查询和交互 7199：JMX（Java Management Extensions）远程管理端口，用于监控和管理 Cassandra 集群。 CentOS 7.x默认使用的是firewall作为防火墙，这里改为iptables防火墙。 1.1、关闭firewall： systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 systemctl mask firewalld systemctl stop firewalld yum remove firewalld 1.2、安装iptables防火墙 yum install iptables-services #安装 vi /etc/sysconfig/iptables #编辑防火墙配置文件 # sample configuration for iptables [...]<p><a rel="bookmark" href="https://www.osyunwei.com/archives/13863.html" target="_blank">查看全文</a></p>]]></description>
		<wfw:commentRss>https://www.osyunwei.com/archives/13863.html/feed</wfw:commentRss>
		<slash:comments>0</slash:comments>
		</item>
		<item>
		<title>Linux下Cassandra单节点安装部署</title>
		<link>https://www.osyunwei.com/archives/13835.html</link>
		<comments>https://www.osyunwei.com/archives/13835.html#comments</comments>
		<pubDate>Tue, 13 Jun 2023 10:42:12 +0000</pubDate>
		<dc:creator>qihang01</dc:creator>
				<category><![CDATA[cassandra]]></category>

		<guid isPermaLink="false">https://www.osyunwei.com/?p=13835</guid>
		<description><![CDATA[Cassandra简介：Cassandra是一套开源分布式NoSQL数据库系统。 Cassandra官方网站：http://cassandra.apache.org/ 下载地址： https://www.apache.org/dyn/closer.lua/cassandra/4.1.2/apache-cassandra-4.1.2-bin.tar.gz https://dlcdn.apache.org/cassandra/4.1.2/apache-cassandra-4.1.2-bin.tar.gz 1、防火墙配置 开启tcp9042端口，Cassandra的默认端口 CentOS 7.x默认使用的是firewall作为防火墙，这里改为iptables防火墙。 1.1、关闭firewall： systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 systemctl mask firewalld systemctl stop firewalld yum remove firewalld 1.2、安装iptables防火墙 yum install iptables-services #安装 vi /etc/sysconfig/iptables #编辑防火墙配置文件 # sample configuration for iptables service # you can edit this manually or use system-config-firewall # please do not ask [...]<p><a rel="bookmark" href="https://www.osyunwei.com/archives/13835.html" target="_blank">查看全文</a></p>]]></description>
		<wfw:commentRss>https://www.osyunwei.com/archives/13835.html/feed</wfw:commentRss>
		<slash:comments>0</slash:comments>
		</item>
		<item>
		<title>Linux下MinIO分布式安装部署</title>
		<link>https://www.osyunwei.com/archives/13787.html</link>
		<comments>https://www.osyunwei.com/archives/13787.html#comments</comments>
		<pubDate>Tue, 06 Jun 2023 06:21:22 +0000</pubDate>
		<dc:creator>qihang01</dc:creator>
				<category><![CDATA[MinIO]]></category>

		<guid isPermaLink="false">https://www.osyunwei.com/?p=13787</guid>
		<description><![CDATA[MinIO简单说明： 1、MinIO是一个轻量的对象存储服务，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等。 2、MinIO使用简单，功能强大，支持各种平台，单个文件最大5TB，兼容 Amazon S3接口，提供了 Java、Python、GO等多版本SDK支持。 3、MinIO集群采用去中心化共享架构，每个结点是对等关系，通过Nginx可对MinIO进行负载均衡访问。 4、MinIO采用去中心化设计，在大数据领域，通常的设计理念都是无中心和分布式。 5、Minio分布式模式可以搭建一个高可用的对象存储服务，你可以使用这些存储设备，而不用考虑其真实物理位置。 6、Minio分布式模式将分布在不同服务器上的多块硬盘组成一个对象存储服务，由于硬盘分布在不同的节点上，分布式Minio避免了单点故障。 7、MinIO分布式模式下根目录/不可以做为MinIO的数据目录，MinIO官方建议MinIO集群最少4个节点。 8、分布式Minio使用的数据目录必须是干净的，里面不能有数据。 官方网站：https://min.io/ 下载地址（二进制包安装）：https://dl.min.io/server/minio/release/linux-amd64/minio MinIO客户端mc（二进制包安装）：https://dl.min.io/client/mc/release/linux-amd64/mc 安装部署 在所有节点执行操作 操作系统：CentOS-7.x 1、关闭SELINUX vi /etc/selinux/config #SELINUX=enforcing #注释掉 #SELINUXTYPE=targeted #注释掉 SELINUX=disabled #增加 :wq! #保存退出 setenforce 0 #使配置立即生效 2、开启防火墙 系统默认使用的是firewall作为防火墙，这里改为iptables防火墙。 MinIO默认API通信端口是9000，Console端口随机生成，生产环境建议修改。 API端口：6900 Console端口：6901 2.1、关闭firewall： systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 systemctl mask firewalld systemctl stop firewalld yum remove firewalld [...]<p><a rel="bookmark" href="https://www.osyunwei.com/archives/13787.html" target="_blank">查看全文</a></p>]]></description>
		<wfw:commentRss>https://www.osyunwei.com/archives/13787.html/feed</wfw:commentRss>
		<slash:comments>0</slash:comments>
		</item>
		<item>
		<title>Linux下MinIO单节点安装部署</title>
		<link>https://www.osyunwei.com/archives/13709.html</link>
		<comments>https://www.osyunwei.com/archives/13709.html#comments</comments>
		<pubDate>Thu, 01 Jun 2023 01:37:00 +0000</pubDate>
		<dc:creator>qihang01</dc:creator>
				<category><![CDATA[MinIO]]></category>

		<guid isPermaLink="false">https://www.osyunwei.com/?p=13709</guid>
		<description><![CDATA[MinIO简单说明： 1、MinIO是一个轻量的对象存储服务，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等。 2、MinIO使用简单，功能强大，支持各种平台，单个文件最大5TB，兼容 Amazon S3接口，提供了 Java、Python、GO等多版本SDK支持。 3、MinIO集群采用去中心化共享架构，每个结点是对等关系，通过Nginx可对MinIO进行负载均衡访问。 4、MinIO采用去中心化设计，在大数据领域，通常的设计理念都是无中心和分布式。 5、Minio分布式模式可以搭建一个高可用的对象存储服务，你可以使用这些存储设备，而不用考虑其真实物理位置。 6、Minio分布式模式将分布在不同服务器上的多块硬盘组成一个对象存储服务，由于硬盘分布在不同的节点上，分布式Minio避免了单点故障。 7、MinIO分布式模式下根目录/不可以做为MinIO的数据目录，MinIO官方建议MinIO集群最少4个节点。 官方网站：https://min.io/ 下载地址（二进制包安装）：https://dl.min.io/server/minio/release/linux-amd64/minio MinIO客户端mc（二进制包安装）：https://dl.min.io/client/mc/release/linux-amd64/mc 安装部署 操作系统：CentOS-7.x 1、关闭SELINUX vi /etc/selinux/config #SELINUX=enforcing #注释掉 #SELINUXTYPE=targeted #注释掉 SELINUX=disabled #增加 :wq! #保存退出 setenforce 0 #使配置立即生效 2、开启防火墙 系统默认使用的是firewall作为防火墙，这里改为iptables防火墙。 MinIO默认API通信端口是9000，Console端口随机生成，生产环境建议修改。 API端口：6900 Console端口：6901 2.1、关闭firewall： systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 systemctl mask firewalld systemctl stop firewalld yum remove firewalld 2.2、安装iptables防火墙 yum [...]<p><a rel="bookmark" href="https://www.osyunwei.com/archives/13709.html" target="_blank">查看全文</a></p>]]></description>
		<wfw:commentRss>https://www.osyunwei.com/archives/13709.html/feed</wfw:commentRss>
		<slash:comments>0</slash:comments>
		</item>
		<item>
		<title>Linux下ClickHouse集群安装部署</title>
		<link>https://www.osyunwei.com/archives/13535.html</link>
		<comments>https://www.osyunwei.com/archives/13535.html#comments</comments>
		<pubDate>Sat, 06 May 2023 02:17:21 +0000</pubDate>
		<dc:creator>qihang01</dc:creator>
				<category><![CDATA[clickhouse]]></category>

		<guid isPermaLink="false">https://www.osyunwei.com/?p=13535</guid>
		<description><![CDATA[ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。 官方网站：https://clickhouse.com/ 官方文档：https://clickhouse.com/docs/zh 下载地址：https://packages.clickhouse.com/rpm/stable/ #稳定版本 或者：https://packages.clickhouse.com/rpm/lts/ #长期支持版 准备篇 操作系统：CentOS-7.x 3台服务器：192.168.21.100,192.168.21.101,192.168.21.128 1、关闭selinux sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config setenforce 0 2、关闭防火墙 ClickHouse提供两个网络端口: TCP 默认9000，HTTP 默认8123，建议在内网环境下部署ClickHouse，关闭服务器防火墙。 CentOS-7.x默认使用的是firewall作为防火墙，关闭 systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 systemctl mask firewalld systemctl stop firewalld yum remove firewalld 3、配置系统打开文件数限制 vi  /etc/security/limits.conf #文件句柄数量的配置 * soft nofile 65536 * hard nofile 65536 * soft nproc [...]<p><a rel="bookmark" href="https://www.osyunwei.com/archives/13535.html" target="_blank">查看全文</a></p>]]></description>
		<wfw:commentRss>https://www.osyunwei.com/archives/13535.html/feed</wfw:commentRss>
		<slash:comments>0</slash:comments>
		</item>
		<item>
		<title>Linux下ClickHouse单节点安装部署</title>
		<link>https://www.osyunwei.com/archives/13496.html</link>
		<comments>https://www.osyunwei.com/archives/13496.html#comments</comments>
		<pubDate>Mon, 01 May 2023 18:22:57 +0000</pubDate>
		<dc:creator>qihang01</dc:creator>
				<category><![CDATA[clickhouse]]></category>

		<guid isPermaLink="false">https://www.osyunwei.com/?p=13496</guid>
		<description><![CDATA[ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。 官方网站：https://clickhouse.com/ 官方文档：https://clickhouse.com/docs/zh 下载地址：https://packages.clickhouse.com/rpm/stable/ #稳定版本 或者：https://packages.clickhouse.com/rpm/lts/ #长期支持版 1、关闭selinux sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config setenforce 0 2、关闭防火墙 ClickHouse提供两个网络端口: TCP 默认9000，HTTP 默认8123，建议在内网环境下部署ClickHouse，关闭服务器防火墙。 CentOS-7.x默认使用的是firewall作为防火墙，关闭 systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 systemctl mask firewalld systemctl stop firewalld yum remove firewalld 3、配置系统文件句柄数量 vi /etc/security/limits.d/clickhouse.conf #文件句柄数量的配置 clickhouse soft nofile 1048576 clickhouse hard nofile 1048576 :wq! #保存退出 4、安装ClickHouse 4.1、安装ClickHouse所需的依赖包 yum install [...]<p><a rel="bookmark" href="https://www.osyunwei.com/archives/13496.html" target="_blank">查看全文</a></p>]]></description>
		<wfw:commentRss>https://www.osyunwei.com/archives/13496.html/feed</wfw:commentRss>
		<slash:comments>0</slash:comments>
		</item>
		<item>
		<title>Linux系统下kafka集群安装部署</title>
		<link>https://www.osyunwei.com/archives/13489.html</link>
		<comments>https://www.osyunwei.com/archives/13489.html#comments</comments>
		<pubDate>Sun, 30 Apr 2023 17:17:10 +0000</pubDate>
		<dc:creator>qihang01</dc:creator>
				<category><![CDATA[kafka]]></category>

		<guid isPermaLink="false">https://www.osyunwei.com/?p=13489</guid>
		<description><![CDATA[Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。 操作系统：CentOS-7.x kafka版本：kafka_2.12-3.4.0 三台服务器ip地址： 192.168.21.100，192.168.21.101，192.168.21.128 1、关闭selinux sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config setenforce 0 2、关闭防火墙 kafka默认使用tcp9092端口号，建议在内网环境下部署kafka集群，关闭服务器防火墙。 CentOS-7.x默认使用的是firewall作为防火墙，关闭 systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 systemctl mask firewalld systemctl stop firewalld yum remove firewalld 3、安装jdk kafka依赖Java，需要安装java环境，我们使用Java 1.8版本 Linux系统下安装Java JDK：https://www.osyunwei.com/archives/12872.html 4、安装配置zookeeper kafka依赖zookeeper，需要先安装部署，并且优先于kafka启动 也可以使用kafka自带的zookeeper，这里我们使用自定义安装的zookeeper Linux系统下部署ZooKeeper集群：https://www.osyunwei.com/archives/13465.html 5、添加hosts解析 vi /etc/hosts #编辑配置文件 192.168.21.100 kafka01 192.168.21.101 kafka02 192.168.21.128 kafka03 :wq! #保存退出 6、安装kafka 6.1、下载地址 [...]<p><a rel="bookmark" href="https://www.osyunwei.com/archives/13489.html" target="_blank">查看全文</a></p>]]></description>
		<wfw:commentRss>https://www.osyunwei.com/archives/13489.html/feed</wfw:commentRss>
		<slash:comments>0</slash:comments>
		</item>
		<item>
		<title>Linux系统下部署ZooKeeper集群</title>
		<link>https://www.osyunwei.com/archives/13465.html</link>
		<comments>https://www.osyunwei.com/archives/13465.html#comments</comments>
		<pubDate>Sun, 30 Apr 2023 12:40:28 +0000</pubDate>
		<dc:creator>qihang01</dc:creator>
				<category><![CDATA[zookeeper]]></category>

		<guid isPermaLink="false">https://www.osyunwei.com/?p=13465</guid>
		<description><![CDATA[1、ZooKeeper介绍 1.1、ZooKeeper 在 Java 版本 1.8 或更高版本中运行（JDK 8 LTS、JDK 11 LTS、JDK 12 - 不支持 Java 9 和 10），它作为 ZooKeeper 服务器的集合运行，三个 ZooKeeper 服务器是一个整体的最小推荐大小，我们还建议它们在不同的机器上运行。 1.2、ZooKeeper 集群强烈建议使用奇数台机器，例如，在四台机器上，ZooKeeper 只能处理一台机器的故障；如果两台机器发生故障，则其余两台机器不构成多数。但是，如果有五台机器，ZooKeeper 可以处理两台机器的故障。容错集群设置至少需要三台服务器。 1.3、通常三台服务器对于生产安装来说绰绰有余，但为了在获得最大的可靠性，您可能希望安装五台服务器。 1.4、官方网站： https://zookeeper.apache.org/ 1.5、下载地址： https://downloads.apache.org/zookeeper/zookeeper-3.8.1/apache-zookeeper-3.8.1-bin.tar.gz 1.6、说明文档： https://zookeeper.apache.org/doc/current/zookeeperAdmin.html 2、部署zookeeper集群，这里使用三台服务器组成集群模式。 操作系统：CentOS-7.x ip地址：192.168.21.100，192.168.21.101，192.168.21.128 zookeeper默认使用2181端口，集群模式还会用到2888、3888端口，建议zookeeper部署在内网环境中，服务器上关闭防火墙，分别在三台服务器上操作。 2.1、安装Java ZooKeeper依赖Java才能运行，首先安装Java环境，我们使用Java 1.8版本 Linux系统下安装Java JDK：https://www.osyunwei.com/archives/12872.html 2.2、安装ZooKeeper mkdir -p /data/server/zookeeper  #创建安装目录 mkdir -p /data/server/zookeeper/data  #创建数据目录 mkdir -p /data/server/zookeeper/logs  #创建日志目录 下载目录：/usr/local/src/apache-zookeeper-3.8.1-bin.tar.gz [...]<p><a rel="bookmark" href="https://www.osyunwei.com/archives/13465.html" target="_blank">查看全文</a></p>]]></description>
		<wfw:commentRss>https://www.osyunwei.com/archives/13465.html/feed</wfw:commentRss>
		<slash:comments>0</slash:comments>
		</item>
		<item>
		<title>Linux系统下kafka单节点安装部署</title>
		<link>https://www.osyunwei.com/archives/13368.html</link>
		<comments>https://www.osyunwei.com/archives/13368.html#comments</comments>
		<pubDate>Tue, 28 Mar 2023 06:58:36 +0000</pubDate>
		<dc:creator>qihang01</dc:creator>
				<category><![CDATA[kafka]]></category>
		<category><![CDATA[linux]]></category>

		<guid isPermaLink="false">https://www.osyunwei.com/?p=13368</guid>
		<description><![CDATA[Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。 操作系统：CentOS-7.x kafka版本：kafka_2.12-3.4.0 1、关闭selinux sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config setenforce 0 2、防火墙设置 CentOS-7.x默认使用的是firewall作为防火墙，这里改为iptables防火墙。 kafka默认使用tcp9092端口号 2.1、关闭firewall： systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 systemctl mask firewalld systemctl stop firewalld yum remove firewalld 2.2、安装iptables防火墙 yum install iptables-services #安装 vi /etc/sysconfig/iptables #编辑防火墙配置文件 # sample configuration for iptables service # you can edit this manually or use system-config-firewall # [...]<p><a rel="bookmark" href="https://www.osyunwei.com/archives/13368.html" target="_blank">查看全文</a></p>]]></description>
		<wfw:commentRss>https://www.osyunwei.com/archives/13368.html/feed</wfw:commentRss>
		<slash:comments>0</slash:comments>
		</item>
		<item>
		<title>Linux下Kafka单机安装配置</title>
		<link>https://www.osyunwei.com/archives/9345.html</link>
		<comments>https://www.osyunwei.com/archives/9345.html#comments</comments>
		<pubDate>Fri, 04 Dec 2015 02:27:10 +0000</pubDate>
		<dc:creator>qihang01</dc:creator>
				<category><![CDATA[大数据]]></category>
		<category><![CDATA[kafka]]></category>
		<category><![CDATA[linux]]></category>

		<guid isPermaLink="false">http://www.osyunwei.com/?p=9345</guid>
		<description><![CDATA[说明： 操作系统：CentOS 6.x 64位 Kafka版本：kafka_2.11-0.8.2.1 实现目的： 单机安装配置kafka 具体操作： 一、关闭SELINUX、开启防火墙9092端口 1、关闭SELINUX vi /etc/selinux/config #SELINUX=enforcing #注释掉 #SELINUXTYPE=targeted #注释掉 SELINUX=disabled #增加 :wq! #保存退出 setenforce 0 #使配置立即生效 2、配置防火墙，开启9092端口 vi /etc/sysconfig/iptables #编辑防火墙配置文件 # Firewall configuration written by system-config-firewall # Manual customization of this file is not recommended. *filter :INPUT ACCEPT [0:0] :FORWARD ACCEPT [0:0] :OUTPUT ACCEPT [0:0] -A INPUT -m [...]<p><a rel="bookmark" href="https://www.osyunwei.com/archives/9345.html" target="_blank">查看全文</a></p>]]></description>
		<wfw:commentRss>https://www.osyunwei.com/archives/9345.html/feed</wfw:commentRss>
		<slash:comments>0</slash:comments>
		</item>
	</channel>
</rss>
