系统运维 » clickhouse

clickhouse集群中某个节点的数据表变成只读状态修复办法

qihang01 — Wed, 27 Aug 2025 03:11:33 +0000

情况说明： ClickHouse 是5个节点的集群，其中一个节点10.103.128.198的数据库ckdata_devops中的network_config_backup表变成只读状态了，导致程序无法写入数据，日志报错。修复思路：由于修复元数据状态非常困难，最简单、最可靠的也是ClickHouse官方推荐的恢复方式是在坏掉的节点上，删除并重新创建表，让集群自动同步即可。具体操作： 1、手动清理 ZooKeeper 中的副本节点数据表已处于异常状态，但是直接删掉表后重新创建会报错，这是因为ZooKeeper 中的副本节点 /replicas/10.103.128.198 仍然存在（防止重复注册）进入ZooKeeper集群的其中1个节点进行操作 cd /data/server/zookeeper/bin ./zkCli.sh #查看 replicas 下的所有副本 ls /clickhouse/tables/01/network_config_backup/replicas #删除故障节点 delete /clickhouse/tables/01/network_config_backup/replicas/10.103.128.198 #退出 quit 2、在正常节点10.103.128.196上面操作进入控制台：clickhouse-client --password show databases; #查看数据库 use ckdata_devops; #进入数据库 show tables; #查看表 #查看表结构 SHOW CREATE TABLE ckdata_devops.network_config_backup; novalocal SHOW CREATE TABLE ckdata_devops.network_config_backup; SHOW CREATE TABLE ckdata_devops.network_config_backup Query id: [...]

查看全文

clickhouse集群硬件故障导致节点无法启动修复办法

qihang01 — Thu, 17 Jul 2025 17:23:46 +0000

问题描述：线上5节点的clickhouse集群，其中有1个节点服务器内存坏掉了，导致服务器无故重启，更换新的内存启动服务器后，clickhouse服务无法启动，节点故障。排查解决： 1、登录故障节点服务器，开启clickhouse日志 vi /etc/clickhouse-server/config.xml <log>/data/server/clickhouse/log/clickhouse-server.log</log> #主日志文件，记录 ClickHouse 的运行日志（包括启动、查询、加载表等） <errorlog>/data/server/clickhouse/log/clickhouse-server.err.log</errorlog> #错误日志文件，记录严重错误、异常堆栈等信息 :wq! #保存退出 chmod 755 /etc/clickhouse-server -R #设置权限 2、启动并查看最新的日志 systemctl stop clickhouse-server #关闭 systemctl start clickhouse-server #启动服务 tail -n 200 /data/server/clickhouse/log/clickhouse-server.err.log #查看最新的200条错误日志记录 #日志如下 7. ./build_docker/./src/Storages/MergeTree/MergeTreeData.cpp:1440: void std::__function::__policy_invoker<void ()>::__call_impl<std::__function::__default_alloc_func<DB::MergeTreeData::loadDataPartsFromDisk(ThreadPoolImpl<ThreadFromGlobalPoolImpl<false>>&, unsigned long, std::queue<std::vector<std::shared_ptr<DB::MergeTreeData::PartLoadingTree::Node>, std::allocator<std::shared_ptr<DB::MergeTreeData::PartLoadingTree::Node>>>, std::deque<std::vector<std::shared_ptr<DB::MergeTreeData::PartLoadingTree::Node>, std::allocator<std::shared_ptr<DB::MergeTreeData::PartLoadingTree::Node>>>, std::allocator<std::vector<std::shared_ptr<DB::MergeTreeData::PartLoadingTree::Node>, std::allocator<std::shared_ptr<DB::MergeTreeData::PartLoadingTree::Node>>>>>>&, std::shared_ptr<DB::MergeTreeSettings const> const&)::$_19, void ()>>(std::__function::__policy_storage const*) @ 0x14594b44 [...]

查看全文

Linux下ClickHouse集群安装部署

qihang01 — Sat, 06 May 2023 02:17:21 +0000

ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。官方网站：https://clickhouse.com/ 官方文档：https://clickhouse.com/docs/zh 下载地址：https://packages.clickhouse.com/rpm/stable/ #稳定版本或者：https://packages.clickhouse.com/rpm/lts/ #长期支持版准备篇操作系统：CentOS-7.x 3台服务器：192.168.21.100,192.168.21.101,192.168.21.128 1、关闭selinux sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config setenforce 0 2、关闭防火墙 ClickHouse提供两个网络端口: TCP 默认9000，HTTP 默认8123，建议在内网环境下部署ClickHouse，关闭服务器防火墙。 CentOS-7.x默认使用的是firewall作为防火墙，关闭 systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 systemctl mask firewalld systemctl stop firewalld yum remove firewalld 3、配置系统打开文件数限制 vi /etc/security/limits.conf #文件句柄数量的配置 * soft nofile 65536 * hard nofile 65536 * soft nproc [...]

查看全文

Linux下ClickHouse单节点安装部署

qihang01 — Mon, 01 May 2023 18:22:57 +0000

ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。官方网站：https://clickhouse.com/ 官方文档：https://clickhouse.com/docs/zh 下载地址：https://packages.clickhouse.com/rpm/stable/ #稳定版本或者：https://packages.clickhouse.com/rpm/lts/ #长期支持版 1、关闭selinux sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config setenforce 0 2、关闭防火墙 ClickHouse提供两个网络端口: TCP 默认9000，HTTP 默认8123，建议在内网环境下部署ClickHouse，关闭服务器防火墙。 CentOS-7.x默认使用的是firewall作为防火墙，关闭 systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 systemctl mask firewalld systemctl stop firewalld yum remove firewalld 3、配置系统文件句柄数量 vi /etc/security/limits.d/clickhouse.conf #文件句柄数量的配置 clickhouse soft nofile 1048576 clickhouse hard nofile 1048576 :wq! #保存退出 4、安装ClickHouse 4.1、安装ClickHouse所需的依赖包 yum install [...]

查看全文