大数据-134 - ClickHouse 集群三节点 安装配置启动

embedded/2024/9/19 11:07:11/ 标签: 大数据, clickhouse, flink, java, 架构, 分布式

点一下关注吧!!!非常感谢!!持续更新!!!

目前已经更新到了:

  • Hadoop(已更完)
  • HDFS(已更完)
  • MapReduce(已更完)
  • Hive(已更完)
  • Flume(已更完)
  • Sqoop(已更完)
  • Zookeeper(已更完)
  • HBase(已更完)
  • Redis (已更完)
  • Kafka(已更完)
  • Spark(已更完)
  • Flink(正在更新!)

章节内容

上节我们完成了如下的内容:

  • ClickHouse 简要介绍

在这里插入图片描述

官网网站

https://clickhouse.com/

单机安装

我是 Ubuntu 的服务器:

sudo apt-get update
sudo apt-get install -y apt-transport-https ca-certificates dirmngrsudo apt-key adv --keyserver keyserver.ubuntu.com --recv E0C56BD4
echo "deb https://repo.clickhouse.com/deb/stable/ main/" | sudo tee /etc/apt/sources.list.d/clickhouse.listsudo apt-get update
sudo apt-get install -y clickhouse-server clickhouse-client

等待安装 ClickHouse
在这里插入图片描述

等待之后,可以看到已经顺利的安装完毕:
在这里插入图片描述
默认的密码路径是:

/etc/clickhouse-server/users.d/default-password.xml

配置权限

不配置后续可能会报错

sudo chown -R clickhouse:clickhouse /etc/clickhouse-server
sudo chmod -R 755 /etc/clickhouse-server
sudo chown -R clickhouse:clickhouse /var/lib/clickhouse
sudo chmod -R 755 /var/lib/clickhouse

单机测试

启动ClickServer

sudo -u clickhouse clickhouse-server

在这里插入图片描述

启动ClickClient

clickhouse-client -m

在这里插入图片描述

集群安装

集群安装

目前我有的节点是三台:

  • h121 2C4G
  • h122 2C4G
  • h123 2C4G
    刚才单机安装是在 h121 节点上,我们需要对三台云服务都执行相应的Shell:
sudo apt-get update
sudo apt-get install -y apt-transport-https ca-certificates dirmngr
sudo apt-key adv --keyserver keyserver.ubuntu.com --recv E0C56BD4
echo "deb https://repo.clickhouse.com/deb/stable/ main/" | sudo tee /etc/apt/sources.list.d/clickhouse.list
sudo apt-get update
sudo apt-get install -y clickhouse-server clickhouse-client

停止服务

我们需要停止之前的服务,来空出一定的内存和端口给 ClickHouse 使用。
(如果你的内存比较富裕可以忽略)
只保留 ZooKeeper 即可,其他服务可以都关闭掉。比如Hadoop集群、Kafka集群、Redis集群等。

在这里插入图片描述

配置文件

config.xml

我们需要三台云服务器都修改config.xml

cd /etc/clickhouse-server
vim config.xml

修改如下内容:

<!-- Path to data directory, with trailing slash. -->
<path>/var/lib/clickhouse/</path>

在这里插入图片描述
开放远程访问,允许所有连接:

<listen_host>::</listen_host>

在这里插入图片描述
在根标签下加入内容(我是放入了头部):

<include_from>/etc/clickhouse-server/config.d/metrika.xml</include_from>

内容修改为如下的样子:
在这里插入图片描述

metrika.xml

cd /etc/clickhouse-server/config.d
# 该文件是新增的
vim metrika.xml

注意,下面的内容需要根据你的服务器IP来进行配置:

<yandex><remote_servers><perftest_3shards_1replicas><shard><internal_replication>true</internal_replication><replica><host>h121.wzk.icu</host><port>9000</port><user>default</user><password>clickhouse@wzk.icu</password></replica></shard><shard><internal_replication>true</internal_replication><replica><host>h122.wzk.icu</host><port>9000</port><user>default</user><password>clickhouse@wzk.icu</password></replica></shard><shard><internal_replication>true</internal_replication><replica><host>h123.wzk.icu</host><port>9000</port><user>default</user><password>clickhouse@wzk.icu</password></replica></shard></perftest_3shards_1replicas></remote_servers><zookeeper-servers><node index="1"><host>h121.wzk.icu</host><port>2181</port></node><node index="2"><host>h122.wzk.icu</host><port>2181</port></node><node index="3"><host>h123.wzk.icu</host><port>2181</port></node></zookeeper-servers><macros><shard>01</shard><replica>h121.wzk.icu</replica></macros><networks><ip>::/0</ip></networks><clickhouse_compression><case><min_part_size>10000000000</min_part_size><min_part_size_ratio>0.01</min_part_size_ratio><method>lz4</method></case></clickhouse_compression>
</yandex>

保存之后,修改一下权限:

sudo chown -R clickhouse:clickhouse /etc/clickhouse-server/config.d/metrika.xml

修改密码

vim /etc/clickhouse-server/users.d/default-password.xml

为了测试方便,修改为如下的内容:

<clickhouse><users><default><password>clickhouse@wzk.icu</password><networks><ip>::/0</ip></networks></default></users>
</clickhouse>
vim /etc/clickhouse-server/users.xml

为了测试方便,修改的密码如下:

省略其他内容
<password>clickhouse@wzk.icu</password>

启动测试

sudo -u clickhouse clickhouse-server --config-file=/etc/clickhouse-server/config.xml

正式启动

我们需要编辑一下 system 的文件,来实现优化的启停

vim /etc/systemd/system/clickhouse-server.service

可以看到,里边的配置已经在我们安装的时候就配置好了,你可以根据你的需要来修改:
在这里插入图片描述
接着我们使用系统命令启动:

systemctl start clickhouse-server
systemctl status clickhouse-server

我们可以看到程序已经顺利的运行了:
在这里插入图片描述


http://www.ppmy.cn/embedded/113773.html

相关文章

医学数据分析实训 项目二 数据预处理作业

文章目录 项目二 数据预处理一、实践目的二、实践平台三、实践内容任务一&#xff1a;合并数据集任务二&#xff1a;独热编码任务三&#xff1a;数据预处理任务四&#xff1a;针对“项目一 医学数据采集”中“3. 通过 UCI 机器学习库下载数据集”任务所下载的数据集进行预处理。…

硬件(驱动开发概念)

驱动程序开发 裸机驱动&#xff08;无操作系统&#xff09; Linux驱动 以计算机技术为基础&#xff0c;在软件和硬件层间可以被剪裁的专业硬件计算机系统 SOC&#xff1a;片上系统 Kernel&#xff1a;内核 x86 &#xff08;CISC:complex instruction set computer 复杂指令…

MySQL:两阶段提交

redo log&#xff08;重做日志&#xff09;让 InnoDB 存储引擎拥有了崩溃恢复能力。 binlog&#xff08;归档日志&#xff09;保证了 MySQL 集群架构的数据一致性。 虽然它们都属于持久化的保证&#xff0c;但是侧重点不同。 在执行更新语句过程&#xff0c;会记录 redo log…

使用three.js+vue3完成无人机上下运动

效果图如上 代码&#xff1a; <template><div class"drones"><div ref"dronesContainer" class"drones-container"></div></div></template><script setup>import { ref, onMounted, onUnmounted, …

海鲜市场|基于springboot的网络海鲜市场系设计与实现(附项目源码+论文+数据库)

私信或留言即免费送开题报告和任务书&#xff08;可指定任意题目&#xff09; 目录 一、摘要 二、相关技术 三、系统设计 四、数据库设计 五、核心代码 六、论文参考 七、源码获取 一、摘要 计算机网络发展到现在已经好几十年了&#xff0c;在理论上面已…

k8s pod网络故障注入,命令行实现

工具介绍 crictl工具&#xff1a;用于查询k8s pod和容器信息nsenter工具&#xff1a;用于进入容器的网络命名空间tc工具&#xff1a;注入网络故障 实现k8s pod级别网络故障 首先查找故障注入的pod的宿主机&#xff0c;并ssh登陆进去 kubectl get pod -n <namespace> …

无人机建模详解!!!

一、无人机拍摄 1. 准备工作 了解场地信息&#xff1a;在规划航线之前&#xff0c;需要了解场地的范围、地貌、树木遮挡情况、建筑和树木高度等&#xff0c;以便为后续的规划航线提供帮助。 选择拍摄时间&#xff1a;最佳拍摄条件为光线充足且风速较小的天气的10点-16点&…

swiftUI结构体数组修改属性UI没更新

SwiftUI使用了值语义&#xff0c;即当数组的值发生更改时&#xff0c;SwiftUI无法检测到具体的更改操作。 要解决这个问题&#xff0c;可以使用SwiftUI中的State属性包装器来创建一个可观察的状态变量。当数组发生更改时&#xff0c;通过更改状态变量的值来触发列表的更新,但是…

「铭记历史 珍爱和平」勿忘9.18!

93年前的今天 记忆着血与火 这是刻在中华民族 心口上的一道伤疤 中国人民永不忘记&#xff01; 2021年9月18日拍摄的辽宁省沈阳市“九一八”历史博物馆的残历碑。新华社记者 潘昱龙 摄 1931年9月18日 日军炸毁沈阳柳条湖附近 南满铁路路轨 反诬中国军队所为 随后炮轰东…

【机器学习导引】ch2-模型评估与选择

文章目录 经验误差与过拟合 &#xff08;Empirical error &overfitting&#xff09;1. **均方误差&#xff08;Mean Squared Error, MSE&#xff09;**2. **均方根误差&#xff08;Root Mean Squared Error, RMSE&#xff09;**3. **平均绝对误差&#xff08;Mean Absolute…

【C#】添加临时环境变量

在C#中&#xff0c;可以通过System.Environment类来添加临时环境变量。临时环境变量只在当前进程中有效&#xff0c;进程结束后变量即失效&#xff0c;不会写入系统的Path中。 using System;class Program {static void Main(){// 设置临时环境变量Environment.SetEnvironment…

Dom4j使用xpath查询xml文

Dom4j使用xpath查询带有命名空间的xml文件 方式1 忽略命名空间 DocumentFactory factory DocumentFactory.getInstance(); SAXReader reader new SAXReader(factory); Document document reader.read(xmlFilePath); Element rootElement document.getRootElement(); Nod…

【服务器】shell脚本之Docker创建nginx

#!/bin/bash# 定义目标目录和配置文件路径 BASE_DIR"/opt/docker/nginx"ETC_DIR"$BASE_DIR/etc" ETC_CONF_DIR"$ETC_DIR/conf.d" SSL_DIR"$ETC_CONF_DIR/ssl" LOG_DIR"$BASE_DIR/log"HTML_DIR"$BASE_DIR/html"C…

面向开发者的LLM入门教程(学习笔记01)

关注B站可以观看更多实战教学视频&#xff1a;hallo128的个人空间 面向开发者的LLM入门教程&#xff08;学习笔记01&#xff09; 吴恩达老师的《Prompt Engineering for Developer》课程 一、简介 1.LLM的定义 大语言模型&#xff08;LLM&#xff09; 的更强大功能是能通过…

程序设计题(49-56)

第四十九题 题目 请编写函数void fun(int *dp, int n, int upordown)&#xff0c; 其功能是&#xff0c;找出dp所指数组中的 最小或最大值&#xff0c;并与其第1个元素交换。形参n为元素的个数&#xff0c; 形参upordown为查找标志:值为0时找最小值;值为1时找最大值。 #in…

信息安全数学基础(17)Wilson定理

前言 Wilson定理&#xff08;Wilsons Theorem&#xff09;是数论中的一个基本定理&#xff0c;它揭示了素数与其阶乘之间的一个重要关系。 一、表述 对于任意素数p&#xff0c;有(p−1)!≡−1(modp)&#xff0c;其中(p−1)!表示p−1的阶乘&#xff0c;即123⋯(p−1)。 这个定理…

《自然语言处理 Transformer 模型详解》

一、引言 在自然语言处理领域&#xff0c;Transformer 模型的出现是一个重大的突破。它摒弃了传统的循环神经网络&#xff08;RNN&#xff09;和卷积神经网络&#xff08;CNN&#xff09;架构&#xff0c;完全基于注意力机制&#xff0c;在机器翻译、文本生成、问答系统等众多任…

算法-排序算法(冒泡选择插入希尔快速归并堆)

1.算法概述 1.1什么是算法 算法是特定问题的求解步骤的描述&#xff0c;是独立存在的一种解决问题的思想和方法。对于算法而言计算机编程语言并不重要&#xff0c;可以用任何计算机编程语言来编写算法。 程序数据结构算法 1.2数据结构和算法的区别和联系 数据结构只是静态…

supermap iclient3d for cesium场景加载雨雪效果,并加载相应材质

首先新建一个文件夹来存放材质&#xff0c;我选择src/assets/MaterialJson snow.json,复制粘贴,雨雪用一个就行了 {"material": {"id": "DA82AFCB-129A-4E66-995A-9F519894F58D","cullMode": "none","alphaMode"…

[论文笔记] LLM端侧小模型篇——1、剪枝量化的latency

接 LLM大模型剪枝篇&#xff0c;开启LLM端侧小模型篇的极致0成本部署之路&#xff5e;&#xff01;&#xff01;&#xff01;&#xff01; 剪枝效果 量化效果 推理框架 MLC-LLM&#xff1a;编译器方式推理&#xff0c;跨平台可用推理框架 https://huggingface.co/mlc-ai