ClickHouse知识点

devtools/2024/9/25 19:02:46/
Clickhouse

clickhouse是一款列式存储数据库

主要应用于OLAP领域。

OLAP:联机分析处理,主要做数据分析。

OLTP:联机事务处理,主要处理事务。

clickhouse索引和分区:

clickhouse可以进行分区操作,对海量数据进行细粒度的管理。

clickhouse支持索引操作,但是是稀疏索引,默认间隔8192.

clickhouse应用领域:

clickhouse单表查询,效率非常高;但是一旦多表联查,效率就没有那么高。适用于单表操作。

clickhouse数据类型:

整型:支持的整型分为两种:一种是有符号,一种是无符号。

ReplacingMergeTree引擎:

新版本,存储数据默认就会进行分区之内去重,但是分区之间不去重,直到后台进行去重,或是通过optimize手动去重。

SummingMergeTree:

新版本,存储数据默认就会进行分区之内预聚合,但是分区之间不进行预聚合,直到后台进行预聚合,或是通过optimize手动让其预聚合。

foreach和foreachPartition的区别?哪个效率高

foreachPartition效率高。

举例:将1w条数据,分成5个分区,平均每个分区2000条数据,要将这1w条数据保存到数据库,如果调用foreach,一次保存一条:

每来1条数据,就要打开数据库连接,然后保存这1条数据,保存成功后,断开数据库连接,以此类推,如果要保存1w条数据,就要

打开断开1w次数据库,这样的话给数据库造成的压力比较大。

如果调用foreachPartition,一次操作一个分区当中的数据,也就是如果只有5个分区,那么每个分区进行保存,会打开断开一次数据库连接,一共5个分区,只需要打开断开5次数据库就能完成,给数据库造成的压力比较小,效率比较高。

clickhouse数学函数:

rand/rand32/rand64:返回一个UInt32/UInt64类型的随机数字,所有随机产生的数字出现的概率相同。

floor(x):小于等于x中的最大整数。

ceil(x):大于等于x中的最小整数。

clickhouse条件函数:

if:条件判断。

ifNull(x,default):条件判断,如果第一个参数x不为空,则返回x;如果x为Null,则返回默认值default。

isNull(x):检查参数是否为Null,x为一个非复合类型的值,如果x为Null则返回1,如果x不为Null则返回0.

isNotNull(x):和isNull相反。

clickhouse类型函数:

toInt(8|16|32|64),toFloat(32|64),toString,toDate

clickhouse日期函数:

now():返回当前日期和时间。

today():返回当天的日期。

yesterday():返回昨天日期。

toYYYYMM:格式化到年月。

toYYYYMMDD:格式化到年月日。

toYYYYMMDDhhmmss:格式化到年月日,时分秒。

toYear/toQuarter/toMonth/toDayOfYear/toDayOfMonth/toDayOfWeek/toHour

toUnixTimeStamp():将时间转换为毫秒统计。

toStartOfYear:年的第一天。

toStartOfQuarter:季度的第一天。

addMonths():添加月。

addWeeks():添加周。

addDays():添加天。

addHours|addMinutes|addSeconds|addQuarters

subtractQuarters():缩减季度。

subtractDays():缩减天数。

clickhouse字符串函数:

length():统计长度。

empty:是否为空。

notEmpty:不为空。

lower|lcase|upper|ucase:大小写转换。

reverse():反转。

concat():拼接,将参数拼接到一起。


http://www.ppmy.cn/devtools/44027.html

相关文章

Python的类全面系统学习

文章目录 1. 基本概念1.1 类(Class)1.2 对象(Object) 2. 类的属性和方法3. 类的继承3.1 继承的概念3.2 单继承3.3 多重继承 4. 方法重写与多态4.1 方法重写4.2 多态 5. 特殊方法与运算符重载5.1 特殊方法(魔法方法&…

ubuntu 安装 kvm 启动虚拟机

1. 基础环境设置 #更新环境 apt update apt upgrade#配置网卡 cat >/etc/netplan/br.yml<<EOF network:ethernets:eth2: {}bridges:br0:interfaces:- eth2addresses:- 192.192.1.213/24gateway4: 192.192.1.1nameservers:addresses:- 8.8.8.8- 8.8.4.4 EOF #安装组件…

Git常用操作

目录 1 初始化2 仓库3 四个区域4 文件状态5 基本概念6 特殊文件7 添加和提交8 分支9 合并分支10 撤销和恢复11 查看状态12 stash13 远程仓库14 GitFlow15 参考 1 初始化 查看版本 git -v配置用户名 git config --global user.name "Zhang Beihai"配置邮箱 git co…

有些错误,常犯常新、常新常犯:记录一个使用element-plus的tooltip组件的错误

使用element-plus的tooltip组件&#xff0c;最开始的写法是这样的&#xff1a; <el-tooltipclass"box-item"effect"dark"content"tooltip content" ><el-button v-if"isDisabled" :underline"false" type"pr…

深入了解Nodejs模块机制

深入了解Nodejs模块机制 我们都知道Nodejs遵循的是CommonJS规范&#xff0c;当我们require(moduleA)时&#xff0c;模块是怎么通过名字或者路径获取到模块的呢&#xff1f;首先要聊一下模块引用、模块定义、模块标识三个概念。 1 CommonJS规范 1.1 模块引用 模块上下文提供…

markdown语法保存

这里写自定义目录标题 欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题&#xff0c;有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants 创建一个自定义列表如何创建一个…

ThreadLocal:熟悉的陌生词,你应该要知道的。

Hi,大家好&#xff0c;我是抢老婆酸奶的小肥仔。 在很多的地方&#xff0c;我们都能看到ThreadLocal的身影&#xff0c;也会用到它&#xff0c;但是我们真的就了解它吗&#xff1f; 今天我们来叨叨这个我们既熟悉又陌生的小伙伴&#xff0c;废话不多说开整。 1、啥是ThreadL…

建议大家少用点儿网站测速工具

春节休息期间明月有接了几个服务器代运维的业务&#xff0c;期间就发现不少新手站长们还在用 17ce、站长工具等等这些网站测速工具来评判站点访问速度的&#xff0c;感觉很有必要给大家聊聊这个事儿&#xff0c;因为这毕竟也是一个涉及服务器安全的一个重要环节了。 其实&#…