TDEngine3.x数据查询及插入调优

news/2024/12/3 1:29:08/

1

一、数据库创建

  1. vgroups 配置
    如果不了解vgroup概念,建议到官网查看:TDEngine官网-数据模型和整体架构

  从服务端配置的角度,要根据系统中磁盘的数量,磁盘的 I/O 能力,以及处理器能力在创建数据库时设置适当的 vgroups 数量以充分发挥系统性能。如果 vgroups 过少,则系统性能无法发挥;如果 vgroups 过多,会造成无谓的资源竞争。常规推荐 vgroups 数量为 CPU 核数的 2 倍,但仍然要结合具体的系统资源配置进行调优。

#查看linux cpu核数命令:lscpu
1
则 这里vgroups 设置常规为2*8=16

  1. maxRows minRows
    (1)minRows:数据块中记录的最小条数,单位为条,默认值为100。
    (2)maxRows:数据块中记录的最大条数,单位为条,默认值为4096。
      数据块,是每个.data数据文件里存储数据的单位,每一个数据块都只能存储一个表的数据。也就是说形成一个数据块默认的最小行数是minRows行,最多就是maxRows行。表行数不足minRows时数据存放的位置.last文件;而大于maxRows行的表会生成一个新的数据块。最终在.data文件中,数据块的分布方式如下:
    2

用实例说明
  假设创建库时使用的参数为 maxrows=1000,minrows=100。某库中有两张表A和B,我们向其中分别插入1000行和99行数据。然后,我们重启taosd服务,以上数据就会从内存中落盘到存储上。这个时候.data文件中会生成1个数据块,它就是表A的数据块1,里面拥有1000条数据。而表B的99条数据因为不足minrows所以就进入了.last文件。
  接下来,继续向它们分别插入1000行和99行,然后重启taosd服务落盘。这个时候表A总共拥有2000条数据,新写入的1000行数据会被写入进表A的数据块2。而表B的数据量现在已经有了198行,大于了100行。于是它们也会被写入.data文件里面,成为表B的数据块1。
  值得注意的是,当.last文件小于32k的时候,所有数据都只会追加进来。但是当.last文件大于32k的时候,每次落盘.last文件都是重写生成的了——这个的32k限制是为了防止数据的移动过于频繁。
  以上场景只针对两个表,但其实放大到100个表,1000个表都是一样的逻辑。尽管每个vnode内存里存储的大量数据分属于不同的表,但是每次落盘只要这些表的行数保证大于minrows,它们都会落入到.data文件的数据块中。不满足上述条件的表数据被写入.last文件后,继续等待新数据的写入,直到该表满足了行数minrows的大小后,.last文件中该表的数据会被读入到内存,之后一起写入到.data文件中。

即:

  • .data类文件存储的是真正的时序数据,为多个数据块构成。一个数据块只属于一张表,且数据块的顺序只与落盘的先后顺序有关。
  • .last文件与.data文件一样,也是存储时序数据的,只不过.last文件存储的块中的数据条数小于minRows。

TDEngine知识体系

TDEngine官网-高效率写入
TDengine 的用户如何优化数据的写入速度?


http://www.ppmy.cn/news/380050.html

相关文章

Vue中如何进行颜色选择与取色器?

Vue中如何进行颜色选择与取色器? 在Web开发中,颜色选择器是一个非常常见的功能。在Vue.js中,我们可以使用现成的颜色选择器组件或者自己编写一个颜色选择器组件。本文将介绍如何在Vue.js中实现颜色选择器组件和取色器功能。 颜色选择器组件 …

推挽电路应用

1. 推挽电路,常用上N下P型 2. 输出与输入同相: 输入低电平,输出低电平,输出受输入限制,输入输出同相 输入高电平,输出低电平,输出受输入限制,输入输出同相 3. N管烧坏原因分析 当…

Lambda表达式详解

文章目录 什么是LambdaLambda表达式的语法Lambda表达式的应用场景GUI应用Lambda表达式的优缺点总结 什么是Lambda java中的Lambda表达式是一种函数式编程的风格,它允许我们将代码作为数据传递,并在需要时执行。Lambda表达式能够极大地简化代码&#xff0…

会声会影2022版新版新增蓝光功能

会声会影2022是一款拥有十分强大跟的视频处理编辑类的软件工具。 好戏这就开场… Miracle Network! 全网首发 该软件是由视频编辑界十分出名的软件公司Corel所研发推行的,通过该软件的功能可以让用户们更好的进行各种格式视频的编辑处理,让用户更加…

怎么用手机修复老照片?手机修复老照片方法分享

怎么使用手机来修复老照片呢?相信很多小伙伴喜欢在家中翻看以前拍过的照片,自己小时候的照片经过这么长的时间可能有的已经老旧看不清了,尤其是如果家中还存有爷爷奶奶的照片,基本上都是黑白照或者是已经很老旧了,我们…

会声会影2022语音转文字功能怎么用

各位创作者们大家好,你们知道会声会影视频编辑软件有升级版了吗,没错,就是会声会影2022版,相比旧版又增加了很多新功能,我自己去试了一下,都是很棒的功能,快来一起看看吧,会声会影20…

Camtasia2022升级最新中文版 2022电脑录屏神器

Camtasia2022终于带着它的10项新功能来了!从Camtasia2018的初露锋芒,到Camtasia2019、2020的不断进步,再到Camtasia2021的惊艳众人,Camtasia凭借愈发强大的功能收获了一大批忠实用户和如潮好评,已成为屏幕录制必备软件…

会声会影2023 旗舰版v26.0.0.136有什么新功能/系统最低要求

会声会影2023旗舰版(Corel VideoStudio 2023)是Corel旗下一款功能强大的专业视频制作软件的视频编辑软件及视频剪辑软件.会声会影2023旗舰版,可以用于剪辑合并视频,制作视频,屏幕录制,光盘制作,视频后期编辑,添加特效,字幕和配音等操作,无需专业的视频编辑知识,任何人都能快速上…