iot采集的数据存大数据 物联网 工业互联网

news/2024/10/17 13:35:57/

现在的负责的系统中,其中一个叫EMS,其数据链路为:

传感器采集 --> 厂商的转发服务器 --> iot平台(其中有的厂商转发过来的数据需要处理,在iot前面会多加一个emq转发服务器)--> 大数据(大数据的定时任务将这些实时数据存数据库clickhouse)--> EMS(EMS的定时任务每10分钟对这些实时数据进行一次汇总计算,落表,mysql数据库)

大数据的这张单表,每天10亿-12亿条数据,大概50G。平均一条数据40-50个Byte。

而且是3个副本

目前已经存了3年的数据。5000亿条数据。

一般保存3个月就够了,也可以半年。

因为都是实时数据,计算完了落到mysql的表里其实也就没用了。少部分功能,像组态图、实时数据展示等,会要求当天的数据。


http://www.ppmy.cn/news/629687.html

相关文章

微信小程序使用vant组件样式未生效解决办法

1.删除小程序自带的样式 首先在app.json里面删除这一行 2.清除缓存 重新编译 3.重新构建npm 重新编译 在工具里面

计算机转换汉子英语,中英文切换(电脑怎么切换拼音打字)

在打字时需要输入英文怎么切换 用搜狗等各类拼音法的话 不用切换就可自由地“中英 ” 非常简单 没有人不知道吧?方法是----- 汉字状态时,按回车键就是英文字母(此时按空格键是汉字) 谁能告诉我小键盘旁边,也就是全角和半角的旁边的中文和英文符号,切换的。 ctrl+.(小数点) …

记录react 视频和 预览拖动

一、react 视频 ##1、循环播放 import React, { useEffect, useState, useRef } from "react"; const videoRef useRef(null); const showVideoClass { display: "block", width: "100%", height: "100%" } const hindVideoClass …

Linux系统:进程控制

文章目录 1 创建进程2 进程终止2.1 进程退出情况2.2 进程终止的常见方式2.2.1 return语句2.2.2 exit()函数2.2.3 _exit()函数 3进程等待3.1 进程等待的重要性3.2 进程等待的方法3.2.1 wait()方法3.2.2 waitpid()方法 4 进程替换4.1 替换原理4.2 替换函数 1 创建进程 fork()函数…

kafka线上环境搭建对软硬件要求

1. 操作系统 kafka推荐使用linux操作系统,原因:kafka的client端的网络模型采用的是java的selector方式,而java的selector在linux系统上使用的是linux的epoll模型(回调机制),在windows上采用的是select方式&…

python项目运行的软硬件环境_开发时的软硬件环境和运行时的软硬件环境分别是什么...

展开全部 开发时的软硬件环境是产品开发时所涉及到的编程语言e69da5e887aa62616964757a686964616f31333431373235以及用到的硬件设备。 运行过程中的软硬件环境指涉及到的编程语言支持的编译环境及软件运行时所应该具有的设备和相关硬件设施。 对于开发来说,所有电脑…

辨析:开发环境、测试环境、准生产环境、生产环境

对于刚接触程序猿这个行业的小猿们,刚听到这些名词是不是感觉有点高大上,但是很懵逼啊,完全分不清楚,今天就以我个人的理解来给大家辨析一下这几个名词的区别。 开发环境:开发环境顾名思义就是我们程序猿自己把项目放…

测试环境的搭建和维护_软硬件测试环境

测试环境的搭建和维护 只要做过一次测试,就一定知道测试环境,但测试环境是如何搭建和维护的呢?就不一定所有人都明白了。 测试环境的搭建,每个公司都有不一样的流程和方法。一种是运维或者开发负责搭建和维护,另一种…