无人值守大数据平台(CDH6.3.2+Flink+海豚调度器)如何实现大数据平台稳定及顺利跑出离线报表和实时报表(持续更新方案)

embedded/2024/9/23 7:34:19/

目录

背景

一、影响因素

(一)硬件方面

服务器硬件故障

资源不足

(二)软件方面

大数据组件故障

源数据问题

二、解决方案

(一)硬件冗余与监控

硬件冗余

(二)软件容错

1.配置高可用和分布式

HDFS (Hadoop Distributed File System) 高可用性

2. YARN (Yet Another Resource Negotiator) 高可用性

3. MapReduce 高可用性

4. HBase 高可用性

5. Kafka 高可用性

           6.海豚调度器(DolphinScheduler)分布式部署和高可用

7.mysql主从复制避免单点故障

2.程序健壮性

(三)资源管理

(四)数据存储与管理

影响

解决方案

(五)配置优化

性能调优

最佳实践

(六)任务调度与优化

  1.故障自愈

    2.实现自动化修复和回滚

    3.自动重启


背景

在一些安全要求高的行业,例如公安行业、电力、军事,要求大数据平台、离线数仓 和实时数仓都在内网环境运行,不能通过网络远程运维。

一、影响因素

(一)硬件方面

  1. 服务器硬件故障
    • 磁盘损坏:可能导致数据丢失、读写错误,影响任务的正常执行。
    • 内存故障:会造成数据处理过程中的内存溢出,导致任务失败。
  2. 资源不足
    • CPU 性能瓶颈:当处理复杂的计算任务时,CPU 计算能力不足会导致任务处理速度缓慢。
    • 内存不足:无法容纳大量的数据进行处理,可能导致数据交换频繁,降低系统性能。
    • 磁盘空间不足:无法存储新增的数据,影响数据的写入和读取。


http://www.ppmy.cn/embedded/92580.html

相关文章

C++初学(10)

10.1、共用体 共用体是一种数据格式,它能够存储不同的数据类型,但只能同时存储其中的一种类型。比如说:结构可以同时存储int、long、和double,而共用体只能存储int、long、或double。共用体的句式与结构相似,但含义不…

公司数据混乱怎么安全保存

当公司面临数据混乱的问题时,确保数据的安全保存变得尤为重要。 一、建立完善的数据管理制度 制定数据安全政策:企业应制定一套明确的数据安全政策,包括数据的分类、分级、存储、传输等方面的规定,以及数据的保管、使用和销毁等…

微博系统设计:应对热点事件的突发访问压力

微博系统设计:应对热点事件的突发访问压力 随着社交媒体的普及,微博系统需要应对海量用户的突发访问,尤其是在热点事件发生时。这对系统的设计和性能提出了极高的要求。本文将详细介绍如何设计一个高可用、高性能的微博系统,以应…

网盘批量转存,管理 ,分享、复制,软件

网盘批量转存,管理 ,分享、复制,软件 一款针对多个热门网盘的文件管理、批量分享、批量转存、批量复制、批量重命名、批量链接检测、跨账号移动文件、 多账号文件搜索等,支持不同网盘的不同账号的资源文件操作。适用于网站站长 …

Laravel php框架与Yii php 框架的优缺点

Laravel和Yii都是流行的PHP框架,它们各自具有独特的优点和缺点。以下是对这两个框架优缺点的详细分析: Laravel PHP框架的优缺点 优点 1、设计思想先进:Laravel的设计思想非常先进,非常适合应用各种开发模式,如TDD&…

计算机毕业设计选题推荐-生活垃圾治理系统-Java/Python项目实战

✨作者主页:IT毕设梦工厂✨ 个人简介:曾从事计算机专业培训教学,擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。 ☑文末获取源码☑ 精彩专栏推荐⬇⬇⬇ Java项目 Py…

Java中的不可变集合、Stream流以及异常处理的

目录 1. 不可变集合 如何创建不可变集合 2. Stream流 Stream基本操作 3. 异常处理 异常的分类 异常处理机制 1. 不可变集合 在Java中,不可变集合指的是一旦创建后内容不可更改的集合。这种集合的好处在于它们可以安全地被多个线程访问而无需同步,…

深入浅出Mysql 第二期

从更新语句中看日志系统 探究技术的本质,享受技术的乐趣!由于时间原因以及自己的原因导致拖更了,不过没关系,我保证后面每天一更,周末休息!好了,闲话少说,今天我们通过一个更新操作…