无人值守大数据平台(CDH6.3.2+Flink+海豚调度器)如何实现大数据平台稳定及顺利跑出离线报表和实时报表(持续更新方案)

news/2024/12/22 21:07:20/

目录

背景

一、影响因素

(一)硬件方面

服务器硬件故障

资源不足

(二)软件方面

大数据组件故障

源数据问题

二、解决方案

(一)硬件冗余与监控

硬件冗余

(二)软件容错

1.配置高可用和分布式

HDFS (Hadoop Distributed File System) 高可用性

2. YARN (Yet Another Resource Negotiator) 高可用性

3. MapReduce 高可用性

4. HBase 高可用性

5. Kafka 高可用性

           6.海豚调度器(DolphinScheduler)分布式部署和高可用

7.mysql主从复制避免单点故障

2.程序健壮性

(三)资源管理

(四)数据存储与管理

影响

解决方案

(五)配置优化

性能调优

最佳实践

(六)任务调度与优化

  1.故障自愈

    2.实现自动化修复和回滚

    3.自动重启


背景

在一些安全要求高的行业,例如公安行业、电力、军事,要求大数据平台、离线数仓 和实时数仓都在内网环境运行,不能通过网络远程运维。

一、影响因素

(一)硬件方面

  1. 服务器硬件故障
    • 磁盘损坏:可能导致数据丢失、读写错误,影响任务的正常执行。
    • 内存故障:会造成数据处理过程中的内存溢出,导致任务失败。
  2. 资源不足
    • CPU 性能瓶颈:当处理复杂的计算任务时,CPU 计算能力不足会导致任务处理速度缓慢。
    • 内存不足:无法容纳大量的数据进行处理,可能导致数据交换频繁,降低系统性能。
    • 磁盘空间不足:无法存储新增的数据,影响数据的写入和读取。


http://www.ppmy.cn/news/1504437.html

相关文章

湖仓一体架构解析:数仓架构选择(第48天)

系列文章目录 1、Lambda 架构 2、Kappa 架构 3、混合架构 4、架构选择 5、实时数仓现状 6、湖仓一体架构 7、流批一体架构 文章目录 系列文章目录前言1、Lambda 架构2、Kappa 架构3、混合架构4、架构选择5、实时数仓现状6、湖仓一体架构7、流批一体架构 前言 本文解析了Lambd…

JAVA游戏源码:泡泡堂|大学生练手项目

学习java朋友们,福利来了,今天小编给大家带来了一款泡泡堂源码。此源码仅供学习使用!! 视频演示 源码搭建和讲解 代码简介 包名称类描述com.whh.frameMyJFrame.java显示窗体、绑定监听、启动线程com.whh.frameMyJPanel.java不断读取人物信息com.whh.m…

PCB设计经验——布线原则

1.连线精简——避免直角布线 导线也应看作一种元器件,有自己的电阻,电感,电容 PCB走线在直角转弯的地方,信号前后部分相互影响,导致分布电容增加,对信号上升沿和下降沿有延缓影响。从阻抗的角度来说&#…

Java 并发编程:Java 线程池的介绍与使用

大家好,我是栗筝i,这篇文章是我的 “栗筝i 的 Java 技术栈” 专栏的第 024 篇文章,在 “栗筝i 的 Java 技术栈” 这个专栏中我会持续为大家更新 Java 技术相关全套技术栈内容。专栏的主要目标是已经有一定 Java 开发经验,并希望进…

前端自定义组件+自建npm缓存服务器

自建 npm 缓存服务 安装 verdaccio npm install -global verdaccio启动 verdaccio verdaccio默认情况下,会在本地启动一个服务 http://localhost:4873/ 开发公共组件 在你的工程目录下执行 npm init -y ,相关配置自己定义index.ts 中开发组件逻辑 …

【WPF开发】如何将工程打包成单独的EXE安装包

一、安装NSIS与HM NIS Edit 1、下载和安装NSIS NSIS官网 2、下载和安装HM NIS Edit HM NIS Edit官网 点击下载后等待几秒,就会弹出下载提示 双击下载的安装包,点击“OK” 点击“下一步” 点击“我接受” 更改路径后,点击安装即可 二、打包软…

82.WEB渗透测试-信息收集-框架组件识别利用(6)

免责声明:内容仅供学习参考,请合法利用知识,禁止进行违法犯罪活动! 内容参考于: 易锦网校会员专享课 上一个内容:81.WEB渗透测试-信息收集-框架组件识别利用(5) log4j/log4j2&…

测试人生 | 招聘严峻期从面试无力感,到一天2个offer的一些经验分享(内附美团、字节、快手等面试题)

本人是霍格沃兹北京测试开发学社线下3期学员,拥有3年测试工作经验,之前一直在某大厂外包做软件测试,期间主要是以功能测试为主。 经过一个月的高强度找工作奋战,最终拿下了3家公司offer,选择了一家自己很满意的公司。…