【大数据技术】搭建完全分布式高可用大数据集群(Scala+Spark)

news/2025/2/6 7:55:16/

搭建完全分布式高可用大数据集群(Scala+Spark)

  • scala-2.13.16.tgz
  • spark-3.5.4-bin-without-hadoop.tgz

注:请在阅读本篇文章前,将以上资源下载下来。

写在前面

本文主要介绍搭建完全分布式高可用集群Spark的详细步骤。

注意: 统一约定将软件安装包存放于虚拟机的/software目录下,软件安装至/opt目录下。

安装Scala

以下步骤都在虚拟机master中执行,然后复制到虚拟机slave01slave02中。

  1. 上传scala包。

用 finalshell 将 scala-2.13.16.tgz 上传到虚拟机ma


http://www.ppmy.cn/news/1569745.html

相关文章

安卓(android)饭堂广播【Android移动开发基础案例教程(第2版)黑马程序员】

一、实验目的(如果代码有错漏,可查看源码) 1.熟悉广播机制的实现流程。 2.掌握广播接收者的创建方式。 3.掌握广播的类型以及自定义官博的创建。 二、实验条件 熟悉广播机制、广播接收者的概念、广播接收者的创建方式、自定广播实现方式以及有…

从零开始学习安时积分法(STM32实现程序)

在STM32微控制器上实现安时积分法(Coulomb Counting)来估算电池的SOC(State of Charge),需要完成以下几个步骤: 硬件配置: 使用STM32的ADC模块测量电池的电流。使用定时器模块进行时间积分。配置…

【Leetcode 热题 100】1143. 最长公共子序列

问题背景 给定两个字符串 t e x t 1 text_1 text1​ 和 t e x t 2 text_2 text2​,返回这两个字符串的最长 公共子序列 的长度。如果不存在 公共子序列 ,返回 0 0 0。 一个字符串的 子序列 是指这样一个新的字符串:它是由原字符串在不改变…

[ Spring ] Spring Boot Mybatis++ 2025

文章目录 StructureMyBatis Controller AbilitiesConfigure Plugins and RepositoriesApply Plugins and Add DependenciesMyBatis Spring PropertiesMyBatis ApplicationMyBatis BeansMyBatis MapperMyBatis Query Builder Structure this blog introduce 3 ways using mybat…

HarmonyOS NEXT:保存应用数据

用户首选项使用 用户首选项的特点 数据体积小、访问频率高、有加载速度要求的数据如用户偏好设置、用户字体大小、应用的配置参数。 用户搜选项(Preferences)提供了轻量级配置数据的持久化能力,支持订阅数据变化的通知能力。不支持分布式同…

实验十四 EL和JSTL

实验十四 EL和JSTL 一、实验目的 1、掌握EL表达式的使用 2、掌握JSTL的使用 二、实验过程 1、在数据库Book中建立表Tbook,包含图书ID,图书名称,图书价格。实现在bookQuery.jsp页面中模糊查询图书,如果图书的价格在50元以上&#…

vscode+vue3+高得地图开发过过程中本地视频及地图json文件的发布问题

很久没发blog了,最近vscodevue3高得地图开发中,因为有开发的视频教程,还有地图的边界的.json文件,这些静态文件发布时,如果处理不当,build命令会将这些静态文件进行打包。打包后文件名变化了,这…

DeepSeek的出现对全球GPT产业产生的冲击

引言 近年来,人工智能技术的迅猛发展推动了自然语言处理(NLP)领域的革命性进步。特别是以GPT(Generative Pre-trained Transformer)系列模型为代表的大规模预训练语言模型,已经在全球范围内引发了广泛关注…