hadoop本地化windows部署

news/2025/1/23 23:18:41/

文章目录

  • 前言
  • 1. hadoop on windows
    • 1.1 安装jdk
    • 1.2 安装hadoop
      • 1.2.1 解压
      • 1.2.2 备用目录
      • 1.2.3 修改配置
      • 1.2.4 安装winutils-master
      • 1.2.5 格式化namenode
      • 1.2.6 启动hadoop
      • 1.2.7 web-ui登陆hadoop hdfs
  • 2. spark on windows
    • 2.1 安装scala
    • 2.2 安装spark
      • 2.2.1 解压
      • 2.2.2 环境变量
      • 2.2.3 spark配置
    • 2.3 启动spark-shell
    • 2.4 登陆web-ui
  • 3. hive on windows


前言

需求背景是java代码提交服务器测试周期流程太慢,需要一种能直接在windows本地部署的相关组件。分析项目现有大数据技术栈,包括hadoop、hive和spark(sparksql),存储和计算都依赖windows系统。期中hive保存在本地的hadoop上,spark提交在hadoop的yarn上。

· hadoop on windows
· hive on windows
· spark on windows(提交方式是spark on yarn)

注意事项:
在spark官网选择spark版本的时候确定对应支持的hadoop版本,然后选择对应hadoop的winutils-master的版本。
Spark下载路径:https://spark.apache.org/downloads.html
Hadoop下载路径:https://archive.apache.org/dist/hadoop/common/
Scala下载路径:https://www.scala-lang.org/download/all.html
Winutils-master下载路径:https://github.com/cdarlint/winutils


1. hadoop on windows

1.1 安装jdk

jdk安装省略了
Win+R输入cmd,再键入java -version,确认jdk安装是否成功
在这里插入图片描述

1.2 安装hadoop

1.2.1 解压

解压下载的包到一个无中文无空格的路径下

1.2.2 备用目录

新建一个无中文无空格的文件夹,作为hadoop的namenode地址和datanode地址

1.2.3 修改配置

分别修改解压包下~\etc\hadoop的相关配置文件

  • hdfs-site.xml
    在这里插入图片描述

  • yan-site.xml
    在这里插入图片描述

  • mapred-site.xml
    在这里插入图片描述

  • core-site.xml
    在这里插入图片描述

  • hadoop-env.cmd
    在这里插入图片描述

1.2.4 安装winutils-master

解压winutils-master包,找到对应hadoop依赖版本的并进入bin目录将这个文件夹里面的文件整体复制到hadoop的安装路径~/bin下

1.2.5 格式化namenode

以管理员启动cmd.exe,键入hdfs namenode -formet,再确认Y

1.2.6 启动hadoop

以管理员启动cmd.exe,进入到hadoop加压路径~/sbin,执行start-all,当再弹出四个窗口并无报错的时候即启动成功

  • namenode
    在这里插入图片描述

  • datanode
    在这里插入图片描述

  • nodemanager
    在这里插入图片描述

  • resourcemanager
    在这里插入图片描述

1.2.7 web-ui登陆hadoop hdfs

我安装的是3.0版本的hadoop,所以登陆页面是https://localhost:9870,如果是2.0版本的hadoop,登陆页面是https://localhost:50070
在这里插入图片描述


2. spark on windows

2.1 安装scala

spark是scala语言开发的,依赖语言环境。类似于安装jdk,Win+R输入cmd,再键入scala -version,确认scala安装是否成功
在这里插入图片描述

2.2 安装spark

2.2.1 解压

解压spark安装包到一个无中文无空格的路径下

2.2.2 环境变量

配置spark环境变量,类似于配置jdk变量。需要配置SPARK_HOME和Path
SPARK_HOME=spark解压安装路径
Path新增一个%SPARK_HOME%\bin

2.2.3 spark配置

修改spark-env.sh添加以下配置,这一步修改的意义是为了让spark的提交走hadoop的yarn
YARN_CONF_DIR=hadoop安装路径/etc/hadoop

2.3 启动spark-shell

执行spark-shell启动
在这里插入图片描述

2.4 登陆web-ui

管理页面,https://localhost:4040
在这里插入图片描述


3. hive on windows

hive on windows 需要安装本地化mysql 忒麻烦了。但是hive on windows 其实很好实现,这里就偷个懒省略了。


http://www.ppmy.cn/news/386264.html

相关文章

武职301-day01

文章目录 实现永和小票页面效果图问题分析开发分析开发步骤order.html页面 问题:HTML代码和CSS样式代码混杂在一起网页中使用样式style修饰常用2种方式自定义样式表base.css 作业 实现永和小票页面 效果图 问题分析 把一个大的开发任务,先进行任务分析…

【2023最全教程】Web自动化测试怎么做?Web自动化测试的详细流程和步骤

一、什么是web自动化测试 自动化(Automation)是指机器设备、系统或过程(生产、管理过程)在没有人或较少人的直接参与下,按照人的要求,经过自动检测、信息处理、分析判断、操纵控制,实现预期的目…

基于SSM的学生成绩课程信息管理系统选课-JAVA.VUE【数据库设计、开题报告】

功能介绍 项目分为管理员、教师、学生三种角色。 管理员增删改查学生,教师,公告,课程类型等信息,对课程信息,学生选课,班级信息,学生成绩信息进行查看并管理。 教师负责添加课程,…

51.COM成立IM事业部与腾讯正面竞争

据51.COM方面确认,该公司已于今年11月份把IM项目组独立成与网站、游戏并列的三大事业部之一,将于明年开始发力IM市场。 这意味着,以社交网络起家的51.COM在腾讯涉足社交网络之后,也试图大规模突入腾讯的IM大本营。 就在近期&#…

基于微信小程序的走失人员的报备案件志愿者线索平台SSM-JAVA【数据库设计、论文、源码、开题报告】

功能介绍 本次开发一套基于微信小程序的走失人员的报备平台有管理员,家属,志愿者,公安部门四个角色。 管理员功能有个人中心,家属管理,志愿者管理,公安部门管理,走失老人管理,案件…

基于微信小程序的走失人员的报备案件志愿者线索平台SSM-JAVA【数据库设计、论文、毕设源码、开题报告】

功能介绍 本次开发一套基于微信小程序的走失人员的报备平台有管理员,家属,志愿者,公安部门四个角色。 管理员功能有个人中心,家属管理,志愿者管理,公安部门管理,走失老人管理,案件…

基于微信小程序的高校学生事务考试通知管理系统SSM-JAVA【数据库设计、论文、源码、开题报告】

功能介绍 后台功能:个人中心、学校、学院、年级、班级、学生以及教师的管理,通知公告管理、学生资料管理、待办事项管理、教务处通知管理、讲座通知管理、学生集合管理、试卷管理、考试管理、试题管理; 前台功能:各种通知的查看…

最新微信小程序选题推荐-高校学生事务考试通知管理系统SSM-JAVA【数据库设计、论文、源码、开题报告】

摘要 随着信息技术在管理上越来越深入而广泛的应用,管理信息系统的实施在技术上已逐步成熟。本文介绍了微信小程序高校学生事务管理系统的开发全过程。通过分析微信小程序高校学生事务管理系统管理的不足,创建了一个计算机管理微信小程序高校学生事务管…