Hadoop生态圈框架部署（一）- Linux操作系统安装及配置

news/2024/10/30 18:54:48/

文章目录

  • 前言
  • 一、下载CentOS镜像
    • 1. 下载
  • 二、创建虚拟机hadoop1
  • 三、CentOS安装、克隆与配置
    • 1. 安装CentOS
    • 2. 根据虚拟机hadoop1克隆出虚拟机hadoop2
    • 3. 根据虚拟机hadoop1克隆出虚拟机hadoop3
    • 4. 配置虚拟网络及虚拟网卡
      • 4.1 配置虚拟网络
      • 4.1 配置虚拟网卡
    • 5. 安装 SSH 远程连接工具 FinalShell
      • 5.1 简介
      • 主要特点
      • 5.2 下载和安装
        • 5.2.1 下载
        • 5.2.2 安装
      • 5.3 启动虚拟机hadoop1、hadoop2和hadoop3
      • 5.4 使用FinalShell连接虚拟机
        • 5.4.1 使用FinalShell连接虚拟机hadoop1
        • 5.4.2 使用FinalShell连接虚拟机hadoop2
        • 5.4.1 使用FinalShell连接虚拟机hadoop3
    • 6. 虚拟机配置
      • 6.1 配置虚拟机hadoop1的主机名、静态ip地址和uuid
      • 6.2 配置虚拟机hadoop2的主机名、静态ip地址和uuid
      • 6.3 配置虚拟机hadoop3的主机名、静态ip地址和uuid
    • 7. 重启虚拟机
      • 7.1 重启虚拟机hadoop1，并更新FinalShell的连接信息
      • 7.2 重启虚拟机hadoop2，并更新FinalShell的连接信息
      • 7.3 重启虚拟机hadoop3，并更新FinalShell的连接信息
    • 8. 关闭并禁用防火墙
      • 8.1 关闭并禁用虚拟机hadoop1的防火墙
      • 8.2 关闭并禁用虚拟机hadoop2的防火墙
      • 8.3 关闭并禁用虚拟机hadoop3的防火墙

前言

  1. 本文将介绍CentOS镜像下载
  2. 创建虚拟机hadoop1，根据虚拟机hadoop1完整克隆出虚拟机hadoop2和虚拟机hadoop3
  3. 配置虚拟网络和虚拟网卡
  4. 使用SSH远程连接工具FinalShell来连接虚拟机hadoop1、虚拟机hadoop2和虚拟机hadoop3
  5. 配置虚拟机的主机名、静态ip地址和uuid，对应关系如下：
    在这里插入图片描述
  6. 关闭并禁用防火墙

一、下载CentOS镜像

1. 下载

CentOS镜像下载地址：
阿里云：https://mirrors.aliyun.com/centos-vault/centos/7/isos/x86_64/

进入网站后，选择红框中的一种点击下载。
在这里插入图片描述

hadoop1_27">二、创建虚拟机hadoop1

运行VMware Workstation软件后，点击创建新的虚拟机。

在这里插入图片描述

点击自定义(高级)©，点击下一步。

在这里插入图片描述

选择硬件兼容性为Workstation 16.x，点击下一步。

在这里插入图片描述

选择稍后安装操作系统，点击下一步。

在这里插入图片描述

选择客户机操作系统为Linux，版本为CentOS 7 64位，点击下一步。

在这里插入图片描述

自定义虚拟机名称，选择虚拟机存储目录，点击下一步。

在这里插入图片描述

选择处理器数量为1，每个处理器的内核数量为2，点击下一步。

在这里插入图片描述

设置虚拟机的内存为4096MB，点击下一步。

在这里插入图片描述

选择网络类型为使用网络地址转换，点击下一步。

在这里插入图片描述

选择SCSI控制器为LSI Logic，点击下一步。

在这里插入图片描述

选择虚拟磁盘类型为SCSI，点击下一步。

在这里插入图片描述

选择磁盘为创建新虚拟磁盘，点击下一步。

在这里插入图片描述

设置最大磁盘大小为30G，选择将虚拟磁盘拆分成多个文件，点击下一步。

在这里插入图片描述

把磁盘文件命名为hadoop1.vmdk，点击下一步。

在这里插入图片描述

在这个页面查看虚拟机的相关配置参数，点击完成。

在这里插入图片描述

创建完成的虚拟机如下图所示。

在这里插入图片描述

三、CentOS安装、克隆与配置

1. 安装CentOS

在创建完成后的虚拟机页面点击设备下方的CD/DVD（IDE）选项，选择使用ISO映像文件，点击浏览，选择镜像文件，点击确定。

在这里插入图片描述

点击开启虚拟机。

在这里插入图片描述

启动虚拟机后，鼠标点击黑色背景部分，键盘上的上下键可以选择选项，选择Install CentOS 7，之后点击回车键。

在这里插入图片描述

等待加载完成后，点击空白部分，让鼠标可以选择，然后设置语言为简体中文。

在这里插入图片描述

设置日期和时间为亚洲上海时区，键盘为汉语，语言支持为简体中文。

在这里插入图片描述

设置软件选择为最小安装。

在这里插入图片描述

在这里插入图片描述

设置安装位置为自动选择分区。

在这里插入图片描述

在这里插入图片描述

设置网络和主机名，设置以太网状态为开启，主机名为hadoop1，点击应用后可以在右下角看到当前主机名，点击完成。

在这里插入图片描述

在这里插入图片描述

设置完成后，点击开始安装。

在这里插入图片描述

开始安装后，点击ROOT密码。

在这里插入图片描述

输入需要设置的密码，双击完成。

在这里插入图片描述

设置密码完成后，可以看到已经设置root密码。

在这里插入图片描述

等待安装完成后点击重启。

在这里插入图片描述

重启完成后会跳转到登陆页面，输入用户名root，点击回车，输入密码时不会有任何字符出现，但是已经是输入了，输入密码后，点击回车登录。

在这里插入图片描述

关闭虚拟机。

在这里插入图片描述

hadoop1hadoop2_187">2. 根据虚拟机hadoop1克隆出虚拟机hadoop2

克隆出虚拟机前需要先关闭虚拟机hadoop1，右击hadoop1，点击管理，点击克隆。

在这里插入图片描述

点击下一页。

在这里插入图片描述

在克隆源界面，选择虚拟机中的当前状态，点击下一页。

在这里插入图片描述

在克隆类型页面，选择创建完整克隆，点击下一页。

在这里插入图片描述

在新虚拟机名称页面，设置虚拟机名称为hadoop2，选择新虚拟机的存储位置，点击完成。

在这里插入图片描述

等待克隆完成，克隆完成如下图所示，点击关闭。

在这里插入图片描述

hadoop1hadoop3_217">3. 根据虚拟机hadoop1克隆出虚拟机hadoop3

克隆出虚拟机前需要先关闭虚拟机hadoop1，右击hadoop1，点击管理，点击克隆。

在这里插入图片描述

点击下一页。

在这里插入图片描述

在克隆源界面，选择虚拟机中的当前状态，点击下一页。

在这里插入图片描述

在克隆类型页面，选择创建完整克隆，点击下一页。

在这里插入图片描述

在新虚拟机名称页面，设置虚拟机名称为hadoop3，选择新虚拟机的存储位置，点击完成。

在这里插入图片描述

等待克隆完成，克隆完成如下图所示，点击关闭。

在这里插入图片描述

4. 配置虚拟网络及虚拟网卡

4.1 配置虚拟网络

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

4.1 配置虚拟网卡

  1. 按 Win + R 组合键打开“运行”对话框。
  2. 输入 control 并按回车键，打开控制面板。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

5. 安装 SSH 远程连接工具 FinalShell

5.1 简介

FinalShell 是一款功能全面的 SSH 客户端和终端模拟器，它主要用于远程管理和控制服务器。FinalShell 提供了丰富的特性和工具，使其成为 IT 专业人士、系统管理员和开发者的常用工具之一。以下是 FinalShell 的一些主要特点：

主要特点

  • 集成的文件传输：内置 SFTP 浏览器，可以直接在本地和远程服务器之间传输文件。
  • 多标签会话：支持在一个窗口中打开多个会话标签，方便同时管理多个服务器。
  • 高度可配置：用户可以根据自己的需求定制界面颜色、字体大小等。
  • 安全性：支持多种认证方式（如密码、公钥认证等），以确保连接的安全性。
  • 脚本编辑器：提供了一个功能丰富的脚本编辑器，支持语法高亮等功能。
  • 网络工具：内置了一些常用的网络工具，例如 ping、traceroute 等，方便进行网络诊断。
  • 云平台支持：集成了对主流云服务提供商的支持，如阿里云、腾讯云等，可以直接从云平台启动会话。
  • 终端复用：支持在一个窗口内创建多个终端会话，便于同时操作多个环境。
  • 会话管理：能够保存会话设置，方便快速重新连接到之前的服务器。
  • 自动化脚本：支持自动化脚本的编写和执行，提高工作效率。

FinalShell 的设计旨在提供一个高效、便捷的远程管理解决方案，适用于各种规模的企业和个人用户。

5.2 下载和安装

5.2.1 下载

下载地址：http://www.hostbuf.com/downloads/finalshell_windows_x64.exe

点击下载地址后就会开始下载，等待下载完成。

5.2.2 安装

下载完成后，双击下载好的.exe文件。

在这里插入图片描述

点击我接受。

在这里插入图片描述

点击下一步。

在这里插入图片描述

点击浏览选择安装目录，点击安装。

在这里插入图片描述

等待安装完成后点击关闭。

在这里插入图片描述

hadoop1hadoop2hadoop3_309">5.3 启动虚拟机hadoop1、hadoop2和hadoop3

启动虚拟机hadoop1。
在这里插入图片描述
输入账号root，密码123456，进行登录，然后使用命令ip addr查看动态ip地址。
在这里插入图片描述

启动虚拟机hadoop2。
在这里插入图片描述

输入账号root，密码123456，进行登录，然后使用命令ip addr查看动态ip地址。

在这里插入图片描述

启动虚拟机hadoop3。
在这里插入图片描述
输入账号root，密码123456，进行登录，然后使用命令ip addr查看动态ip地址。

在这里插入图片描述

5.4 使用FinalShell连接虚拟机

安装完成之后会自动运行FinalShell，或者双击桌面快捷方式运行FinalShell。

hadoop1_332">5.4.1 使用FinalShell连接虚拟机hadoop1

在这里插入图片描述

输入自定义名称hadoop1、主机ip地址为之前查看虚拟机hadoop1的动态ip地址、端口号，选择认证方法为密码，输入用户名root和密码123456，点击确定。

在这里插入图片描述

双击新建的SSH连接，连接虚拟机hadoop1。

在这里插入图片描述
在这里插入图片描述

出现如下页面则连接成功。

在这里插入图片描述

hadoop2_352">5.4.2 使用FinalShell连接虚拟机hadoop2

在这里插入图片描述

输入自定义名称hadoop2、主机ip地址为之前查看虚拟机hadoop2的动态ip地址、端口号，选择认证方法为密码，输入用户名root和密码123456，点击确定。

在这里插入图片描述

双击新建的SSH连接，连接虚拟机hadoop2。

在这里插入图片描述

在这里插入图片描述

出现如下页面则连接成功。

在这里插入图片描述

hadoop3_375">5.4.1 使用FinalShell连接虚拟机hadoop3

在这里插入图片描述

输入自定义名称hadoop3、主机ip地址为之前查看虚拟机hadoop3的动态ip地址、端口号，选择认证方法为密码，输入用户名root和密码123456，点击确定。

在这里插入图片描述

双击新建的SSH连接，连接虚拟机hadoop3。

在这里插入图片描述

在这里插入图片描述

出现如下页面则连接成功。

在这里插入图片描述

6. 虚拟机配置

hadoop1ipuuid_401">6.1 配置虚拟机hadoop1的主机名、静态ip地址和uuid

在虚拟机hadoop1使用如下命令设置虚拟机hadoop1的主机名为hadoop1，静态ip地址为192.168.121.160。

hostnamectl set-hostname hadoop1

cat >/etc/sysconfig/network-scripts/ifcfg-ens33 <<EOF
TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
IPADDR="192.168.121.160"
NETMASK="255.255.255.0"
GATEWAY="192.168.198.2"
DNS1="114.114.114.114"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="$(uuidgen)"
DEVICE="ens33"
ONBOOT="yes"
EOF

在这里插入图片描述

hadoop2ipuuid_432">6.2 配置虚拟机hadoop2的主机名、静态ip地址和uuid

在虚拟机hadoop2使用如下命令设置虚拟机hadoop2的主机名为hadoop2，静态ip地址为192.168.121.161。

hostnamectl set-hostname hadoop2

cat >/etc/sysconfig/network-scripts/ifcfg-ens33 <<EOF
TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
IPADDR="192.168.121.161"
NETMASK="255.255.255.0"
GATEWAY="192.168.198.2"
DNS1="114.114.114.114"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="$(uuidgen)"
DEVICE="ens33"
ONBOOT="yes"
EOF

在这里插入图片描述

hadoop3ipuuid_463">6.3 配置虚拟机hadoop3的主机名、静态ip地址和uuid

在虚拟机hadoop3使用如下命令设置虚拟机hadoop3的主机名为hadoop3，静态ip地址为192.168.121.162。

hostnamectl set-hostname hadoop3

cat >/etc/sysconfig/network-scripts/ifcfg-ens33 <<EOF
TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
IPADDR="192.168.121.162"
NETMASK="255.255.255.0"
GATEWAY="192.168.198.2"
DNS1="114.114.114.114"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="$(uuidgen)"
DEVICE="ens33"
ONBOOT="yes"
EOF

在这里插入图片描述

7. 重启虚拟机

hadoop1FinalShell_495">7.1 重启虚拟机hadoop1，并更新FinalShell的连接信息

由于修改ip地址和主机名后，需要重启虚拟机使修改的配置生效，新的ip地址生效后。

点到虚拟机hadoop1，然后使用Ctrl+r快捷键重启虚拟机hadoop1。

在这里插入图片描述
FinalShell上的虚拟机hadoop1的连接信息要改为新的ip地址。
在这里插入图片描述
然后双击连接。
在这里插入图片描述

hadoop2FinalShell_506">7.2 重启虚拟机hadoop2，并更新FinalShell的连接信息

由于修改ip地址和主机名后，需要重启虚拟机使修改的配置生效，新的ip地址生效后。

点到虚拟机hadoop2，然后使用Ctrl+r快捷键重启虚拟机hadoop2。

在这里插入图片描述

FinalShell上的虚拟机hadoop2的连接信息要改为新的ip地址。
在这里插入图片描述

然后双击连接。
在这里插入图片描述

hadoop3FinalShell_520">7.3 重启虚拟机hadoop3，并更新FinalShell的连接信息

由于修改ip地址和主机名后，需要重启虚拟机使修改的配置生效，新的ip地址生效后。

点到虚拟机hadoop3，然后使用Ctrl+r快捷键重启虚拟机hadoop3。

在这里插入图片描述

FinalShell上的虚拟机hadoop3的连接信息要改为新的ip地址。
在这里插入图片描述

然后双击连接。
在这里插入图片描述

8. 关闭并禁用防火墙

hadoop1_534">8.1 关闭并禁用虚拟机hadoop1的防火墙

systemctl stop firewalld
systemctl disable firewalld

在这里插入图片描述

hadoop2_540">8.2 关闭并禁用虚拟机hadoop2的防火墙

systemctl stop firewalld
systemctl disable firewalld

在这里插入图片描述

hadoop3_546">8.3 关闭并禁用虚拟机hadoop3的防火墙

systemctl stop firewalld
systemctl disable firewalld

在这里插入图片描述


http://www.ppmy.cn/news/1543166.html

相关文章

goalng框架Gin解析

goalng框架Gin解析

本文通过案例的形式&#xff0c;说明gin框架的基本用法&#xff0c;主要列举后端的案例&#xff0c;前端和相对简单的知识点未在此分析&#xff1b; 过完案例后可以有个基本的印象&#xff1a;就是封装和简便 package mainimport ("fmt""github.com/gin-gonic/…
阅读更多...
第十四题刮开有奖

第十四题刮开有奖

这道题还是将我们下载好的附件先查壳 发现无壳且为32位 所以我们用32位的IDA打开 打开后ShftF12发现一串可疑的字符串 我们跟进看看 发现了这个函数 看这里有string数组 首先给了一串七v7 v8v9的数据 下面还有一个函数 我们再跟进一下 发现这大概是前面v7那堆数据的加密方式 我…
阅读更多...
30. 串联所有单词的子串 C#实现

30. 串联所有单词的子串 C#实现

30. 串联所有单词的子串 困难 给定一个字符串 s 和一个字符串数组 words。 words 中所有字符串 长度相同。 s 中的 串联子串 是指一个包含 words 中所有字符串以任意顺序排列连接起来的子串。 例如&#xff0c;如果 words ["ab","cd","ef"]…
阅读更多...
前端js中如何保护密钥？

前端js中如何保护密钥？

在前端js编程中&#xff0c;如果涉及到加密通信、加密算法&#xff0c;经常会用到密钥。 但密钥&#xff0c;很容易暴露。暴露原因&#xff1a;js代码透明&#xff0c;在浏览器中可以查看源码&#xff0c;从中找到密钥。 例如&#xff0c;下面的代码中&#xff0c;变量key是密…
阅读更多...
Soanrquber集成Gitlab 之 gitlab用户配置和身份验证

Soanrquber集成Gitlab 之 gitlab用户配置和身份验证

集成Gitlab &#xff1a; gitlab用户配置和身份验证 说明&#xff1a; 使得Sonarquber的用户登录与Gitlab的用户登录/认证模块同步 什么是 SonarQube&#xff1f; SonarQube 是一个开源的代码质量管理平台&#xff0c;用于持续检查和分析代码的质量和安全性。它提供了多种功…
阅读更多...
漏洞挖掘 | 基于mssql数据库的sql注入

漏洞挖掘 | 基于mssql数据库的sql注入

前记 今天挖edu随意点开个站&#xff0c;发现存在mssql数据库的sql注入&#xff0c;在此分享下整个挖掘过程 目录 0x1 判断网站数据库类型 0x2 了解mssql数据库的主要三大系统表 0x3 了解mssql的主要函数 0x4 判断注入点及其注入类型 0x5 联合查询之判断列数 0x6 联合查询之…
阅读更多...
C++ 在项目中使用vim

C++ 在项目中使用vim

一&#xff1a;概述 除了掌握 Vim 的基本操作&#xff0c;利用 Vim 阅读项目源码的方法同样重要&#xff0c;这对实际项目开发大有裨益。虽然现在有许多人选择使用 VSCode&#xff0c;但在某些环境中&#xff0c;可能无法安装 VSCode 或联网下载插件&#xff0c;这时使用 Vim 就…
阅读更多...
2023IKCEST第五届“一带一路”国际大数据竞赛--社交网络中多模态虚假 媒体内容核查top11

2023IKCEST第五届“一带一路”国际大数据竞赛--社交网络中多模态虚假 媒体内容核查top11

比赛链接&#xff1a;https://aistudio.baidu.com/competition/detail/1030/0/introduction PPT链接&#xff1a;https://www.ikcest.org/bigdata2024/zlxz/list/page.html 赛题 社交网络中多模态虚假媒体内容核查 背景 随着新媒体时代信息媒介的多元化发展&#xff0c;各种内容…
阅读更多...
最新文章

Copyright @ 2022~2023