设置hadoop+安装java环境

news/2025/2/12 3:32:52/

上一篇 

http://t.csdnimg.cn/K3MFS

基本操作

接着上一篇 先导入之前导出的虚拟机

选择导出到对应的文件夹中

这里修改一下保存虚拟机的位置(当然你默认也可以)

改一个名字 

新建一个share文件夹用来存放共享软件的文件夹

在虚拟机的设置中找到这个设置 

这样就把需要共享的文件放在一个文件夹,要下载其他软件会快很多,自动挂载就是启动就会加载文件夹里的文件 

 都按确定之后就可以进行启动,可以看到桌面有个sf_share就说明配置成功

设置用户并配置权限组

//从bash这个文件夹启动hadoop

sudo useradd -m hadoop -s /bin/bash

设置hadoop这个账户的密码

//sudo passwd hadoop

//增加权限组到sudo组

sudo adduser hadoop sudo

//重启一下

sudo reboot

注意输入sudo useradd -m hadoop -s /bin/bash后他会先让你输入的是账户的密码是1234

之后输入sudo passwd hadoop后 才是输入你要设置的密码,我这里设置为了hadoop

 

选择进入到hadoop那个的用户名 

 更新一下软件源

sudo apt-get update

输入以下命令删除锁即可 

sudo rm /var/cache/apt/archives/lock
sudo rm /var/lib/dpkg/lock

实在不行可以输入sudo reboot重启一下

安装vim

sudo apt-get install vim

一路yes即可  

安装ssh

sudo apt-get install openssh-server

输入ssh localhost表示连接到ssh进行登录

hadoop的登录是无感知的 基本这样就算成功了

也可以输入exit看看是否退出成功来看是否登录成功

设置登录不用密码 

先进入到ssh目录中

利用ssh的密码生成工具去生成 直接不停回车即可

将这个key放到authorized.keys中,可以看到已经存在在里面了

这时候回到根目录登录就不需要密码了 

下载配置JAVA环境和hadoop环境

先从这个地方下载jdk和hadoop

Java Archive Downloads - Java SE 8 (oracle.com)

Index of /dist/hadoop/common/hadoop-3.1.3 (apache.org)

 提示需要账号的可以点击这个 

Oracle公共账号和密码_oracle账号密码-CSDN博客

将下载好的文件放入到share文件夹中 

先要设置root的密码这里我设置为了1234,然后通过su root这个命令切换到root这个用户

将jdk和hadoop从/media/sf_share复制到./中,然后就可以exit退出了

在/usr/lib包下 创建jvm包,然后进入到jvm包

在里面解压jdk 

进入到.bashrc编辑信息

这里不熟悉vim命令的可以先去搜搜看 这里不做解释,输入以下信息即可

source启动一下该文件,然后输入java -version看看是否成功配置

还可以输入env看看环境变量的配置

回到~目录,解压一下hadoop文件 

改名 

 修改权限

进入到hadoop文件夹查看version是否正确输出

 测试hadoop命令

先创建一个input的输入文件夹 再将hadoop里的文件传入到input下

用搜索dfs将开头a-z的文件从input输入到output中

可以检查到已经有了这个文件 

 

然后就可以删除 


http://www.ppmy.cn/news/1162333.html

相关文章

【Godot引擎开发】算是重要点吧,好像只能算是入门教程

博主:_LJaXi 专栏: Godot | 横版游戏开发 Godot 物体规律移动内置虚函数浮点计算浮点数计算数组APIInput单例与自定义单例节点NodeSprite2DArea2DCollisionShape2DKinematicBody2DRigidBody2D Pong游戏场景安排玩家1玩家2小球记分系统主体框架节点选择文…

CTF/AWD竞赛标准参考书+实战指南

随着网络安全问题日益凸显,国家对网络安全人才的需求持续增长,其中,网络安全竞赛在国家以及企业的人才培养和选拔中扮演着至关重要的角色。 在数字化时代,企业为了应对日益增长的攻击威胁,一般都在大量部署安全产品、…

PCB命名规则-allegro

PCB命名规则-allegro 一、焊盘命名规则 1、 贴片矩形焊盘 命名规则:SMD长(L)宽(W)(mil) 举例:SMD90X60 2、 贴片圆焊盘 命名规则:SMDC焊盘直径(D&…

解锁机器人技术的钥匙—《应用机器人学:运动学、动力学与控制技术》

随着科技的飞速发展,机器人已经广泛应用于各个领域,成为了当今世界的热门话题。作为一个工程师,如果你想在机器人行业大显身手,深入了解机器人运动学、动力学和控制技术是必不可少的。而《应用机器人学:运动学、动力学…

5.12.webrtc接口调用过程

嗨,大家好,我是李超,在上节课中呢,我向你介绍了外接口的设计以及我们红接口展开之后的样子,对吧?那今天呢?我们再来看看整个接口调用过程。那整个这个调用过程啊,非常的复杂&#xf…

软考 系统架构设计师系列知识点之基于架构的软件开发方法ABSD(7)

接前一篇文章:软考 系统架构设计师系列知识点之基于架构的软件开发方法ABSD(6) 所属章节: 第7章. 系统架构设计基础知识 第5节. 特定领域软件体系结构 相关试题 3. 基于架构的软件设计(Architecture-Based Software …

敏捷开发Scrum Master的职责

​在企业的敏捷转型历程中,ScrumMaster是至关重要的一个角色,他们不仅担负着团队教练、变革先锋的责任,还需要不断提高Product Owner和管理层的敏捷成熟度,以提高整个组织的敏捷度。 Scrum Master的职责如下: Scrum团…

解决在部署springboot项目的docker中执行备份与之相连接的mysql容器命令

文章目录 问题描述解决思路问题解决容器构建mysql客户端安装容器与主机的交互docker中执行 mysqldump 命令解决mysql8密码验证问题解决密码插件警告 问题描述 由于,使用1panel可视化的面板来部署springboot项目,可以很方便地安装和使用mysql&#xff0c…