大数据前置学习基础准备(非常详细!)

news/2025/3/5 0:09:55/
1.需要的环境

        需要3台服务器,centos7

为集群,全部设置为nat模式

2.整个环境大体

1.设置三台Linux虚拟机的主机和固定ip

2.在Linux系统以及本机系统中配置了主机名映射

3.配置了三台服务器之间root用户的ssh免密互通

4.安装配置JDK环境

5.关闭防火墙和SELinux

6.更新时区和同步时间

7.拍摄快照

3.修改主机名,配置静态ip

vim /etc/hostanme

将里面的内容修改为root1,其他的机器以此类推root2,root3

设置固定ip地址,三台机器设置同一个网段,并且ip相连

vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改后进行网卡重启

Systemctl restart network

4.配置Linux主机名映射

配置3台linux的/etc/hosts

配置这个原因就是之后再远程连接工具中只输入主机名就好了《例如

5.配置windows主机名映射

在windows系统中修改host文件,填入如下内容:
windows路径为C:\Windows\System32\drivers\etc下的hosts文件中添加ip和用户名

或者直接win+r输入system32

6.配置ssh免密登录

后续安装的集群化软件,多数需要远程登录以及远程执行命令,我们可以简单起见,配置三台Linux服务器之间的免密码互相ssh登录

1.首先在每一台机器中执行ssh-keygen -t rsa -b 4096 一直回车就好了(rsa是密钥,4096是4096位的密码)

2.再在每一台机器中执行ssh-copy-id root1,ssh-copy-id root2,ssh-copy-id root3

全部执行完毕后就root1,root2,root3用户之间就能免密互通,直接ssh root2就能切换到root2,其他也一样

创建hadoop用户并配置免密登录

后续大数据的软件,将不会以root用户启动(主要是确保安全,要是被黑客攻击了就不会是root权限,养成良好习惯)

1.在每台机器上执行useradd hadoop创建hadoop用户

2.在每一台机器上执行passwd hadoop,设置hadoop用户密码123456

3.每一台机器都切换到hadoop用户,su hadoop,并且执行ssh-keygen -t rsa -b 4096,创建ssh密钥

4.在每台机器上执行ssh-copy-id root1,ssh-copy-id root2,ssh-copy-id root3,现在也是一样能互通了

7.配置JDK环境

1.创建文件夹,用来部署JDK,将JDK和

Mkdir -p /export/server

上传jdk文件到服务器上,我用的是finalshell,直接拖进去

2.解压缩到这个export/server中

3.配置软链接

4.配置JAVA_HOME环境变量

加这两条

执行命令,让环境变量生效

将之前系统自带的java环境删除,将我们刚刚安装的创建一个软链接到系统目录下

执行命令验证,java -version,javac

另外的两台机器也是一样,使用远程复制过去java,之后配置环境变量

对三台虚拟机完成防火墙,SElinux,时间同步等系统设置

8.关闭防火墙和SELinux

集群化软件之间需要通过端口互相通讯,为了避免出现网络不通的问题,我们可以简单的在集群内部关闭防火墙

Linux有一个安全模块:SELinux,用以限制用户和程序的相关权限,来确保系统的安全稳定

在当前,我们需要关闭SELinux功能,避免导致后面的软件运行出现问题

编辑文件修改

重启才能生效

9.修改时间地区配置自动时间同步

1.安装ntp软件

yum install -y ntp

2.更新时区

rm -f /etc/localtime;sudo In -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

3.同步时间

ntpdate -u ntp.aliyun.com

4.开启ntp服务并设置开机自启

systemctl start ntpd

systemctl enable ntpd

最后拍摄快照,防止之后出现问题


http://www.ppmy.cn/news/1184765.html

相关文章

速卖通商品详情API接口获取aliexpress速卖通商品详情信息、销量、价格、商品规格信息参数调用示例说明

商品详情API接口在电商平台和购物应用中的作用非常重要。它提供了获取商品详细信息的能力,帮助用户了解和选择合适的商品,同时也支持开发者进行竞品分析、市场研究和推广营销等工作,以提高用户体验和促进销售增长。 aliexpress.item_get-获得…

Prometheus监控Kafka(三种方法JMX/Kafka_exporter/KMINION监控Kafka)

背景 一句话说明需求: 公司需要监控kafka消息队列的消费情况,强调需查看当前Topic中的message的数量。 一句话说明解决: 像Kafka这样的Java进程可以先通过JMX Agent或者第三方Agent(kafka_exporter\KMINION等)获取…

Python Selenium 之数据驱动测试的实现!

数据驱动模式的测试好处相比普通模式的测试就显而易见了吧!使用数据驱动的模式,可以根据业务分解测试数据,只需定义变量,使用外部或者自定义的数据使其参数化,从而避免了使用之前测试脚本中固定的数据。可以将测试脚本…

【Android】Android Framework系列---CarPower电源管理

Android Framework系列—CarPower电源管理 智能座舱通常包括中控系统、仪表系统、IVI系统 、后排娱乐、HUD、车联网等。这些系统需要由汽车电源进行供电。由于汽车自身的特殊供电环境(相比手机方便的充电环境,汽车的蓄电池如果没有电是需要专业人士操作…

SQL-正则表达式和约束

文章目录 主要内容一.正则表达式1.操作1代码如下(示例): 2.操作2代码如下(示例): 3.操作3代码如下(示例): 4.操作4代码如下(示例): 二.约束1.主键约束 2.自增长约束3.非空约束4.唯一…

代码随想录day4:链表总结

两两交换链表中的节点 一开始自己的思路只是两两交换,并没有说涉及到前一个节点。实际上两两交换涉及到了三个节点 使用虚拟头结点,这样一次性处理三个节点。且每次组里第一个节点其实数值没变。 class Solution { public:ListNode* swapPairs(ListNod…

postgresSQL 数据库本地创建表空间读取本地备份tar文件与SQL文件

使用pgAdmin4,你安装PG得文件夹****/16/paAdmin 4 /runtime/pgAdmin4.exe 第一步:找到Tablespaces 第二步:创建表空间名称 第三步:指向数据文件 第四步:找到Databases,创建表空间 第五步:输入数…

系列九、什么是Spring bean

一、什么是Spring bean 一句话,被Spring容器管理的bean就是Spring bean。