【人工智能训练师】3 集群搭建

server/2024/11/13 23:03:33/

开启集群环境

本次环境为单节点伪集群环境,环境中已经安装JDK1.8、Hadoop2.7.7、Mysql5.7、hive2.3.4。—

1.环境中已经安装/root/software/hadoop-2.7.7,格式化HDFS,开启集群,查看集群状态。(HDFS端口为9000,其他端口默认)
2.环境中已经安装数据库hive、spark、hbase等组件,需要开启mysql服务,初始化数据库,即可开启Hive客户端等其服务。

本步骤用于开启集群环境,用于后续数据分析(Hadoop Mapreduce/Hive)使用。

Zookeeper配置文件:/root/software/zookeeper-3.4.14/conf/zoo.cfg (位置为32行,注意为外网IP)
服务开启命令:/root/software/zookeeper-3.4.14/bin/zkServer.sh start

# 1.修改云主机host文件,添加内网IP,对应映射名为hadoop000,实现云主机自身使用root用户ssh访问hadoop000免密登陆
vim /etc/hosts
# 修改为内网IP,主机名为hadoop000
172.18.39.187  hadoop000hostnamectl set-hostname hadoop000 && bashssh-copy-id -i /root/.ssh/id_rsa.pub hadoop000# 2.配置文件中修改zookeeper主机IP为外网地址,启动zookeeper(具体见步骤说明)vim /root/software/zookeeper-3.4.14/conf/zoo.cfg
:set nu
# 32行
# 修改zookeeper主机IP,注意此为外网IP
server.1=172.18.39.187:2888:3888zkServer.sh start
zkServer.sh status# 3.格式化HDFS文件系统
hadoop namenode -format# 4.启动Hadoop集群
start-all.sh
> yes
> yes

在这里插入图片描述


http://www.ppmy.cn/server/141211.html

相关文章

【微服务】Docker 容器化

一、初识Docker 1. 为什么需要 Docker 大型项目组件较多,运行环境也较为复杂,部署时会遇到一些问题: 依赖关系复杂,容易出现兼容性的问题开发、测试、生产环境有差异 Docker 如何解决依赖的兼容问题 将应用的Libs(…

template和span标签的使用

一&#xff1a;template template是模板占位符&#xff0c;可帮助我们包裹元素&#xff0c;而且循环过程当中&#xff0c;template不会被渲染到页面。 <div>ABC</div> <template v-for"(item, index) in 5"><div>{{ index }}</div>&…

《深入浅出Apache Spark》系列③:Spark SQL解析层优化策略与案例解析

导读&#xff1a;本系列是Spark系列分享的第三期。第一期分享了Spark Core的一些基本原理和一些基本概念&#xff0c;包括一些核心组件。Spark的所有组件都围绕Spark Core来运转&#xff0c;其中最活跃的一个上层组件是Spark SQL。第二期分享则专门介绍了Spark SQL的基本架构和…

gan的所有种类,人工智能 机器学习,gan的所有算法

参考最全汇总GAN网络及其各种变体&#xff08;附论文及代码实现&#xff09;_gan网络代码-CSDN博客 这是我找到的关于您提问的答案: 1. **GAN类型**: Auxiliary Classifier GAN **参考论文**: 《Conditional Image Synthesis With Auxiliary Classifier GANs》 **代码地址**: …

内核tracepoint的注册回调及添加的方法

一、背景 内核开发时往往需要做一些内核态函数的监测或者内核状态的监测&#xff0c;就需要用一些调试手段来观测。常用的内核态的观测如kprobe和tracepoint&#xff0c;但是kprobe往往受制于一些系统的限制&#xff0c;很多系统并没有打开kprobe选项&#xff0c;这样我们不能…

【从零开始的LeetCode-算法】1456. 定长子串中元音的最大数目

给你字符串 s 和整数 k 。 请返回字符串 s 中长度为 k 的单个子字符串中可能包含的最大元音字母数。 英文中的 元音字母 为&#xff08;a, e, i, o, u&#xff09;。 示例 1&#xff1a; 输入&#xff1a;s "abciiidef", k 3 输出&#xff1a;3 解释&#xff1a…

Openlayers10.2.1最新版在安卓Compose中使用的一个例子

题目 这是一个中小公司的面试题&#xff1a; Openlayers 是一个功能完善的地图引擎&#xff0c;能在WEB页面上显示瓦片地图或者矢量地图&#xff0c;官方网址是https://openlayers.org/。 1、尝试做一个安卓App&#xff0c;使用Openlayers显示高德或者百度在线地图&#xff0c…

分布式——BASE理论

简单来说&#xff1a; BASE&#xff08;Basically Available、Soft state、Eventual consistency&#xff09;是基于CAP理论逐步演化而来的&#xff0c;核心思想是即便不能达到强一致性&#xff08;Strong consistency&#xff09;&#xff0c;也可以根据应用特点采用适当的方…