单机版本CDH6.3.2搭建教程

news/2024/12/5 6:46:01/

单机版本CDH6.3.2搭建教程
已正常安装centos7 虚拟机
安装包
链接:https://pan.baidu.com/s/1ZC7U1pu_5KApQn8JOz1aPQ
提取码:ksic

在这里插入图片描述

文档
链接:https://pan.baidu.com/s/1gS_4GLlKClA16ZuBDG1nbA
提取码:zb46
–来自百度网盘超级会员V5的分享

前置准备已经把以下包上传到software目录下。
在这里插入图片描述

CentOS7.6操作系统,4核16G最低配置(单机)
设置hostname 主机名称
在这里插入图片描述

hostname cdh1
在这里插入图片描述

查看ip

Ifconfig

设置所有节点的hosts⽂件
在这里插入图片描述

echo “192.168.0.234 cdh1”>> /etc/hosts

关闭所有节点的防⽕墙及清空规则
在这里插入图片描述

systemctl stop firewalld
systemctl disable firewalld
iptables -F
在这里插入图片描述

关闭所有节点的selinux
vi /etc/selinux/config
将SELINUX=enforcing改为SELINUX=disabled
设置后需要重启才能⽣效

退出保存wq
在这里插入图片描述

安裝jdk 和scala
mkdir /usr/java
tar -zxvf jdk-8u212-linux-x64.tar.gz -C /usr/java/
#切记必须修正所属⽤户及⽤户组
chown -R root:root /usr/java/jdk1.8.0_212
echo “export JAVA_HOME=/usr/java/jdk1.8.0_212” >> /etc/profile
echo “export PATH=/usr/java/jdk1.8.0_212/bin:${PATH}” >> /etc/profile
source /etc/profile
which java

在这里插入图片描述

安装scala

mkdir /usr/scala
tar -zxvf scala-2.11.12.tgz -C /usr/scala/

echo “export PATH=/usr/scala/scala-2.11.12/bin:${PATH}” >> /etc/profile
source /etc/profile
输入scala弹出如下

Ctrl+c退出

在这里插入图片描述

安装mysql5.7.27

先卸载mariadb防止mysql冲突
rpm -qa |grep mariadb
在这里插入图片描述

rpm -e --nodeps mariadb-libs-5.5.60-1.el7_5.x86_64

按顺序执行下面五句话安装mysql
rpm -ivh mysql-community-common-5.7.27-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-libs-5.7.27-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-libs-compat-5.7.27-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-5.7.27-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-server-5.7.27-1.el7.x86_64.rpm --nodeps --force
在这里插入图片描述

查看mysql是否启动

service mysqld status

启动mysql

service mysqld start

停止mysql

service mysqld stop

重启mysql

service mysqld restart

设定开机自启动

vi /etc/rc.local
添加 service mysqld start
在这里插入图片描述

确认mysql初始密码

more /var/log/mysqld.log |grep password

在这里插入图片描述

登录mysql

mysql -p

修改密码(大写+小写+特殊字符)
在这里插入图片描述

mysql> set password = password(“Mysql_123456”);
Query OK, 0 rows affected, 1 warning (0.00 sec)
mysql远程连接配置
grant all privileges on . to root@’%’ identified by “Mysql_123456”;
flush privileges;
在这里插入图片描述

Exit;退出

navicat连接mysql。创建所需的元数据数据库。

create database cmf DEFAULT CHARACTER SET utf8;
create database amon DEFAULT CHARACTER SET utf8;
create database hive DEFAULT CHARACTER SET utf8;
create database hue DEFAULT CHARACTER SET utf8;
create database oozie DEFAULT CHARACTER SET utf8;

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

拷贝jdbc连接包到公共目录,实现jdbc连接msyql

mkdir -p /usr/share/java/

cp mysql-connector-java-5.1.46.jar /usr/share/java/mysql-connector-java.jar

在这里插入图片描述

CDH部署
1.离线部署cm server及agent
1.1.所有节点创建⽬录及解压
mkdir /opt/cloudera-manager
tar -xzvf cm6.3.1-redhat7.tar.gz -C /opt/cloudera-manager/
1.2.选择cdh1 为cm server,不下载依赖包直接部署
cd /opt/cloudera-manager/cm6.3.1/RPMS/x86_64
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
rpm -ivh cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
1.3.所有节点(包含cdh1)为cm agent,不下载依赖包直接部署
cd /opt/cloudera-manager/cm6.3.1/RPMS/x86_64
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm --nodeps --force

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

所有节点修改agent的配置,指向server的节点cdh1

vi /etc/cloudera-scm-agent/config.ini

在这里插入图片描述

wq保存退出

主节点修改server的配置:
vi /etc/cloudera-scm-server/db.properties
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=cdh1:3306
com.cloudera.cmf.db.name=cmf
com.cloudera.cmf.db.user=root
com.cloudera.cmf.db.password=Mysql_123456
com.cloudera.cmf.db.setupType=EXTERNAL
在这里插入图片描述

注意我把上面的全注释掉了。。 。。。。。。。。。自己粘贴新的

在这里插入图片描述

完全离线安装

在这里插入图片描述

rpm -ivh mailcap-2.1.41-2.el7.noarch.rpm
rpm -ivh httpd-tools-2.4.6-93.el7.centos.x86_64.rpm
rpm -ivh httpd-2.4.6-93.el7.centos.x86_64.rpm

在这里插入图片描述

mkdir -p /var/www/html/cdh6_parcel

在这里插入图片描述

拷贝文件

在这里插入图片描述

cp
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 manifest.json /var/www/html/cdh6_parcel/

改名校验
mv
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha

在这里插入图片描述

systemctl start httpd
启动httpd 访问

在这里插入图片描述

启动server
systemctl start cloudera-scm-server
查看⽇志:
cd /var/log/cloudera-scm-server/

tail -F cloudera-scm-server.log
在这里插入图片描述

在这里插入图片描述

Ctrl+c退出
所有节点启动Agent
systemctl start cloudera-scm-agent
在这里插入图片描述

登录admin/admin

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Hive on spark 优化配置

Hue连接不上解决
yum install php-devel php-pear httpd-devel

Hue连接不上解决
yum install php-devel php-pear httpd-devel


http://www.ppmy.cn/news/908603.html

相关文章

TinyKv调用流程梳理二

addNode生成peer func (c *client) heartbeatStreamLoop() {defer c.wg.Done()for {select {case <-c.ctx.Done():returndefault:}ctx, cancel : context.WithCancel(c.ctx)c.connMu.RLock()stream, err : c.leaderClient().RegionHeartbeat(ctx)c.connMu.RUnlock()if err !…

4 海康视觉平台VisionMaster 上手系列:常用工具(一)

VisionMaster 常用的工具&#xff1a;&#xff08;以下用VM简称 VisionMaster&#xff09; 1&#xff0c;模板匹配工具&#xff0c;以及其扩展&#xff0c;位置修正工具。 2&#xff0c;测量矩形工具&#xff0c;以及其扩展应用&#xff1a;找边缘点&#xff0c;找直线&#…

自己搭建 KMS激活服务器

1、C盘建KMS文件夹&#xff0c;把vlmcsd-Windows-x64.exe复制到kms文件夹内 2、以管理员运行cmd,在cmd切换到C盘KMS文件下&#xff0c;先输入cd c:/ 回车&#xff0c;再输入cd kms&#xff0c;这两个命令的意思是进入到C盘的kms文件夹下&#xff0c; 3、输入 vlmcsd-Windows-x6…

传奇GOM引擎单机架设图文教程

T:准备下载好服务端&#xff08;版本&#xff09;gom引擎架设 选择GOM引擎版本 注;版本可以去论坛有免费&#xff0c;电脑还需要下载安装好客户端。 1.首先下载好版本后会有2个压缩包&#xff0c;一个是版本&#xff0c;一个是补丁&#xff0c; 简单来说架设分三部&#xff1…

【NacosSync】注册中心同步组件使用教程ZooKeeper迁移到Nacos

目录 介绍系统模块架构获取安装包数据库配置启动服务器控制台添加注册中心集群信息添加同步任务注意事项 介绍 NacosSync是一个支持多种注册中心的同步组件,基于Spring boot开发框架,数据层采用Spring Data JPA,遵循了标准的JPA访问规范,支持多种数据源存储,默认使用Hibernate…

用C++实现Java的ByteArray类(字节数组)

最近由于项目原因&#xff0c;需要将Java项目中的ByteArray类用C实现一遍&#xff0c;于是琢磨了一下&#xff0c;下面是该类中部分已实现方法的使用说明&#xff1a; // 添加一个字节到ByteArray中。 void addByte(uint8_t byte); // 添加多个字节到ByteArray中 void …

[橘汁仙剑网出品]仙剑奇侠传六全剧情视频动画配音版[1080P][720P][H264]

转载自橘汁仙剑网&#xff08;http://www.ojpal.com/article-856-1.html&#xff09; 全剧情1080P版本下载地址 百度网盘下载&#xff1a; 专辑分享&#xff1a; http://yun.baidu.com/pcloud/album/info?uk688129892&album_id6526257817887254126 公开链接&#xff1…

Woderwate-Intouch驱动(包括施耐德,西门子,AB等的DASever、IOServer)

1、Wonderware DeviceIntegration2014R2 SP1 百度网盘链接&#xff1a;https://pan.baidu.com/s/1aCBWAVpnXA0SLUSRWYsl0w 提取码&#xff1a;cyjn 2、Device Integration 百度网盘链接&#xff1a;https://pan.baidu.com/s/1k7bY0RFQotCF_KgM9FWYpQ 提取码&#xff1a;27e9…