flink集群搭建 详细教程

devtools/2024/12/23 8:33:38/

一、环境准备

1、准备三台服务器

三台服务器ip
115.120.227.194  jobmanger

123.60.154.232    taskmanger

36.111.173.249     taskmanger

2、给三台主机分别配置主机名

#第一台机器
hostnamectl set-hostname hadoop01#第二台机器
hostnamectl set-hostname hadoop02#第三台机器
hostnamectl set-hostname hadoop03

3、给三台服务器配置域名,三台配置一样的

#打开配置文件
vim /etc/hosts#文件中添加以下内容
115.120.227.194  hadoop01
123.60.154.232   hadoop02
36.111.173.249   hadoop03#保存文件
:wq!


4、关闭防火墙 三台机器都要操作

sudo systemctl stop firewalld

5、创建用户和用户组 三台机器都要操作

#创建hadoop用户组
groupadd hadoop
#创建hadoop用户,并归属于hadoop用户组
useradd -m -g hadoop hadoop
#设置hadoop用户密码
passwd hadoop

6、创建安装目录 三台机器都要操作

mkdir csn/data
cd csn
chown -R hadoop:hadoop data
#后续所有操作均使用hadoop用户
su - hadoop

7、配置服务器免密登录 三台机器都要操作

cd /home/hadoop/.ssh
ssh-keygen -t rsa 
#输入3次回车
#拷贝当前机器ssh公钥信息至另外两台虚拟机
ssh-copy-id hadoop01 #hadoop01需要拷贝至自己机器,不然hdfs-start.sh报错
ssh-copy-id hadoop02
ssh-copy-id hadoop03

5、将包上传到服务器

二、安装

1、解压安装包 三台都要操作

tar -zxvf flink-1.17.2-bin-scala_2.12.tgz

2、修改配置文件 三台都要操作,三台都是以下内容

#打开配置文件
vi flink.conf
#修改以下内容
jobmanager.rpc.address: hadoop01
jobmanager.bind-host: 0.0.0.0
taskmanager.bind-host: 0.0.0.0
taskmanager.host: hadoop02,hadoop03
rest.address: hadoop01
rest.bind-address: 0.0.0.0#修改workers文件 
hadoop02
hadoop03#修改master文件
hadoop01:8081

3、在第一台机器hadoop01上启动集群

./bin/start-cluster.sh

 4、分别在三台机器上查看启动情况 

jps


http://www.ppmy.cn/devtools/144636.html

相关文章

iClient3D for Cesium 实现限高分析

作者:gaogy 1、背景 随着地理信息技术的发展,三维地球技术逐渐成为了许多领域中的核心工具,尤其是在城市规划、环境监测、航空航天以及军事领域。三维地图和场景的应用正在帮助人们更加直观地理解空间数据,提供更高效的决策支持。…

入侵他人电脑,实现远程控制(待补充)

待补充 在获取他人无线网网络密码后,进一步的操作是实现入侵他人电脑,这一步需要获取对方的IP地址并需要制作自己的代码工具自动化的开启或者打开对方的远程访问权限。 1、获取IP地址(通过伪造的网页、伪造的Windows窗口、hook,信…

零基础微信小程序开发——小程序的宿主环境(保姆级教程+超详细)

🎥 作者简介: CSDN\阿里云\腾讯云\华为云开发社区优质创作者,专注分享大数据、Python、数据库、人工智能等领域的优质内容 🌸个人主页: 长风清留杨的博客 🍃形式准则: 无论成就大小,…

redis开发与运维-redis02-redis数据类型与命令总结

文章目录 【README】【1】redis通用命令与数据结构【1.1】通用命令【1.2】数据结构与内部编码【1.3】redis单线程架构【1.3.1】redis单线程优缺点 【2】字符串(值的类型为字符串)【2.1】常用命令【2.1.1】设置值【2.1.2】获取值【2.1.3】批量设置值【2.1…

AI应用-本地模型实现AI生成PPT(简易版)

文章目录 前言技术栈效果展示 一、实现思路二、实现步骤1.本地安装marp-cli2.后端实现3.前端实现 三、代码地址及说明 前言 在许多项目中,生成 PPT 是常见的需求,尤其在教育和报告展示中。传统的生成 PPT 的方法需要手动创建,而使用生成模型…

支付域——清结算系统体系

摘要 本文深入探讨了支付清算的基础知识和跨机构清算原理,涵盖了组织、账户、支付工具和系统的基础,支付流程的模型,以及支付清算的全局实现。文章还详细介绍了支付机构的五大业务和支付系统的总架构,并通过案例分析了支付清算的…

【原生js案例】移动端如何实现页面的入场和出场动画

好的css动画,能给用户体验带来很大的提升,同时也能增加app的趣味性,给人眼前一亮的感觉。那如何实现这种全屏的弹窗入场和退场的动画 实现效果 代码实现 UI样式美化 #musicDetails{width: 100%;height: 100%;top:0;left:0;position: absol…

聊聊开源的虚拟化平台--PVE

原文链接:聊聊开源的虚拟化平台–PVE PVE(Proxmox Virtual Environment)是一种开源的虚拟化平台,支持容器化(LXC)和虚拟机(KVM),可用于创建和管理虚拟化环境。它基于Debi…