Flink的Standalone集群模式安装部署

ops/2024/11/23 22:21:49/

一.Flink模式介绍

Flink支持多种安装模式。

local(本地)——本地模式

standalone——独立模式,Flink自带集群,开发测试环境使用

standaloneHA—独立集群高可用模式,Flink自带集群,开发测试环境使用

yarn——计算资源统一由Hadoop YARN管理,生产环境测试

二.Standalone集群安装

flink-1.13.6-bin-scala-2.11适用于虚拟机的flink资源-CSDN文库

在本地解压后,上传如虚拟机后进行解压,重命名,配置环境变量:

tar -zxf flink-1.13.6-bin-scala_2.11.tgz -C /opt/installs/
mv flink-1.13.6/ flink
vim /etc/profile

增加环境变量:

export FLINK_HOME=/opt/installs/flink
export PATH=$PATH:$FLINK_HOME/bin
export HADOOP_CONF_DIR=/opt/installs/hadoop/etc/hadoop

刷新环境变量:

source /etc/profile

开始修改配置文件

其中bigdata01改成自己的ip
/opt/installs/flink/conf/flink-conf.yaml

jobmanager.rpc.address: bigdata01
taskmanager.numberOfTaskSlots: 2
web.submit.enable: truehadoop11:8020 -> hdfs-cluster
jobmanager.archive.fs.dir: hdfs://bigdata01:9820/flink/completed-jobs/
historyserver.web.address: bigdata01
historyserver.web.port: 8082
historyserver.archive.fs.dir: hdfs://bigdata01:9820/flink/completed-jobs/

/opt/installs/flink/conf/masters

bigdata01:8081

/opt/installs/flink/conf/workers

bigdata01
bigdata02
bigdata03

将资料下的flink-shaded-hadoop-2-uber-2.7.5-10.0.jar放到flink的lib目录下

flink-shaded-hadoop-2-uber-2.7.5-10.0,解决flink无法启动historyserver资源-CSDN文库

单台已经配置完成了,需要给剩下的机器分发过去:

虚拟机中使用的分发文件,和分发命令脚本资源-CSDN文库

​​​​​​​xsync.sh /opt/installs/flink
xsync.sh /etc/profile

至此配置完成,启动。

三.启动Flink

启动命令:

#启动HDFS  
start-dfs.sh
#启动集群
start-cluster.sh
#启动历史服务器
historyserver.sh start

如果无法启动历史服务器

Flink错误:一historyserver无法启动,二存在的文件会报错没有那个文件或目录-CSDN博客

好了,如果到这都没有问题,启动网页端查看:
http://bigdata01:8081   -- Flink集群管理界面    当前有效,重启后里面跑的内容就消失了
能够访问8081是因为你的集群启动着呢
http://bigdata01:8082   -- Flink历史服务器管理界面,及时服务重启,运行过的服务都还在
能够访问8082是因为你的历史服务启动着

在虚拟机提交一个任务,在网页端查看:

flink run  /opt/installs/flink/examples/batch/WordCount.jar
或者
flink run  /opt/installs/flink/examples/batch/WordCount.jar --input 输入数据路径 --output 输出数据路径flink run  /opt/installs/flink/examples/batch/WordCount.jar --input /home/wc.txt --output /home/result

如果报错文件不存在:
​​​​​​​Flink错误:一historyserver无法启动,二存在的文件会报错没有那个文件或目录-CSDN博客


http://www.ppmy.cn/ops/136157.html

相关文章

秋招总结与感悟

秋招总结与感悟 第一章 个人简介 1.1 个人背景 笔者本科双一流,硕士211,控制工程专业,有英语六级,计算机三级证书,25秋招拿到6家offer。 1.2 求职经历 笔者从2023年7月份,即研一暑假开始准备25届秋招&…

大数据新视界 -- 大数据大厂之 Hive 数据导入:多源数据集成的策略与实战(上)(3/ 30)

💖💖💖亲爱的朋友们,热烈欢迎你们来到 青云交的博客!能与你们在此邂逅,我满心欢喜,深感无比荣幸。在这个瞬息万变的时代,我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而 我的…

淘宝商品爬虫:Python的“购物车”大冒险

大家好,我是你们的老朋友Python,今天我将带领大家进行一场刺激的“购物车”大冒险,目标是淘宝的海量商品数据。别担心,我们的行动是完全合法的,就像在超市里用购物车一样,只是我们的目标是数据,…

unity webgl点击链接后微信下面有导航条问题

LaunchURLWebGL | Integration | Unity Asset Store 把里面 LaunchURLWebGL.jslib 文件改成如下内容,这样可以不加入历史记录,下面就不显示菜单了 ,不晓得有什么更好的方法,这个也不是最优接,返回还的加个按钮切换 m…

面试小札:Java的类加载过程和类加载机制。

Java类加载过程 加载(Loading) 这是类加载过程的第一个阶段。在这个阶段,Java虚拟机(JVM)主要完成三件事: 通过类的全限定名来获取定义此类的二进制字节流。这可以从多种来源获取,如本地文件系…

Flutter踩坑记录(一)debug运行生成的项目,不能手动点击运行

问题 IOS14设备,切后台划掉,二次启动崩溃。 原因 IOS14以上 flutter 不支持debugger模式下的二次启动 。 要二次启动需要以release方式编译工程安装至手机。 操作步骤 清理项目:在命令行中运行flutter clean来清理之前的构建文件。重新构…

java集合练习题

简答题:分析HashSet和treeSet分别如何去重的? TreeSet的去重机制: 如果你传入了一个Comparator匿名对象,就使用实现的compare去重,如果方法返回0,就认为是相同的元素/数据,就不添加,如果你没有传入一个Comp…

如何解决飞书网页文字无法复制的问题

如何解决网页文字无法复制的问题?特别推荐提词宝防复制文案功能! 在日常工作和学习中,我们经常遇到一些网页文字无法复制的情况,无论是因为权限限制还是其他原因,手动输入内容不仅耗时费力,还容易出错。那…