Flink的Standalone集群模式安装部署

devtools/2024/11/25 21:46:10/

一.Flink模式介绍

Flink支持多种安装模式。

local(本地)——本地模式

standalone——独立模式,Flink自带集群,开发测试环境使用

standaloneHA—独立集群高可用模式,Flink自带集群,开发测试环境使用

yarn——计算资源统一由Hadoop YARN管理,生产环境测试

二.Standalone集群安装

flink-1.13.6-bin-scala-2.11适用于虚拟机的flink资源-CSDN文库

在本地解压后,上传如虚拟机后进行解压,重命名,配置环境变量:

tar -zxf flink-1.13.6-bin-scala_2.11.tgz -C /opt/installs/
mv flink-1.13.6/ flink
vim /etc/profile

增加环境变量:

export FLINK_HOME=/opt/installs/flink
export PATH=$PATH:$FLINK_HOME/bin
export HADOOP_CONF_DIR=/opt/installs/hadoop/etc/hadoop

刷新环境变量:

source /etc/profile

开始修改配置文件

其中bigdata01改成自己的ip
/opt/installs/flink/conf/flink-conf.yaml

jobmanager.rpc.address: bigdata01
taskmanager.numberOfTaskSlots: 2
web.submit.enable: truehadoop11:8020 -> hdfs-cluster
jobmanager.archive.fs.dir: hdfs://bigdata01:9820/flink/completed-jobs/
historyserver.web.address: bigdata01
historyserver.web.port: 8082
historyserver.archive.fs.dir: hdfs://bigdata01:9820/flink/completed-jobs/

/opt/installs/flink/conf/masters

bigdata01:8081

/opt/installs/flink/conf/workers

bigdata01
bigdata02
bigdata03

将资料下的flink-shaded-hadoop-2-uber-2.7.5-10.0.jar放到flink的lib目录下

flink-shaded-hadoop-2-uber-2.7.5-10.0,解决flink无法启动historyserver资源-CSDN文库

单台已经配置完成了,需要给剩下的机器分发过去:

虚拟机中使用的分发文件,和分发命令脚本资源-CSDN文库

​​​​​​​xsync.sh /opt/installs/flink
xsync.sh /etc/profile

至此配置完成,启动。

三.启动Flink

启动命令:

#启动HDFS  
start-dfs.sh
#启动集群
start-cluster.sh
#启动历史服务器
historyserver.sh start

如果无法启动历史服务器

Flink错误:一historyserver无法启动,二存在的文件会报错没有那个文件或目录-CSDN博客

好了,如果到这都没有问题,启动网页端查看:
http://bigdata01:8081   -- Flink集群管理界面    当前有效,重启后里面跑的内容就消失了
能够访问8081是因为你的集群启动着呢
http://bigdata01:8082   -- Flink历史服务器管理界面,及时服务重启,运行过的服务都还在
能够访问8082是因为你的历史服务启动着

在虚拟机提交一个任务,在网页端查看:

flink run  /opt/installs/flink/examples/batch/WordCount.jar
或者
flink run  /opt/installs/flink/examples/batch/WordCount.jar --input 输入数据路径 --output 输出数据路径flink run  /opt/installs/flink/examples/batch/WordCount.jar --input /home/wc.txt --output /home/result

如果报错文件不存在:
​​​​​​​Flink错误:一historyserver无法启动,二存在的文件会报错没有那个文件或目录-CSDN博客


http://www.ppmy.cn/devtools/136948.html

相关文章

最新‌VSCode保姆级安装教程(附安装包)

文章目录 一、VSCode介绍 二、VSCode下载 下载链接:https://pan.quark.cn/s/19a303ff81fc 三、VSCode安装 1.解压安装文件:双击打开并安装VSCode 2.勾选我同意协议:然后点击下一步 3.选择目标位置:点击浏览 4.选择D盘安装…

数据结构——树与二叉树

树 介绍 n个节点的有效集,它可为空树或非空树; 树是一种递归的结构。 对于非空树: 有且仅有一个称为根的节点。 除根节点以外其余节点可分为m个互不相交的有限集,且这些有限集本身也是一棵树,称为根的子树。 分等…

自然语言处理: RAG优化之Embedding模型选型重要依据:mteb/leaderboard榜

本人项目地址大全:Victor94-king/NLP__ManVictor: CSDN of ManVictor git地址:https://github.com/opendatalab/MinerU 写在前面: 笔者更新不易,希望走过路过点个关注和赞,笔芯!!! 写在前面: 笔者更新不易,希望走过路…

论文 | Recitation-Augmented Language Models

一、背景与研究问题 随着大型语言模型(LLMs)的发展,它们在知识密集型任务中的表现备受关注。然而,大部分模型依赖于外部知识检索(如通过搜索引擎或文档库)来增强生成的准确性,这被称为检索增强生…

【JavaEE初阶 — 多线程】定时器的应用及模拟实现

目录 1. 标准库中的定时器 1.1 Timer 的定义 1.2 Timer 的原理 1.3 Timer 的使用 1.4 Timer 的弊端 1.5 ScheduledExecutorService 2. 模拟实现定时器 2.1 实现定时器的步骤 2.1.1 定义类描述任务 定义类描述任务 第一种定义方法 …

vue2 src_消息订阅和发布(pubsub-js)

main.js //引入Vue import Vue from "vue"; //引入App import App from ./App;//关闭Vue的生产提示 Vue.config.productionTip false;new Vue({el:#app,render: h > h(App), });App.vue <template><div class"app"><h1>{{ msg }}&…

el-scrollbar滚动表格时表头边框处有间隙的问题css

表头固定&#xff0c;滚动时不出现边框间隙 <div class"list"><table><tr><th>设备名称</th><th width"60">数据</th><th width"60">控制</th></tr></table><el-scrollba…

网络安全概论

一、 网络安全是一个综合性的技术。在Internet这样的环境中&#xff0c;其本身的目的就是为了提供一种开放式的交互环境&#xff0c;但是为了保护一些秘密信息&#xff0c;网络安全成为了在开放网络环境中必要的技术之一。网络安全技术是随着网络技术的进步逐步发展的。 网络安…