flink 1.17 测试

server/2024/9/23 7:30:11/

1、下面配置配置错误的话会导致flink任务无法连接resourcemanger

job会提交失败,报错内容:

flink on yarn Connecting to ResourceManager at /0.0.0.0:8030

解决方案:

    <property>
        <name>yarn.application.classpath</name>
        <value>$HADOOP_CONF_DIR,$HADOOP_COMMON_HOME/share/hadoop/common/*,$HADOOP_HOME/lib/*,
            $HADOOP_COMMON_HOME/share/hadoop/common/lib/*,
            $HADOOP_HDFS_HOME/share/hadoop/hdfs/*,$HADOOP_HDFS_HOME/share/hadoop/hdfs/lib/*,
            $YARN_HOME/share/hadoop/yarn/*,$YARN_HOME/share/hadoop/yarn/lib/*,
            $YARN_HOME/share/hadoop/mapreduce/*,$YARN_HOME/share/hadoop/mapreduce/lib/*,
$HADOOP_HOME/share/hadoop/common/lib/*,$HADOOP_HOME/share/hadoop/common/*,$HADOOP_HOME/share/hadoop/hdfs/*,$HADOOP_HOME/share/hadoop/hdfs/lib/*,$HADOOP_HOME/share/hadoop/mapreduce/*,$HADOOP_HOME/share/hadoop/mapreduce/lib/*,$HADOOP_HOME/share/hadoop/yarn/lib/*,$HADOOP_HOME/share/hadoop/yarn/*,$HADOOP_HOME/share/hadoop/tools/lib/*,$HADOOP_HOME/share/hadoop/tools/*
        </value>
    </property>

2、测试:

./bin/flink run-application -t yarn-application -Dyarn.application.name=wordcount -c org.apache.flink.streaming.examples.wordcount.WordCount ./examples/streaming/WordCount.jar --input hdfs://jy/tmp/input --output hdfs://jy/tmp/output

./bin/flink run -m yarn-cluster ./examples/batch/WordCount.jar


http://www.ppmy.cn/server/96168.html

相关文章

搭建PXE实现服务器自动部署

PXE&#xff08;Preboot Execution Environment&#xff09;是一种计算机启动技术&#xff0c;它允许计算机从网络上的服务器而不是从本地硬盘或光盘等存储介质上启动。这种技术主要应用在无盘工作站、网络安装操作系统、远程维护等方面。 环境&#xff1a;一台rhel7.9作为PXE…

简单的docker学习 第8章 docker常用服务安装

第8章 常用服务安装 本章主要学习最常用的&#xff0c;也是安装起来稍有些麻烦的 MySQL 与 Redis 两种服务器的Docker 安装。至于其它服务器的 Docker 安装&#xff0c;大家可自行查找资料。只要 MySQL 与 Redis这两类服务器学会了安装&#xff0c;其它服务器的安装基本也不会…

datawind可视化查询-计数count(xxx)函数

飞书官方文档:https://www.volcengine.com/docs/4726/47275 我用到的场景:统计某个埋点的数量 格式:count(xxx),即对 xxx 计数 示例: 字段A 1 1 3 4 计算count(字段A),得到聚合结果 4。 若想去重计数,可使用count(distinct 字段A),则得到结果 3。 功能详解 函数名…

pxe+kickstart自动化安装

目录 一&#xff1a;实验环境 一台红帽7主机 开启主机图形 init 5 开图形 配置网络可用 关闭vmware dhcp功能 安装httpd服务 1、安装可视化图形&#xff1a; 2、关闭vmware dhcp功能&#xff1a; 3、安装httpd服务 安装httpd 开启httpd 二&#xff1a;实验过程 …

从零开始写一个微信小程序

从零开始写一个微信小程序可以分为几个步骤。以下是一个详细的指南,帮助你从头到尾完成一个简单的微信小程序。 ### 一、准备工作 1. **注册微信小程序账号**: - 前往[微信公众平台](https://mp.weixin.qq.com/)注册一个小程序账号。 - 进行企业认证(个人账号需要申…

【YOLOv5/v7改进系列】引入卷积块注意力模块CBAM注意力机制

一、导言 CBAM&#xff08;Convolutional Block Attention Module&#xff09;是一种简单而有效的注意力机制模块&#xff0c;旨在增强卷积神经网络&#xff08;CNN&#xff09;的表现力。该模块通过引入两个独立的注意力机制——通道注意力和空间注意力——来适应性地精炼特征…

浅谈SQL sever游标

一、什么是游标&#xff1f; 游标是一种用来遍历数据库结果集的机制&#xff0c;它允许用户逐行处理查询结果。在SQL Server中&#xff0c;游标是一种可编程的对象&#xff0c;可以在存储过程或触发器中使用。 使用游标可以逐行处理查询结果&#xff0c;执行复杂的逻辑操作&…

Java小白入门到实战应用教程-重写和重载

引言 在上一节中我们学习了面向对象中的继承&#xff0c;然后在那一节中我们提到了一个知识点叫做&#xff1a;重写。 通过上节的代码样例我们也观察到了&#xff0c;重写是发生在子类和父类的这种继承关系中。 继承的特点就是提取所有子类共有的属性和方法&#xff0c;但是…