Flink 1.20 最新版本 Windows本地运行

ops/2024/9/20 3:59:22/ 标签: flink, windows, 大数据

Apache Flink 1.20 是 Flink 的一个较新版本,它带来了许多改进和新功能,如物化表、统一的检查点文件合并机制等。然而,关于 Flink 1.20 在 Windows 本地运行的具体步骤,虽然 Flink 本身是跨平台的,但官方文档和社区资源可能更多地关注于 Linux 环境下的部署和配置。不过,基于 Flink 的通用性和 Windows 环境的兼容性,以下是在 Windows 本地运行 Flink 1.20 的一般步骤:

1. 安装 JDK

Flink 运行需要 Java 环境,因此首先需要确保 Windows 系统上安装了 JDK 1.8 或更高版本。可以从 Oracle 官网或其他 JDK 提供商处下载并安装 JDK。

2. 下载 Flink

访问 Apache Flink 的官方网站(https://flink.apache.org/)或官方下载页面。
下载 Flink 1.20 的二进制包(binary package),通常是一个 .tgz 或 .zip 文件,具体取决于选择的下载源。
将下载的文件解压到选择的目录,例如 C:\flink

3. 安装Cygwin

首先,需要在Windows上安装Cygwin。Cygwin是一个在Windows平台上模拟Unix环境的工具,它提供了大量的Unix命令行工具。可以从Cygwin的官方网站下载并安装它。
官网地址:https://cygwin.com/install.html

4. 配置环境变量(可选)

为了方便运行 Flink,可以将 Flink 的 bin 目录添加到系统的 PATH 环境变量中。这样,就可以在任何命令行窗口中直接运行 Flink 的脚本了。

5. 使用Cygwin运行Flink

打开Cygwin终端,并使用cd命令切换到Flink的bin目录,例如:

 /cygdrive/d/SF/java/flink/flink-1.20.0/bin
$ ./start-cluster.sh
Starting cluster.
[INFO] 1 instance(s) of standalonesession are already running on WFG-SFT.
Starting standalonesession daemon on host WFG-SFT.
Starting taskexecutor daemon on host WFG-SFT.

运行成功后访问地址: http://127.0.0.1:8081

注意事项:

  • Flink在Windows上的性能可能不如在Linux上,因为Windows的文件系统和网络堆栈可能与Flink的期望不完全一致。
  • Cygwin是一个模拟环境,它可能无法完全模拟Unix/Linux的所有行为,这可能会导致一些意外的问题。
  • 如果在Windows上遇到与Flink相关的问题,建议首先查阅Flink的官方文档和社区论坛,以获取可能的解决方案或工作区。

6. 问题

  1. 问题:运行失败后的错误信息?
    日志地址:flink-1.20.0/log/
Improperly specified VM option 'MaxMetaspaceSize=268435456.
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.

解决方案:

  1. 找到该文件 flink-1.20.0/bin/bash-java-utils.sh
  2. 使用文本编辑器打开该文件
  3. 找到 parseResourceParamsAndExportLogs()方法
  4. 注掉该方法中的: #export JVM_ARGS=“${JVM_ARGS} ${jvm_params}”
    在这里插入图片描述
  5. 重新启动服务,即可进入flink集群。

http://www.ppmy.cn/ops/93861.html

相关文章

OpenAI支持function calling的模型

最近在梳理function calling的模型,所以特地了解了一下openai支持function calling的模型: 支持function calling的模型版本:gpt-4o, gpt-4o-2024-08-06, gpt-4o-2024-05-13, gpt-4o-mini, gpt-4o-mini-2024-07-18, gpt-4-turbo, gpt-4-turbo…

Sqlserver存储过程快速上手分享

文章目录 一、前言1.1 什么是Sqlserver1.2 什么是存储过程1.3 使用场景1.4 Sqlserver存储过程编写过程1.5 使用工具 二、创建一个sqlserver的存储过程2.1 编写一个基础的结构2.2 确定输入参数2.3 编写过程思考:天数进行for循环思考:然后把for循环的结果存…

RabbitMQ消息队列

消息队列概念 什么是消息队列 消息(Message)是指在应用间传送的数据消息队列(Message Queue)是一种应用间的通信方式解决方法,确保消息的可靠传递、主流消息队列 目前主流的几大消息1队列有:RabitMQ、Acti…

DLMS/COSEM中的信息安全:安全密钥(下)

2.5组件B终端实体证书类型要由DLMS/COSEM服务器支持 每个DLMS/COSEM服务器应使用X.509 v3格式,并包含以下任一项: ——具有P-256或P-384 ECDSA功能的签名密钥;或 ——具有P-256或P-384 ECDSA功能的密钥协商密钥。 每张证书均应使用ECDSA进行签…

无人机之陀螺仪篇

陀螺仪器最早是用于航海导航,但随着科学技术的发展,它在航空和航天事业中也得到广泛的应用。陀螺仪不仅可以作为指示仪表,而更重要的是它可以作为自动控制系统中的一个敏感元件,即可作为信号传感器。 根据需要,陀螺仪器…

Magic Number Group

登录—专业IT笔试面试备考平台_牛客网、 把每个数的质因数分解出来,用莫队做,找区间众数即可 // Problem: Magic Number Group // Contest: NowCoder // URL: https://ac.nowcoder.com/acm/contest/21592/G // Memory Limit: 524288 MB // Time Limit:…

如何在 Windows 上安装 FastReport .NET 及其组件

要安装 FastReport.NET 软件及其组件,您需要在 cpanel 中下载安装程序分发并 运行它。当使用具有 UAC(用户帐户控制)的操作系统时,您需要同意运行该软件。 FastReport .NET 是适用于.NET Core 3,ASP.NET,M…

无线领夹麦克风六大常见缺陷曝光:拒绝冲动谨防劣质产品!

​在当下这个全民皆为媒体的时代大潮中,视频分享已然成为了引领风尚的指向标。在自媒体领域竞争愈发激烈的态势下,若要在这片广阔海洋中扬帆远航,优秀的作品毫无疑问是吸引观众的关键所在。而想要塑造出这样的卓越之作,除了需要创…

Linux——进程(2)

一、父子进程的关系 子进程是父进程的副本。 子进程获得父进程数据段,堆,栈,正文段共享。 在fork之后,一般情况哪个会先运行,是不确定的。 如果非要确定那个要先运行,需要IPC机制。 1、区别 1&…

ZAN与Mysten Labs合作推进Web3基础设施开发

Mysten Labs是一家Web3基础设施公司,也是Sui区块链的开发公司,今天宣布与蚂蚁数字科技的技术品牌ZAN建立合作伙伴关系。 通过整合Sui,ZAN旨在加速其Web3应用程序的开发和采用。该合作将专注于为Mysten Labs在两个关键领域提供技术支持&#…

oracle 数据中lsnrctl 是干啥的

突然发现lsnrctl stop 之后,依然可以启动数据库 就感觉怪怪的,一直以为这个是数据库的守护进程,原来不是。。。。 lsnrctl 是 Oracle 监听器控制实用程序的命令行界面工具,用于管理 Oracle Net 服务监听器。监听器是 Oracle 网络…

Python爬虫——爬取bilibili中的视频

爬取bilibili中的视频 本次爬取,还是运用的是requests方法 首先进入bilibili官网中,选取你想要爬取的视频,进入视频播放页面,按F12,将网络中的名称栏向上拉找到第一个并点击,可以在标头中,找到…

汽车精密设计、无人机外形优化总是遇难题?CFD参数优化详解2来袭

数值仿真的参数优化 在上期文章中,我们给大家带来了机翼多学科优化、拟合试验曲线、一维CFD模型参数的DOE和回归分析三个参数优化案例,本期文章将继续为各位讲解多个 Altair CFD 参数优化案例,一起来看看吧。 案例:汽车排气管形状…

7.2 我们机房断网了!--图文解析

7.2 我们机房断网了!–图文解析 原文链接:https://juejin.cn/post/7399569706183049250 原文作者:哔哩哔哩技术团队 1、背景 原文: 2024 年 7 月 2 日 10:04,我站机房 A 公网物理光缆中断,导致机房 A …

Electron 开发桌面应用程序用于对接USB Audio Class协议

开发用于对接USB Audio Class协议的Electron桌面应用程序是一个复杂的任务,可能涉及多个开源库和项目的组合。以下是一些开源项目和库,它们可以帮助你实现这个目标: 1. Electron Electron 是一个用于构建跨平台桌面应用程序的框架。你可以使…

go语言后端开发学习(五)——如何在项目中使用Viper来配置环境

前言 在之前的文章中我们就介绍过用go-ini来读取配置文件,但是当时我们在介绍时说了他只能读取.ini格式的配置文件所以局限性较大,这里我们介绍一个适用范围更大的配置管理第三方库——Viper。 什么是Viper Viper是适用于Go应用程序(包括Twelve-Factor App&#…

Ubuntu系统的基础操作和使用|Linux|安装|网络连接|更新与升级系统|系统维护|故障排除|监控|桌面环境|虚拟机|快捷键

目录 1. Ubuntu系统的安装与初步设置 1.1 下载与安装Ubuntu 1.2 创建用户和设置密码 1.3 配置网络连接 1.4 更新与升级系统 2. Ubuntu的基本操作 2.1 文件与目录管理 2.2 系统进程管理 2.3 软件安装与管理 2.4 权限与用户管理 3. 系统维护与故障排除 3.1 系统日志查…

HarmonyOS鸿蒙开发岗位面试中关于组件的问题总结

文章目录 1. 鸿蒙组件的基本概念2. 组件的使用3. 布局管理4. 组件间通信5. 组件化开发6. 性能优化7. 实战应用 鸿蒙应用开发岗位面试中关于鸿蒙组件的问题,通常会涉及多个关键知识点,这些知识点涵盖了鸿蒙组件的基本概念、使用、布局管理、性能优化、组件…

Go语言并发编程实战:掌握并发模型,提升应用性能

1. 引言 1.1 并发编程的重要性 在现代软件开发中,并发编程已经成为了一种不可或缺的技术。随着多核处理器的普及和云计算的兴起,应用程序需要能够有效地利用并发处理能力,以提高性能和用户体验。并发编程使得程序能够在同一时间内处理多个任…

Qt Xlsx使用教程、Qt操作Excel、Qt生成Excel图表、跨平台不依赖Office 直接使用源码

1.Qt Xlsx库简介 官方文档:Qt Xlsx | QtXlsx 0.3 (debao.me) 下载地址:dbzhang800/QtXlsxWriter: .xlsx file reader and writer for Qt5 (github.com) CSDN下载地址:QtXlsxWriter-master源码资源-CSDN文库 2.源码取出 3.目录结构 再根目…