Caused by: org.apache.flink.api.common.io.ParseException: Row too short:

news/2024/11/15 8:35:00/

Flink版本

1.17.2

错误描述

Caused by: org.apache.flink.api.common.io.ParseException: Row too short:

通过flink中的flinkSql直接使用对应的connector去获取csv文件内容,报获取的数据太短了

可能原因

1.创建的表字段多于csv文件当中的表头

定位

在获取csv的时候,没有设置分割符,导致整个csv内容识别异常,匹配不上

解决方式

(1)当前问题解决

" 'connector.type' = 'filesystem'," +
" 'format.type' = 'csv'," +
" 'connector.path' = '" + path + "'," +
" 'format.field-delimiter' = '" + fieldDelimiter + "'" +

path为文件地址, fieldDelimiter为分隔符,文件内容是字段|字段的格式,所以fieldDelimiter为|

(2)字段忽略

配置'format.ignore-parse-errors' = 'true'忽略字段不同

" 'connector.type' = 'filesystem'," +
" 'format.type' = 'csv'," +
" 'connector.path' = '" + path + "'," +

" 'format.ignore-parse-errors' = 'true'," + 
" 'format.field-delimiter' = '" + fieldDelimiter + "'" +

启用后,正常,但是上实际数据会缺失,适合字段是动态的场景,不适合排查是哪个字段不匹配的情况 


http://www.ppmy.cn/news/1546269.html

相关文章

MAC 安装 brew及其常用命令

​文章:Mac安装brew的四种方法(指定能行) 以下是在 Mac 上使用 Homebrew 清理缓存和无用包的详细指南: 1. 查看系统状态 # 诊断系统问题 brew doctor# 查看已安装的包 brew list# 查看系统占用空间 brew cleanup -n # 预览需要…

2024 研究生数学建模 华为杯C题

问题重述 基于上述研究背景,本文需研究完成以下问题: 问题一:本问题需要准确识别出励磁波形,这要求能够从附件一中分析和提取能够表 征正弦波、三角波和梯形波等不同波形特征的特征变量,并构建一个能够准确分类这些波…

服务器的配置复杂,租用时该如何选择参数?

对于互联网企业来说,开发一套可以接入互联网的产品,并利用它来盈利是终极目的。但互联网产品必须有服务器才能运行,对于很多公司来说,托管服务器成本太高,而租用服务器才算得上是最好的选择,但面对配置参数…

xcode更新完最新版本无法运行调试

‌Xcode更新后无法运行调试的原因可能包括以下几个方面‌: 1.‌版本兼容性问题‌:Xcode更新后,某些旧版本的代码可能不再兼容新版本的Xcode,导致出现错误。解决方法是根据错误提示逐个修复代码,或者尝试使用兼容新版本…

SpringBoot驱动的共享汽车管理解决方案

1系统概述 1.1 研究背景 随着计算机技术的发展以及计算机网络的逐渐普及,互联网成为人们查找信息的重要场所,二十一世纪是信息的时代,所以信息的管理显得特别重要。因此,使用计算机来管理共享汽车管理系统的相关信息成为必然。开发…

停止的 Docker 容器占用的内存和其他资源

要查看 Docker 停止的容器占用的内存,可以通过以下几种方法来实现。Docker 提供了一些命令和工具来帮助你管理和监控容器的资源使用情况。 方法一:使用 docker system df 命令 docker system df 命令可以显示 Docker 使用的磁盘空间,包括镜…

ArcGIS/QGIS按掩膜提取或栅格裁剪后栅格数据的值为什么变了?

问题描述: 现有一栅格数据,使用ArcGIS或者QGIS按照矢量边界进行按掩膜提取或者栅格裁剪以后,其值的范围发生了变化,如下: 可以看到,不论是按掩膜提取还是进行栅格裁剪后,其值的范围均与原来栅…

【日常问题排查小技巧-连载】

线上服务CPU飙高排查 先执行 top,找到CPU占用比较高的进程 id,(比如 21448) jstack 进程 id > show.txt(jstack 21448 > show.txt) 找到进程中CPU占用比较高的线程,线程 id 转换为 16 进…