Flink 写入 Doris 常见报错和问题

server/2025/1/11 13:48:32/

字段数量、格式问题

task 一启动就会有明确的报错,直接调整即可

运行一会报错,报错中有个 doris 链接

可以通过链接访问拿到报错日志,里面有错误信息

长度之类的问题,自己调整字段长度,或者过滤

一些特殊字符,可能也会报字段数量长度不对之类的,但其实如果不对早就报了,大概率是默认 csv 导入,特殊字符导致的问题
可以调整一下写入方式,改为json,sink—doris 加个参数

'sink.properties.format' = 'json',
'sink.properties.read_json_by_line' = 'true'

INTERNAL_ERROR Cancelled END_OF_FILE Encountered unqualified data, stop processing, see more in null

这种也是运行一会报错,报错中没有链接,光说 see more in null 的

一般都是主键、分区键有问题

  • 主键字段中存在 null 值
  • 分区字段超过分区键的范围,比如分区从 2024 年开始,但数据中有 2020 年的数据

http://www.ppmy.cn/server/157483.html

相关文章

深入解析 Spring AI 系列:剖析OpenAI接口接入组件

今天我们将继续探讨如何在Spring AI中接入大语言模型,以OpenAI为例,详细分析其接入过程。我们将逐步探讨OpenAI是如何与Spring AI系统对接的,具体包括如何配置接口、如何封装接口参数以及如何定义相关的接口。在讲解过程中,我们仍…

【每日学点鸿蒙知识】调试、网络、缓存、富文本编辑等

1、如何使用发布证书进行调试? 由于部分功能需要校验证书信息,所以需要使用调试证书和发布证书分别进行调试,但是使用发布证书后出现安装错误05/14 19:04:39: Install Failed: error: failed to install bundle.code:9568322error: signatur…

计算机毕业设计Python机器学习农作物健康识别系统 人工智能 图像识别 机器学习 大数据毕业设计 算法

温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片! 温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片! 温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片! 作者简介:Java领…

Linux的各种初始化注册方法

文章目录 概述module_initmodule_platform_driver设置参数回调early_param函数篇pure_initcallcore_initcallpostcore_initcallarch_initcallbuiltin_platform_driverdevice_initcallmodule_platform_driver __define_initcall添加到了哪里?如何被调用的&#xff1f…

halcon三维点云数据处理(十)locate_cylinder_3d

目录 一、locate_cylinder_3d例程代码二、gen_binocular_rectification_map函数三、binocular_disparity函数四、自定义函数select_best_candidates五、自定义函数remove_shadowed_regions 一、locate_cylinder_3d例程代码 1、读取或者创建3D形状模型, 2、根据双目…

web前端第三次作业

制作可提交的用户注册表: 代码: <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>Document</tit…

Java阶段四03

第4章-第3节 一、知识点 Mybatis-Plus、mapstruct 二、目标 理解为什么要过滤敏感字段 如何使用查询过滤 Mybatis-Plus如何使用联表分页查询 如何实现字段的自动填充 三、内容分析 重点 掌握几种过滤敏感字段的方式 掌握Mybatis-Plus的联表分页查询方式 掌握字段自动…

Three.js 渲染技术:打造逼真3D体验的幕后功臣

文章目录 前言一、着色器&#xff08;Shaders&#xff09;二、后处理&#xff08;Post-processing&#xff09;三、抗锯齿&#xff08;Anti-aliasing&#xff09;四、实时渲染与离线渲染五、光照模型与材质优化六、环境映射&#xff08;Environment Mapping&#xff09;七、纹理…