doris入门后遇到的几个问题总结

news/2025/1/19 12:14:11/

文章目录

  • 1. Access denied for user 'anonym@null' (using password: NO)
  • 2. timeout when waiting for send fragments RPC. Wait(sec): 5, host: xxx(ip)
  • 3. Failed to initialize JNI: Failed to find the library libjvm.so.
  • 4. 从mysql库导出的json文件大于100M时报错
  • 5. csv格式文件导入数据库报错

1. Access denied for user ‘anonym@null’ (using password: NO)

JDBC访问doris数据库查询数据时遇到报错如上,是驱动类设置错误,解决方案如下:

从JDBC_DRIVER = “com.mysql.cj.jdbc.Driver”;
改为JDBC_DRIVER = “com.mysql.jdbc.Driver”;

2. timeout when waiting for send fragments RPC. Wait(sec): 5, host: xxx(ip)

java.sql.BatchUpdateException: timeout when waiting for send fragments RPC. Wait(sec): 5, host: 10.0.102.153at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)at java.lang.reflect.Constructor.newInstance(Constructor.java:423)

批量插入数据时遇到的超时错误,默认超时时间为300s,可以登录到mysql客户端用命令自定义修改query_timeout参数,我这里改成了3000s就不报错了。

SHOW VARIABLES LIKE “%query_timeout%”;
SET query_timeout = 3000;

3. Failed to initialize JNI: Failed to find the library libjvm.so.

安装新版doris 1.2.0版本后 启动BE节点失败,报错如下:

W1212 05:39:14.999809 117327 doris_main.cpp:382] Failed to initialize JNI: Failed to find the library libjvm.so.

原因是:最新版有个除了BE和FE安装节点外,还有个apache-doris-java-udf-jar-with-dependencies-1.2.0-bin-x86_64.tar.xz文件,需要将这个文件中的jar包解压出来放到BE的bin路径下才能启动BE节点。

4. 从mysql库导出的json文件大于100M时报错

The size of this batch exceed the max size [104857600] of json type data data [ 149275596 ]. Split the file, or use ‘read_json_by_line’",

修改了建议的read_json_by_line参数重启be无效
修改了104857600这个100M对应的参数也没生效,最后加到导入命令里面了,参考我的json文件导入命令:

curl --location-trusted -u root: -H “format: json” -H “fuzzy_parse” -H “exec_mem_limit: 5368709120” -H “strip_outer_array: true” -H “streaming_load_json_max_mb:5000” -T 202212131453.json http://10.0.102.110:8030/api/DORISDB/wh_ab_base_assetinfo/_stream_load

5. csv格式文件导入数据库报错

根据报错信息中的链接,从浏览器打开查询报错信息。建议先导入少量几条数据测试,核对一下是不是csv文件的字段数、字段长度不一致导致的报错。
我这里报错是因为源数据中有换行符导致的,这个换行符规则不一,手动替换容易,但是数据量到百万级别后自动替换了也有各种问题,比如有个行多个英文逗号啥的,不建议这个导入方式,虽然csv文件格式体积较小,个人认为它更适合做导出。(csv大数据文件导入问题有更优方案的可以教教我,有奖励)
最近刚接触doris遇到了一些问题,也是刚开始研究,有兴趣一起学习的吗?
在这里插入图片描述


http://www.ppmy.cn/news/5098.html

相关文章

Linux命令行笔记-00 综述

文章目录1 Linux命令行简介1.1 Linux命令行的分类1.1.1 根据系统中作用来分类1.1.2 根据对象来分类2 Linux命令行解释器2.1 命令行解释器shell2.1.1 核心程序2.1.2 公用程序shell2.1.3 用户的默认shell2.1.4 shell如何工作2.2 Shell发展历史2.3 shell版本的差异2.3.1 C shell2.…

leetcode 324场周赛

第三题 2508. 添加边使所有节点度数都为偶数 连接一条边,一定会让两个点的奇偶性改变。最多连接两条边,最多有四个点的奇偶性改变。所以超过了四个点为奇数点,就不可能了。 并且,由于一次改变两个,奇数点的个数一定是…

【翻译】GPT-3是如何工作的

前排提示 这是我补充的内容,仅代表个人观点,和作者本人无关。 主要是意译我的补充,想看原文表达的拖到最底下有链接。 原文翻译 在科技界我们可以看到很多关于GPT-3的新闻。大型语言模型(比如GPT-3)已经展示出让我们惊…

C++远程监控系统发送端-配置视频流的编码信息

void CPlayView::ClearDriver() { //将流数据的大小置为0 m_bStream 0; if (m_hVFDrv) { //停止采集数据 HVFStop(m_hVFDrv, m_bStream); //关闭流数据 HVFClose(m_hVFDrv, m_bStream); //释放设备 HVFUnloc…

nexus上传自定义starter

nexus上传自定义starter1、starter上传简介2、上传方法2.1、setting.xml文件2.2、项目中的pom文件3、具体部署1、starter上传简介 在我们自定义了springboot的starter后,starter一般有是一个父子级maven工程,如下图所示,对于 autoconfigure 来…

【剧前爆米花--爪哇岛寻宝】Comparator,Comparable接口以及toString和equals方法的重写应用

作者:困了电视剧 专栏:《JavaSE语法与底层详解》 文章分布:这是一篇关于接口的文章,在本篇文章中我会将接口常用的一些实例进行讲解,以及部分方法在重写中的思想。 目录 Comparable和Comparator接口使用 Object类 t…

如何使用vs code远程连接服务器?如何免密登录?VSCode SSH

依旧是写在前面的废话环节 背景: 计算机专业。实验室电脑情况:两台服务器,一台配置3029ti,一台配置2080ti。深度学习训练跑代码用自己的电脑远程连接服务器,进行代码运行。 用到的软件: visual studio c…

Mycat(10):分片详解之固定分片hash算法

1 找到conf/schema.xml并备份 2 固定分片hash算法 本条规则类似于十进制的求模运算,区别在于是二进制的操作,是取id的二进制低10位,即id二进制 。 此算法的优点在于如果按照 10进制取模运算,在连续插入1-10 时候1-10会被分到1-10个分片&…