文章目录
- 1. Access denied for user 'anonym@null' (using password: NO)
- 2. timeout when waiting for send fragments RPC. Wait(sec): 5, host: xxx(ip)
- 3. Failed to initialize JNI: Failed to find the library libjvm.so.
- 4. 从mysql库导出的json文件大于100M时报错
- 5. csv格式文件导入数据库报错
1. Access denied for user ‘anonym@null’ (using password: NO)
JDBC访问doris数据库查询数据时遇到报错如上,是驱动类设置错误,解决方案如下:
从JDBC_DRIVER = “com.mysql.cj.jdbc.Driver”;
改为JDBC_DRIVER = “com.mysql.jdbc.Driver”;
2. timeout when waiting for send fragments RPC. Wait(sec): 5, host: xxx(ip)
java.sql.BatchUpdateException: timeout when waiting for send fragments RPC. Wait(sec): 5, host: 10.0.102.153at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
批量插入数据时遇到的超时错误,默认超时时间为300s,可以登录到mysql客户端用命令自定义修改query_timeout参数,我这里改成了3000s就不报错了。
SHOW VARIABLES LIKE “%query_timeout%”;
SET query_timeout = 3000;
3. Failed to initialize JNI: Failed to find the library libjvm.so.
安装新版doris 1.2.0版本后 启动BE节点失败,报错如下:
W1212 05:39:14.999809 117327 doris_main.cpp:382] Failed to initialize JNI: Failed to find the library libjvm.so.
原因是:最新版有个除了BE和FE安装节点外,还有个apache-doris-java-udf-jar-with-dependencies-1.2.0-bin-x86_64.tar.xz文件,需要将这个文件中的jar包解压出来放到BE的bin路径下才能启动BE节点。
4. 从mysql库导出的json文件大于100M时报错
The size of this batch exceed the max size [104857600] of json type data data [ 149275596 ]. Split the file, or use ‘read_json_by_line’",
修改了建议的read_json_by_line参数重启be无效
修改了104857600这个100M对应的参数也没生效,最后加到导入命令里面了,参考我的json文件导入命令:
curl --location-trusted -u root: -H “format: json” -H “fuzzy_parse” -H “exec_mem_limit: 5368709120” -H “strip_outer_array: true” -H “streaming_load_json_max_mb:5000” -T 202212131453.json http://10.0.102.110:8030/api/DORISDB/wh_ab_base_assetinfo/_stream_load
5. csv格式文件导入数据库报错
根据报错信息中的链接,从浏览器打开查询报错信息。建议先导入少量几条数据测试,核对一下是不是csv文件的字段数、字段长度不一致导致的报错。
我这里报错是因为源数据中有换行符导致的,这个换行符规则不一,手动替换容易,但是数据量到百万级别后自动替换了也有各种问题,比如有个行多个英文逗号啥的,不建议这个导入方式,虽然csv文件格式体积较小,个人认为它更适合做导出。(csv大数据文件导入问题有更优方案的可以教教我,有奖励)
最近刚接触doris遇到了一些问题,也是刚开始研究,有兴趣一起学习的吗?