Doris 日志分析案例

news/2024/11/3 5:33:56/

Doris 日志分析案例

前面我们介绍了Doris在日志分析中的应用,和 Doris 数据集成 Kafka,今天我们来看一个具体的案例,因为日志数据往往都是写到kafka 或者,是通过日志收集工具收集到kafka 中的。

所以我们如果想要使用Doris进行日志分析的话,那我们需要做的一件事情,就是同步数据到Doris,这也就是我们前面介绍的功能 Doris 数据集成 Kafka,只不过我们上一节只是创建了一个测试的topic 和表,这一节我们看一个真实的案例。

配置日志写到Kafka

公司目前日志的现状是,日志通过Logstash写到ES ,然后通过Kibana进行分析,这里我们要做的其实很简单,就是在Logstash 的配置文件中,增加一个outpu 即可,我们先让ELK 的这套架构存在着,后面不要的时候,直接删除对应的outpu即可。

这里我们先创建一个kafka 的topic,因为数据很快就同步到doris 了,所以这里我们直接就一个副本,当然如果你想要安全,可以创建三副本,因为我们这里的日志没那么重要,所以我也不怕它丢失

kafka-topics.sh --c

http://www.ppmy.cn/news/1450500.html

相关文章

第八章异常(是程序在执行过程中,出现的非正常的情况,如果不处理最终会导致JVM的非正常停止)

目录 2、如何对待异常 3、异常的抛出机制 8.1.2 Java异常体系 1、Throwable 2、Error和Exception 8.1.3 受检异常和非受检异常 演示常见的错误和异常 1、Error 2、运行时异常 3、编译时异常 8.2 异常的处理 8.2.1 捕获异常:try…catch 1、…

Java -- (part21)

一.File类 1.概述 表示文件或者文件夹的路径抽象表示形式 2.静态成员 static String pathSeparator:路径分隔符:; static String separator:名称分隔符:\ 3.构造方法 File(String parent,String child) File(File parent,String child) Flie(String path) 4.方法 获…

JavaScript+C#云LIS系统源码JQuery+EasyUI+Bootstrap云LIS系统应用于哪些行业领域?区域云LIS系统源码

JavaScriptC#云LIS系统源码JQueryEasyUIBootstrap云LIS系统应用于哪些行业领域?区域云LIS系统源码 云LIS是为区域医疗提供临床实验室信息服务的计算机应用程序,可协助区域内所有临床实验室相互协调并完成日常检验工作,对区域内的检…

JavaScript算法描述【排序与搜索】六大经典排序|合并两个有序数组|第一个错误的版本

🐧主页详情:Choice~的个人主页 📢作者简介:🏅物联网领域创作者🏅 and 🏅阿里专家博主🏅 and 🏅华为云享专家🏅 ✍️人生格言:最慢的步伐不是跬步&…

ue引擎游戏开发笔记(27)——解决角色移动及转动存在卡顿掉帧小技巧

1.需求分析: 随之游戏越来越大,难免出现部分时候移动出现卡顿,能否进行一定优化。 2.操作实现: 1.思路:采取捕获最后deltaseconds来逐帧进行旋转或移动,使动作显得不那么卡顿。 .2.首先在引擎中建立映射&a…

10分钟了解数据质量管理-奥斯汀格里芬 Apache Griffin

在不重视数据质量的大数据发展时期,Griffin并不能引起重视,但是随着数据治理在很多企业的全面开展与落地,数据质量的问题开始引起重视。 1.Griffin简介 Griffin是一个开源的大数据数据质量解决方案,由eBay开源,它支持…

2024.4.29力扣每日一题——将矩阵按对角线排序

2024.4.29 题目来源我的题解方法一 模拟 题目来源 力扣每日一题;题序:1329 我的题解 方法一 模拟 先以第一行的每个元素作为对角线的开始,然后再以第一列的每个元素作为对角线的开始。并在遍历过程中记录(数组或者list&#xf…

32.Docker认识

Docker介绍 Docker是一个快速交付应用,运行应用的技术。 1.可以将程序、依赖、运行环境一起打包为一个镜像,可以迁移到任意Linux操作系统。 2.运行时利用沙箱机制行程隔离容器,各个应用互不干扰。 3.启动、移除都可以通过一行命令完成&am…