占用磁盘100%?Apache DolphinScheduler 日志如何定时清理!

server/2024/11/27 15:57:58/

当 Apache DolphinScheduler 运行几个月后,大部分朋友会发现 Logs 下的运行日志越来越多,这时可以考虑清理下 Logs/ 目录下的日志文件,比如设置只保留最近 3 天的日志,怎么操作呢?

可以通过执行以下三个命令来实现:

find ./logs -type f -mtime +3 -name "dolphinscheduler-worker.*.log" -delete
find ./logs -type f -mtime +3 -name "dolphinscheduler-master.*.log" -delete
find ./logs -type f -mtime +3 -name "dolphinscheduler-api.*.log" -delete

Apache DolphinScheduler 是一个分布式易扩展的可视化 DAG 工作流任务调度系统,它适用于企业级场景,提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。

在使用过程中,随着任务的不断执行,会产生大量的日志文件,这些文件可能会占用大量的磁盘空间。

因此,定期清理日志文件是非常必要的。

我们可以设置定时清理 Apache DolphinScheduler 的日志,以减少磁盘空间的占用:

找到 安装目录下 conf/ 目录下.

conf 目录下,有几个Logback 文件,编辑打开.

默认内容是如下:默认 日志保留168天,每个文件大小64M ,太大了,修改这两个参数,改成 1 ,10MB.

<!-- api server logback config start --><appender name="APILOGFILE" class="ch.qos.logback.core.rolling.RollingFileAppender"><file>${log.base}/dolphinscheduler-api.log</file><filter class="ch.qos.logback.classic.filter.ThresholdFilter"><level>INFO</level></filter><rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy"><fileNamePattern>${log.base}/dolphinscheduler-api.%d{yyyy-MM-dd_HH}.%i.log</fileNamePattern><maxHistory>168</maxHistory><maxFileSize>64MB</maxFileSize></rollingPolicy><encoder><pattern>[%level] %date{yyyy-MM-dd HH:mm:ss.SSS} %logger{96}:[%line] - %msg%n</pattern><charset>UTF-8</charset></encoder>

这段配置是 Apache DolphinScheduler 的 API 服务器日志的 Logback 配置。

Logback 是一个流行的 Java 日志框架,用于配置日志记录器。

这段配置定义了一个名为 APILOGFILERollingFileAppender,它将日志信息追加到一个滚动的文件中。

以下是配置的详细解释:

  • <file>:指定日志文件的存放路径和文件名。${log.base} 是一个变量,表示日志文件的基础目录,它的值通常在配置文件的其他部分定义。

  • <filter class="ch.qos.logback.classic.filter.ThresholdFilter">:设置一个过滤器,只记录 INFO 级别及以上的日志。

  • <rollingPolicy>:定义了滚动策略,即何时创建新的日志文件。这里使用的是 SizeAndTimeBasedRollingPolicy,它基于文件大小和时间来滚动日志。

    • <fileNamePattern>:定义了滚动日志文件的命名模式,%d{yyyy-MM-dd_HH} 表示文件名中包含日期和小时,%i 表示文件的索引号(根据文件大小)。

    • <maxHistory>:定义了要保留的日志文件的最大天数。这里设置为 168 天,超过这个时间的日志文件将被删除。

    • <maxFileSize>:定义了单个日志文件的最大大小,这里设置为 64MB。

  • <encoder>:定义了日志的格式和字符集。

    • <pattern>:定义了日志的格式,包括日志级别、日期、日志记录器的名称、行号和日志消息。

    • <charset>:设置日志文件的字符编码为 UTF-8。

要修改配置以调整日志文件的滚动策略或清理日志,你可以调整以下参数:

  1. 修改日志保留时间:如果你想要保留更长时间的日志,可以增加 <maxHistory> 的值。例如,要保留 30 天的日志,可以将其设置为 30。

  2. 修改日志文件大小:如果你想要日志文件在达到特定大小时滚动,可以修改 <maxFileSize> 的值。例如,要将每个日志文件的大小限制为 128MB,可以将其设置为 128MB

  3. 修改日志格式:如果你想要改变日志的格式,可以修改 <pattern> 中的内容。

  4. 定时清理日志:Logback 配置本身不负责日志的定时清理。你需要使用操作系统的定时任务(如 Linux 的 cron 作业)来定期删除旧的日志文件。例如,你可以编写一个脚本,使用 find 命令查找并删除超出保留期限的日志文件,并将其设置为定时运行。

请注意,修改配置文件后,需要重启 Apache DolphinScheduler 的对应服务以使更改生效,本文完!

本文由 白鲸开源科技 提供发布支持!


http://www.ppmy.cn/server/145368.html

相关文章

获取字 short WORD 上指定的位是否有效

/// <summary> /// 获取字 short WORD 上指定的位是否有效 /// </summary> /// <param name"val"></param> /// <param name"bit"></param> /// <returns></returns> public boo…

使用Java代码操作Kafka(五):Kafka消费 offset API,包含指定 Offset 消费以及指定时间消费

文章目录 1、指定 Offset 消费2、指定时间消费 1、指定 Offset 消费 auto.offset.reset earliest | latest | none 默认是 latest &#xff08;1&#xff09;earliest&#xff1a;自动将偏移量重置为最早的偏移量&#xff0c;–from-beginning &#xff08;2&#xff09;lates…

分布式查询处理优化之数据分片

基本的数据分布策略 数据分片 分片是将分布式数据库的全局数据逻辑划分为关系片段并且进行实际的物理分配的过程。不同的分布式系统有着不同的分片策略。 关系数据库主要通过数据分片技术对全局数据进行逻辑划分和实际的物理分配。考虑的主要因素&#xff1a;数据的模式特征…

一篇文章读懂 Prettier CLI 命令:从基础到进阶 (3)

Prettier 命令行工具 Prettier 提供了一个强大的命令行界面 (CLI)&#xff0c;允许用户通过命令行来格式化代码。在 package.json 中&#xff0c;你可以配置一个脚本来运行 Prettier&#xff0c;例如&#xff1a; "scripts": {"format": "prettier …

构建与优化数据仓库-实践指南

数仓构建流程 下图为MaxCompute数据仓库构建的整体流程。 基本概念 在正式学习本教程之前&#xff0c;您需要首先理解以下基本概念&#xff1a; 业务板块&#xff1a;比数据域更高维度的业务划分方法&#xff0c;适用于庞大的业务系统。 维度&#xff1a;维度建模由Ralph Ki…

【人工智能基础】自然语言处理基础

文章目录 一. 语言模型基本概念1. n-gram模型2. 评价指标2.1. 困惑度2.2. 交叉熵 3. 训练中的特殊字符3.1. OOV问题&#xff1a;处理模型未见过的字符3.2. 起始字符&#xff1a;起始出现概率的处理 4. 字模型与词模型5. 中英文差别 二. 向量语义1. 词向量1.1. 相似度&#xff1…

热门金融大模型整理

FinRobot &#xff08;开源&#xff09; FinRobot: An Open-Source AI Agent Platform for Financial Applications using Large Language Models FinRobot&#xff0c;一个支持多种金融专用 AI 代理的开源平台&#xff0c;每个代理均由 LLM 驱动。平台架构包括&#xff1a;金…

C++ 优先算法 —— 无重复字符的最长子串(滑动窗口)

目录 题目&#xff1a; 无重复字符的最长子串 1. 题目解析 2. 算法原理 Ⅰ. 暴力枚举 Ⅱ. 滑动窗口&#xff08;同向双指针&#xff09; 3. 代码实现 Ⅰ. 暴力枚举 Ⅱ. 滑动窗口 题目&#xff1a; 无重复字符的最长子串 1. 题目解析 题目截图&#xff1a; 此题所说的…