flume系列之:定位flume没有关闭某个时间点生成的tmp文件的原因,并制定解决方案

devtools/2024/9/20 2:10:25/ 标签: flume系列, tmp文件

flume系列之:定位flume没有关闭某个时间点生成的tmp文件的原因,并制定解决方案

  • 一、背景
  • 二、分析tmp文件
  • 三、定位原因
  • 四、解决方法

一、背景

  • flume没有关闭生成的tmp文件
  • 临时解决方案是批量关闭tmp文件
  • 下一步深入定位分析原因

二、分析tmp文件

  • 观察tmp文件,发现tmp文件的时间点都是10点28分一个时间点,并且所有tmp文件都是有flume2机器节点生成,因此去flume2机器agent日志,并对比flume1、flume3机器上的agent日志

三、定位原因

flume2机器上看到下面的报错:

  • 15 Aug 2024 10:00:55,099 ERROR [[channel=channel1] - CheckpointBackUpThread] (org.apache.flume.channel.file.Serialization.copyFile:160) - Error while attempting to copy /data/datum/flume-prod/teflume_prod8/channel1/checkpoint/checkpoint to /data/datum/flume-prod/teflume_prod8/channel1/checkpoint_backup/checkpoint.
  • java.io.IOException: Cannot allocate memory
    at java.io.RandomAccessFile.writeBytes(Native Method)
    at java.io.RandomAccessFile.write(RandomAccessFile.java:525)
    at org.apache.flume.channel.file.Serialization.copyFile(Serialization.java:152)
    at org.apache

http://www.ppmy.cn/devtools/97225.html

相关文章

Linux Bridge VLAN

一、Linux Bridge VLAN (1)是什么? Bridge 是什么 VLAN 是什么 LINUX BRIDGE VLAN又是什么?——> (2)解决什么问题?【应用场景】 应用背景 已一个实际问题引出 【应用场景】: 【…

武汉流星汇聚:西班牙时尚消费高涨,中国商家借亚马逊平台拓商机

在2024年第二季度的亚马逊西班牙站,一场前所未有的时尚盛宴正悄然上演。销售额同比高增长TOP10品类榜单的揭晓,不仅揭示了西班牙消费者对于时尚品类的狂热追求,更为亚马逊平台上的中国商家开启了一扇通往新蓝海的大门。其中,男士拳…

SSH协议与OpenSSH配置详解(配置密钥对验证实验)

文章目录 SSH 协议与 OpenSSH 配置详解1. SSH 协议概述2. OpenSSH 概述3. 配置SSH(sshd_config文件)3.1 配置服务监听选项3.2 配置用户登录控制(黑白名单)3.3 配置登录验证方式(密钥对验证)3.4 常用的配置项…

PHP中如何限制PDF文件大小的简单示例

例如,如果我们希望限制PDF文件的大小不超过5MB,我们可以将这两个配置项都设置为5M。 upload_max_filesize 5M post_max_size 5M接下来,在PHP脚本中,我们可以通过检查$_FILES全局数组来获取上传文件的大小,并作出相应…

【5.0】vue请求函数和路由

【5.0】vue请求函数和路由 此处是与后端交互发送请求拿到数据,和vue自己中的页面跳转路由 【一】axios使用 【1】安装 终端命令 npm install axios -S【2】基本语法 axios.get(后端地址(django)).then(res > {console.log(res.data.res…

ArrayList详解

简介 【概述】 List的主要实现类,底层使用Object[]存储,适用于频繁的查找工作,线程不安全。 【特点】 增删慢:每次删除元素,都需要更改数组长度、拷贝以及移动元素位置;查询快:由于数组在内…

SSM学生社团管理系统—计算机毕业设计源码20360

目 录 摘要 1 绪论 1.1 研究背景 1.2 研究意义 1.3论文结构与章节安排 2 学生社团管理系统系统分析 2.1 可行性分析 2.2 系统流程分析 2.2.1 数据增加流程 2.2.2 数据修改流程 2.2.3 数据删除流程 2.3 系统功能分析 2.3.1 功能性分析 2.3.2 非功能性分析 2.4 系…

YouTube最好用的翻译插件

相信很多同学和我一样,想看YouTube视频时发现基本上都说英文,以我的英文水平🤣去观看真是一言难尽,所以就想着看能不能在谷歌浏览器上找一个插件来进行翻译,结果还真让我找到了一个不错的Youtube翻译插件,它…

AI大模型高效题库生成:业务人效提升的强大助力

一 现状问题 1、培训考核涉及的文件数量较多 当前,京东航空公司维修部门面临着人员规模的快速增长和持续的培训需求。根据民航局的规定,维修培训必须确保所有维修人员都能够完成对飞机维修相关文件的学习,这包括维修方案、维修工程管理手册…

Anaconda环境迁移之conda pack

目录 1. conda pack安装2. 环境打包3. 拷贝环境包到目标电脑4. 激活环境5. 大功告成 1. conda pack安装 源电脑安装conda pack conda install conda-pack2. 环境打包 假如环境名为test,那么打包命令如下: conda pack -n test -o test.tar.gz打包后的…

使用Python+MoviePy给视频添加字幕或水印

一、使用CompositeVideoClip将使用TextClip创建文字类与视频叠加在一起,给视频添加字幕或水印 from moviepy.editor import *# 从本地载入视频myHolidays.mp4,并截取00:00:50 - 00:00:60部分 clip VideoFileClip("/home/Download/Mojito.mp4"…

如果忘记了 Apple ID 密码,如何重设

“我忘记了我的 Apple ID 密码,如何恢复我的帐户?”为了方便用户,Apple 允许每个人使用唯一的 Apple ID 和密码激活设备并访问所有 Apple 服务。然而,实际上,手动选择某项并忘记它似乎很容易。例如,许多 Ap…

带你速通C语言——指针(10)

指针是C语言中最强大但也最容易引起困惑的概念之一。它们直接关联内存管理,使得程序员可以高效地操作数据和内存。下面我将尽量以简单明了的方式介绍指针的基本概念。 1.指针基础 指针本质上是存储内存地址的变量,这个地址指向一个值。通过指针&#xf…

Vue中调整组件的高度及其他样式

在Vue组件中&#xff0c;如果想让一个组件如<MapContainer />变长&#xff0c;你可以使用CSS来调整它的高度。以下是一些可能的方法&#xff1a; 设置固定高度&#xff1a;直接给<MapContainer />组件设置一个高度值。 .MapContainer {height: 300px; /* 你可以根据…

论文中绘制神经网络工具汇总

论文中绘制神经网络工具汇总_convnetdraw-CSDN博客 这哥们总结的还是比较全面的&#xff01;

MongoDB如何实现大于小于查询

MongoDB是一个高性能、开源、无模式的文档型数据库&#xff0c;它使用BSON&#xff08;Binary JSON&#xff09;作为存储格式&#xff0c;支持丰富的查询语法&#xff0c;包括大于&#xff08; g t &#xff09;、小于&#xff08; gt&#xff09;、小于&#xff08; gt&#x…

RabbitMQ-消息队列延迟队列二

1、安装rabbitmq 怎么安装rabbitmq请查看之前课程&#xff0c;如果已经安装&#xff0c;请略过此步。 2、创建vendor文件夹或是直接采用PHP框架 mkdir vendor 3、进入文件 cd vendor 4、安装php扩展 composer require php-amqplib/php-amqplib 5、进入上级创建delay文件…

豆瓣评分8.6!Python社区出版的Python故事教程,太强了!

Python 是活力四射的语言&#xff0c;是不断发展中的语言。就连使用 Python 多年的行者也不敢说对 Python 的方方面面都了解并可以自由运用&#xff0c;想必读者可能更加无法快速掌握所有重点技巧了。 今天给小伙伴们分享的这份手册是用互动的开发故事来探讨Pyfhonic开发的故事…

Spring之@Bean注解

1. 使用方式 1.1 Configuration Bean 1.1.1 创建实体类 User Data NoArgsConstructor public class User {private String name;public User(String name) {this.name name;} } 1.1.2 创建配置类 UserConfig Configuration public class UserConfig {Beanpublic User us…

图片加载的区域显示

问题描述: 一个imageview 控件宽高 640*280 ,通过glide加载要显示的图片,,图片始终显示在imageview 的右边和下边,图片的宽高可能小于或者大于imageview 控件的宽高,如何在imageview 显示图片:如果图片的宽高大于imageview 的宽高可以只显示图片对应的右下部分(此时imageview …