Flume和kafka的整合

ops/2024/11/16 22:30:08/

1、Kafka作为Source 【数据进入到kafka中,抽取出来】

flume的conf文件夹下,有一个flumeconf 文件夹:这个文件夹是自己创建的

 

创建一个flume脚本文件: kafka-memory-logger.conf

Flume 1.9用户手册中文版 — 可能是目前翻译最完整的版本了 

a1.sources = r1
a1.sinks = k1
a1.channels = c1# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSource
a1.sources.r1.batchSize = 100
a1.sources.r1.batchDurationMillis = 2000
a1.sources.r1.kafka.bootstrap.servers = bigdata01:9092,bigdata02:9092,bigdata03:9092
a1.sources.r1.kafka.topics = five
a1.sources.r1.kafka.consumer.group.id = qiaodaohu# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100a1.sinks.k1.type = logger
a1.sinks.k1.maxBytesToLog = 128

接着创建一个topic ,名字叫做 kafka-flume,或者直接使用以前的five 主题

创建主题的命令

kafka-topics.sh --create --topic kafka-flume --bootstrap-server bigdata01:9092 --partitions 3 --replication-factor 1 

测试:

启动一个消息生产者,向topic中发送消息,启动flume,接收消息

kafka-console-producer.sh --topic kafka-flume --bootstrap-server bigdata01:9092

 

 


http://www.ppmy.cn/ops/134254.html

相关文章

STM32 如何通过ESP8266通信

​ 一、STM32 与 ESP8266 简介​ (一)STM32 简介​ 是一款高性能、低功耗的微控制器,广泛应用于各种嵌入式系统中。它具有丰富的外设资源和强大的处理能力,能够满足不同应用场景的需求。在与 ESP8266 通信中,STM32 …

【C++课程学习】:二叉搜索树

🎁个人主页:我们的五年 🔍系列专栏:C课程学习 🎉欢迎大家点赞👍评论📝收藏⭐文章 目录 二叉树搜索树的概念: 节点的结构: ⚽️结构: ⚽️ 构造函数&…

Rust 整数

表1 整数类型 大小(位)有符号整数无符号整数8i8u816i16u1632i32u3264i64u64128i128u128机器字isizeusize 表2 整数字面量 序号说明案例1可以在整数任意位置添加下划线_1234_5678、1_2_3_4_5_6_7_8、12_345_678 都合法的整数,都表示数12345…

Linux探秘坊-------1.系统核心的低语:基础指令的奥秘解析(1)

1.Linux的背景介绍 Linux 操作系统的发展历程充满了激情与创新喵~🎀 萌芽期 (1983 - 1991):Linux 的历史可追溯到 1983 年,理查德斯托曼 (Richard Stallman) 发起 GNU 计划,目标是创建一个自由软件操作系统。1987 年发…

Prometheus面试内容整理-Metrics 类型

在 Prometheus 中,指标(Metrics)是核心数据单位,用于描述系统的各种状态和性能指标。Prometheus 将这些指标分为四种主要类型,每种类型适用于不同的监控场景。理解这四种指标类型有助于我们准确采集、分析和理解监控数据。 Counter(计数器) 1. 概念: Counter 是一种只…

01 最舒适的python开发环境

0 前言 我自己经过尝试,总结出python3开发环境的最舒适方式。 python3安装创建虚拟环境 venvjupyter notebook 笔记本安装vscode插件(Python, Pylance, Jupyter) 1 python3安装 ubuntu系统下安装最新版本的python3 sudo apt update sudo apt install python32 …

cooladmin 后端 查询记录

查询记录:pageQueryOp中列表查询的group by node ts controller代码如下 import { CoolController, BaseController } from cool-midway/core; import { Inject, Post, Get, Param } from midwayjs/decorator; import { ComparePricesPlanInfoEntity } from ../../…

华为云前台用户可挂载数据盘和系统盘是怎么做到的?

用户可以选择磁盘类型和容量,其后台是管理员对接存储设备 1.管理员如何在后台对接存储设备(特指业务存储) 1.1FusionSphere CPS(Cloud Provisionivice)云装配服务 它是first node https://10.200.4.159:8890 对接存…