Kafka 3.x.x 入门到精通（07）——Java应用场景——SpringBoot集成

server/2024/10/19 1:29:00/

Kafka 3.x.x 入门到精通（07）——Java应用场景——SpringBoot集成

  • 4. Java应用场景——SpringBoot集成
    • 4.1 创建SpringBoot项目
      • 4.1.1 创建SpringBoot项目
      • 4.1.2 修改pom.xml文件
      • 4.1.3 在resources中增加application.yml文件
    • 4.2 编写功能代码
      • 4.2.1 创建配置类：SpringBootKafkaConfig
      • 4.2.2 创建生产者控制器：KafkaProducerController
      • 4.2.3 创建消费者：KafkaDataConsumer
    • 4.3 集成测试
      • 4.3.1 启动ZooKeeper
      • 4.3.2 启动Kafka
      • 4.3.3 启动应用程序
      • 4.3.4 生产数据测试

在这里插入图片描述

在这里插入图片描述

本文档参看的视频是：

  • 尚硅谷Kafka教程，2024新版kafka视频，零基础入门到实战
  • 黑马程序员Kafka视频教程，大数据企业级消息队列kafka入门到精通
  • 小朋友也可以懂的Kafka入门教程，还不快来学

本文档参看的文档是：

  • 尚硅谷官方文档，并在基础上修改 完善！非常感谢尚硅谷团队！！！！

在这之前大家可以看我以下几篇文章，循序渐进：

❤️Kafka 3.x.x 入门到精通（01）——对标尚硅谷Kafka教程

❤️Kafka 3.x.x 入门到精通（02）——对标尚硅谷Kafka教程

❤️Kafka 3.x.x 入门到精通（03）——对标尚硅谷Kafka教程

❤️Kafka 3.x.x 入门到精通（04）——对标尚硅谷Kafka教程

❤️Kafka 3.x.x 入门到精通（05）——对标尚硅谷Kafka教程

❤️Kafka 3.x.x 入门到精通（06）——对标尚硅谷Kafka教程

在这里插入图片描述

4. Java应用场景——SpringBoot集成

Spring Boot帮助您创建可以运行的、独立的、生产级的基于Spring的应用程序。您可以使用Spring Boot创建Java应用程序，这些应用程序可以通过使用java-jar或更传统的war部署启动。
我们的目标是：

  • 为所有Spring开发提供从根本上更快、广泛访问的入门体验。
  • 开箱即用，但随着要求开始偏离默认值，请迅速离开。
  • 提供大型项目（如嵌入式服务器、安全性、指标、健康检查和外部化配置）常见的一系列非功能性功能。
  • 绝对没有代码生成（当不针对原生图像时），也不需要XML配置。

在这里插入图片描述

在这里插入图片描述

4.1 创建SpringBoot项目

4.1.1 创建SpringBoot项目

在这里插入图片描述

在这里插入图片描述

4.1.2 修改pom.xml文件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd"><modelVersion>4.0.0</modelVersion><parent><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-parent</artifactId><version>3.0.5</version><relativePath/> <!-- lookup parent from repository --></parent><groupId>com.atguigu</groupId><artifactId>springboot-kafka</artifactId><version>0.0.1</version><name>springboot-kafka</name><description>Kafka project for Spring Boot</description><properties><java.version>17</java.version></properties><dependencies><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter</artifactId></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId><exclusions><exclusion><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-logging</artifactId></exclusion></exclusions></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-test</artifactId><scope>test</scope></dependency><dependency><groupId>org.springframework.kafka</groupId><artifactId>spring-kafka</artifactId></dependency><dependency><groupId>org.apache.kafka</groupId><artifactId>kafka-clients</artifactId><version>3.6.1</version></dependency><dependency><groupId>com.alibaba</groupId><artifactId>fastjson</artifactId><version>1.2.83</version></dependency><dependency><groupId>cn.hutool</groupId><artifactId>hutool-json</artifactId><version>5.8.11</version></dependency><dependency><groupId>cn.hutool</groupId><artifactId>hutool-db</artifactId><version>5.8.11</version></dependency><dependency><groupId>org.projectlombok</groupId><artifactId>lombok</artifactId></dependency></dependencies><build><plugins><plugin><groupId>org.springframework.boot</groupId><artifactId>spring-boot-maven-plugin</artifactId></plugin></plugins></build>
</project>

在这里插入图片描述

4.1.3 在resources中增加application.yml文件

spring:kafka:bootstrap-servers: localhost:9092producer:acks: allbatch-size: 16384buffer-memory: 33554432key-serializer: org.apache.kafka.common.serialization.StringSerializervalue-serializer: org.apache.kafka.common.serialization.StringSerializerretries: 0consumer:group-id: test#消费者组#消费方式: 在有提交记录的时候，earliest与latest是一样的，从提交记录的下一条开始消费# earliest：无提交记录，从头开始消费#latest：无提交记录，从最新的消息的下一条开始消费auto-offset-reset: earliestenable-auto-commit: true #是否自动提交偏移量offsetauto-commit-interval: 1s #前提是 enable-auto-commit=true。自动提交的频率key-deserializer: org.apache.kafka.common.serialization.StringDeserializervalue-deserializer: org.apache.kafka.common.serialization.StringDeserializermax-poll-records: 2properties:#如果在这个时间内没有收到心跳，该消费者会被踢出组并触发{组再平衡 rebalance}session.timeout.ms: 120000#最大消费时间。此决定了获取消息后提交偏移量的最大时间，超过设定的时间（默认5分钟），服务端也会认为该消费者失效。踢出并再平衡max.poll.interval.ms: 300000#配置控制客户端等待请求响应的最长时间。#如果在超时之前没有收到响应，客户端将在必要时重新发送请求，#或者如果重试次数用尽，则请求失败。request.timeout.ms: 60000#订阅或分配主题时，允许自动创建主题。0.11之前，必须设置falseallow.auto.create.topics: true#poll方法向协调器发送心跳的频率，为session.timeout.ms的三分之一heartbeat.interval.ms: 40000#每个分区里返回的记录最多不超max.partitions.fetch.bytes 指定的字节#0.10.1版本后 如果 fetch 的第一个非空分区中的第一条消息大于这个限制#仍然会返回该消息，以确保消费者可以进行#max.partition.fetch.bytes=1048576  #1Mlistener:#当enable.auto.commit的值设置为false时，该值会生效；为true时不会生效#manual_immediate:需要手动调用Acknowledgment.acknowledge()后立即提交#ack-mode: manual_immediatemissing-topics-fatal: true #如果至少有一个topic不存在，true启动失败。false忽略#type: single #单条消费？批量消费？ #批量消费需要配合 consumer.max-poll-recordstype: batchconcurrency: 2 #配置多少，就为为每个消费者实例创建多少个线程。多出分区的线程空闲template:default-topic: "test"
server:port: 9999

4.2 编写功能代码

4.2.1 创建配置类：SpringBootKafkaConfig

package com.atguigu.springkafka.config;public class SpringBootKafkaConfig {public static final String TOPIC_TEST = "test";public static final String GROUP_ID = "test";
}

在这里插入图片描述

4.2.2 创建生产者控制器：KafkaProducerController

package com.atguigu.springkafka.controller;import com.atguigu.springkafka.config.SpringBootKafkaConfig;
import lombok.extern.slf4j.Slf4j;
import cn.hutool.json.JSONUtil;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.kafka.support.SendResult;
import org.springframework.web.bind.annotation.*;import org.springframework.util.concurrent.ListenableFuture;
import org.springframework.util.concurrent.ListenableFutureCallback;@RestController
@RequestMapping("/kafka")
@Slf4j
public class KafkaProducerController {@Autowiredprivate KafkaTemplate<String, String> kafkaTemplate;@ResponseBody@PostMapping(value = "/produce", produces = "application/json")public String produce(@RequestBody Object obj) {try {String obj2String = JSONUtil.toJsonStr(obj);kafkaTemplate.send(SpringBootKafkaConfig.TOPIC_TEST, obj2String);return "success";} catch (Exception e) {e.getMessage();}return "success";}
}

在这里插入图片描述

4.2.3 创建消费者：KafkaDataConsumer

package com.atguigu.springkafka.component;import cn.hutool.json.JSONObject;
import cn.hutool.json.JSONUtil;
import lombok.extern.slf4j.Slf4j;
import com.atguigu.springkafka.config.SpringBootKafkaConfig;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.kafka.support.KafkaHeaders;
import org.springframework.messaging.handler.annotation.Header;
import org.springframework.stereotype.Component;import java.util.List;
import java.util.Optional;@Component
@Slf4j
public class KafkaDataConsumer {@KafkaListener(topics = SpringBootKafkaConfig.TOPIC_TEST, groupId = SpringBootKafkaConfig.GROUP_ID)public void topic_test(List<String> messages, @Header(KafkaHeaders.RECEIVED_TOPIC) String topic) {for (String message : messages) {final JSONObject entries = JSONUtil.parseObj(message);System.out.println(SpringBootKafkaConfig.GROUP_ID + " 消费了： Topic:" + topic + ",Message:" + entries.getStr("data"));//ack.acknowledge();}}
}

在这里插入图片描述

4.3 集成测试

4.3.1 启动ZooKeeper

在这里插入图片描述

在这里插入图片描述

4.3.2 启动Kafka

4.3.3 启动应用程序

在这里插入图片描述

在这里插入图片描述

4.3.4 生产数据测试

可以采用任何的工具进行测试，我们这里采用postman发送POST数据

在这里插入图片描述

消费者消费数据

在这里插入图片描述

在这里插入图片描述


http://www.ppmy.cn/server/21078.html

相关文章

【金融数据接口】baostock数据python使用教程

【金融数据接口】baostock数据python使用教程

目录 （1）官网接口文档 （2）包安装 （3）使用方法 （4）常用函数说明 1.query_all_stock：证券代码 2.query_history_k_data_plus：k线数据 3.query_trade_dates：交易日历 （
阅读更多...
【小迪安全2023】第57天:服务攻防-应用协议RsyncSSHRDPFTP漏洞批扫口令猜解

【小迪安全2023】第57天:服务攻防-应用协议RsyncSSHRDPFTP漏洞批扫口令猜解

&#x1f36c; 博主介绍&#x1f468;‍&#x1f393; 博主介绍&#xff1a;大家好&#xff0c;我是 hacker-routing &#xff0c;很高兴认识大家~ ✨主攻领域&#xff1a;【渗透领域】【应急响应】 【Java、PHP】 【VulnHub靶场复现】【面试分析】 &#x1f389;点赞➕评论➕收…
阅读更多...
AWS SES发送邮件如何正确配置？操作指南？

AWS SES发送邮件如何正确配置？操作指南？

AWS SES发送邮件有哪些限制&#xff1f;AWS SES发信的注意事项&#xff1f; AWS SES作为亚马逊云服务提供的一项高效、可靠的电子邮件发送服务&#xff0c;受到了众多企业的青睐。然而&#xff0c;如何正确配置AWS SES发送邮件。AokSend将详细解析AWS SES发送邮件的配置过程&a…
阅读更多...
Matplotlib是什么？

Matplotlib是什么？

一、Matplotlib是什么&#xff1f; Matplotlib是一个Python语言的2D绘图库&#xff0c;它非常广泛地用于数据的可视化。以下是一些主要特点&#xff1a; 多功能性&#xff1a;它允许用户创建各种静态、动态或交互式的图表&#xff0c;如线图、散点图、直方图等。跨平台性&…
阅读更多...
Rust语言之简单涉猎

Rust语言之简单涉猎

官方文档 简介 Rust 是一种静态类型语言。静态类型语言是指在编译时对变量和表达式进行类型检查&#xff0c;以确保类型的正确性。在 Rust 中&#xff0c;每个变量都需要在声明时指定其类型(也支持隐式声明&#xff0c;根据值判断)&#xff0c;并且在编译时会进行类型检查&am…
阅读更多...
Flink 实时数仓（二）【ODS 层开发】

Flink 实时数仓（二）【ODS 层开发】

前言 最近投了不少的实习&#xff0c;也收到不错的反馈&#xff0c;虽然是中小公司偏多&#xff0c;但是毕竟现在这个环境双非进大厂实习可不同当年了。可惜的是学院不放人&#xff0c;无奈啊&#xff0c;遍身罗绮者&#xff0c;不是养蚕人。我累死累活肝了两年了&#xff0c;好…
阅读更多...
three.js 3D Banner实战

three.js 3D Banner实战

需求场景 1、加载glb模型 2、设置背景 3、让第一个模型转动&#xff0c;并调整模型的转动速度 4、设置模型的宽度。 遇到的问题 1、为什么加载的模型不能转动&#xff1f; 加载的glb模型需要加入到goup里面才能转动。 代码实施 <script setup> import * as THREE from…
阅读更多...
产品之帮我一点创造之路（四月）

产品之帮我一点创造之路（四月）

调研&#xff1a;从京东、抖音查看到相关的自动浇花的商品&#xff0c;基本对自己预想的功能均有过之而无不及。便有顾虑是不是要继续对这套系统做进一步实践性跟进。 想法&#xff1a;这个工具会提供到给香蕉树苗定期浇花的场景中。 1. 从初级开始&#xff08;进行中&#xff…
阅读更多...
最新文章

Copyright @ 2022~2023