RAG与LLM原理及实践(14)---- Python + MinIO + Kafka进阶

devtools/2024/11/13 9:52:31/

目录

背景

kafka%20%E8%B0%83%E7%94%A8%E9%97%AE%E9%A2%98%E6%A0%B9%E5%9B%A0%E5%88%86%E6%9E%90-toc" style="margin-left:0px;">根因分析

配置

构造

创建 network

构造 zookeeper

kafka-toc" style="margin-left:80px;">构造 kafka

参数构造

原理解析

图解

全过程解析

工具使用

kafkacat-toc" style="margin-left:120px;">kafkacat

查看 broker

python%20%E5%AE%9E%E7%8E%B0-toc" style="margin-left:0px;">python 实现

python%20send%20%2B%20kafka%20recv-toc" style="margin-left:0px;">python send + kafka recv

python%20%E4%BB%A3%E7%A0%81-toc" style="margin-left:80px;">python 代码

kafka%20recv-toc" style="margin-left:80px;">kafka recv

运行效果

python%20recv%20%2B%20kafka%20send-toc" style="margin-left:40px;">python recv + kafka send

python%20%E4%BB%A3%E7%A0%81%C2%A0-toc" style="margin-left:80px;">python 代码 

kafka%20send-toc" style="margin-left:80px;">kafka send

运行效果

思考

python%20send%20%2B%20python%20recv-toc" style="margin-left:40px;">python send + python recv

原理

运行效果


背景

如果你已经完整阅读Milvus核心组件(4)---- MinIO 结合 Kafka 的配置,使用及原理(超详细版)-CSDN博客,并动手实际操作过,那么你对minio+kafka的使用已经完全入门。但是有一个问题,你会发现我们的调用机制是 python 调用了 minio 所在的服务,由他关联的 kafka 被调用。但是你在docker 外主机中,通过 python 调用 kafka 会发现会失败。试想你正在做一大大型应用,要求python 写入 minio 之后,联动kafka 自己做一点自己需要完成的事情。这个scope 本身已经超越了 milvus 本身,因为你可能认为在milvus 配置中,你已经完成了minio+kafka 的搭建,并从kafka 中正确收到了minio 关于 bucket 的 event 事件。当然你可以利用这一点,做一些额外的


http://www.ppmy.cn/devtools/100435.html

相关文章

力扣最热一百题——6.三数之和

目录 题目链接:15. 三数之和 - 力扣(LeetCode) 题目描述 示例 提示 解法一:双指针 代码分析 总结 没啥多说的,就是最近CS根本上不了分谢谢。 题目链接:15. 三数之和 - 力扣(LeetCode&…

鸿蒙(API 12 Beta3版)【DRM系统管理(ArkTS)】数字版权保护

DRM系统管理(MediaKeySystem)支持MediaKeySystem实例管理、设备DRM证书申请与处理、会话实例管理、离线媒体密钥管理、获取DRM度量统计信息、设备属性等。在使用DRM Kit功能时,先查询设备是否支持对应DRM解决方案的DRM功能。在DRM Kit里DRM解…

游戏学(ludology):概念、现状与发展展望?

游戏学(ludology):概念、现状与发展展望? 李升伟 以下是关于“游戏学(ludology):概念、现状与发展展望”的综述: 一、概念 游戏学(ludology)是专门研究…

ffplay源码分析(二)结构体VideoState

在多媒体的世界里,播放器是离用户最近的一环,它将数字编码的音频和视频数据转化为生动的视听体验。ffplay 播放器作为一款强大而备受关注的工具,其背后隐藏着一系列精妙的结构体,它们协同工作,共同完成了从数据读取、解…

汽车的UDS诊断02

UDS的不同服务: 1)物理寻址和功能寻址 can总线上往往有多个ECU,诊断设备可以和某个ECU通信,也可以和多个ECU通信,通过物理寻址和功能寻址来解决这个问题,只针对请求报文: 物理寻址:就是诊断仪与ECU之间点对点通信 功能寻址:就是诊断仪与多个ECU之间一对多信 我们的…

地平线—征程2(Journey 2-J2)芯片详解(22)—I2S

写在前面 本系列文章主要讲解地平线征程2(Journey 2-J2)芯片的相关知识,希望能帮助更多的同学认识和了解征程2(Journey 2-J2)芯片。 若有相关问题,欢迎评论沟通,共同进步。(*^▽^*) 错过其他章节的同学可以电梯直达目录↓↓↓ 地平线—征程2(Journey 2-J2)芯片详解…

android gradle.properties 的作用

android gradle.properties 的作用 1 将多个应用程序打包成一个单一的应用程序(超级应用或聚合应用)在里面配置打包的版本,版本号,比如 version_code110 RELEASE_VERSION3.0.5 DEFAULT_BUILD_TYPE_NAMERelease 2 配置一些在线库&a…

JVM、JRE、JDK

目录 1. JVM(Java Virtual Machine) 2. JRE(Java Runtime Environment) 3. JDK(Java Development Kit) 4.总结 1. JVM(Java Virtual Machine) JVM是Java虚拟机,它是Java程…