租房项目之并发缺失数据问题

devtools/2024/9/22 14:58:27/

前奏:本项目是一个基于django的租房信息获取项目。本次博客牵扯到两个版本,集中式分布以及分布式部署(两个版本的ui不同,集中式用的是老版ui,分布式使用的是新版ui);

项目链接:https://gitee.com/junmoxuao/tenancy.git

名词解释:集中式分布版本->将爬虫部分和处理用户请求的部分集中分布到同一个项目,虽然部署起来简单,但是存在一个问题(可能有隐藏问题未发现,但是这个问题是非常影响用户体验),就是如果多个用户同时去获取同一页的信息,则会出现信息缺失的问题。

                  分布式部署->将爬虫部分和处理用户请求的部分分布到多个服务器上,一来可以减少单点服务器的负载,二来可以在一定程度上解决并发问题。

问题详述:

        先来看集集中式单用户获取的内容,如以下截图:

        最开始的时候无查询信息:

        获取某一页的信息:

        下载查看信息

        我们看到有30条信息,这也符合租房信息网站上的一页30条信息

        接下来模拟多用户并发:使用jmeter模拟多用户并发请求

        设置并发3个线程

        设置http请求

        运行后结果

        下载对应三次文件

        打开文件查看获取信息的条数

        

        我们可以看到,每一个用户获取到的信息都是不全的(均未达到30条,信息损失率分别为20%,26%,23%)

        接下来是分布式测试,过程与上述无异

        单用户测试

        多用户并发测试

        三个文件内容如下

        测试结果,无论多用户还是单用户,用户获取信息的损失率均为0%。

        测试完毕 


http://www.ppmy.cn/devtools/52309.html

相关文章

操作系统入门系列-MIT6.828(操作系统工程)学习笔记(七)---- 系统调用函数与GDB(Lab: system calls)

系列文章目录 操作系统入门系列-MIT6.828(操作系统工程)学习笔记(一)---- 操作系统介绍与接口示例 操作系统入门系列-MIT6.828(操作系统工程)学习笔记(二)---- 课程实验环境搭建&am…

重生之 SpringBoot3 入门保姆级学习(20、场景整合 Docker 的 Redis 对接与基础使用)

重生之 SpringBoot3 入门保姆级学习(20、场景整合 Docker 的 Redis 对接与基础使用) 6.3 整合 Redis 6.3 整合 Redis 1、创建新项目编写 application.properties 配置文件 # redis 配置 spring.data.redis.host192.168.1.4 spring.data.redis.port6379如…

Java数组

Java数组的用法 在Java中,数组是一种常用的数据结构,用于存储相同类型的多个元素,以下是一些关于Java数组的基本学习要点。 1. 数组的声明 声明一个数组变量,指定其类型,但此时不分配内存空间。 int[] numbers; //…

你好GPT-4o——对GPT-4o发布的思考与看法

你好GPT-4o 前言 2024年5月13日,OpenAI官网发布了他们的新一代自然语言处理交互系统——GPT-4o。这是OpenAI继GPT4之后又一个新的旗舰模型。 GPT-4o(“o”代表“omni”)是迈向更自然的人机交互的一步——它接受文本、音频、图像和视频的任意…

【系统架构设计师】一、计算机系统基础知识(指令系统|存储系统|输入输出技术|总线结构)

目录 一、指令系统 1.1 计算机指令 1.2 指令寻址方式 1.3 CISC 与 RISC 1.4 指令流水线 二、存储系统 2.1 分级存储体系 2.2 地址映射 2.3 替换算法 2.4 磁盘 2.4.1 磁盘结构和参数 2.4.2 磁盘调度算法 三、输入输出技术 四、总线结构 五、考试真题练习 一、指令…

SpringBoot 实现 阿里云语音通知(SingleCallByTts)

目录 一、准备工作1.开通 阿里云语音服务2.申请企业资质3.创建语音通知模板,审核通过4.调用API接口---SingleCallByTts5.调试API接口---SingleCallByTts 二、代码实现1.导入依赖 com.aliyun:aliyun-java-sdk-dyvmsapi:3.0.22.创建工具类,用于发送语音通知…

【C++进阶学习】第二弹——继承(下)——挖掘继承深处的奥秘

继承(上):【C进阶学习】第一弹——继承(上)——探索代码复用的乐趣-CSDN博客 前言: 在前面我们已经讲了继承的基础知识,让大家了解了一下继承是什么,但那些都不是重点,今…

微软将 AI 工具和软件的研发工作外包给 OpenAI

微软将 AI 工具和软件的研发工作外包给 OpenAI 科技媒体 CNBC 报道称,微软正计划将其人工智能(AI)工具和软件的开发工作外包给OpenAI,这对竞争对手谷歌来说无疑是一个利好消息。 Okta首席执行官Todd McKinnon表示,微…