MQ介绍
1、什么是MQ?为什么要用MQ?
MQ:MessageQueue,消息队列。 队列,是一种FIFO 先进先出的数据结构。消 息由生产者发送到MQ进行排队,然后按原来的顺序交由消息的消费者进行处理。 QQ和微信就是典型的MQ
MQ的作用主要有以下三个方面:
异步
例子:快递员发快递,直接到客户家效率会很低。引入菜鸟驿站后,快递员只需 要把快递放到菜鸟驿站,就可以继续发其他快递去了。客户再按自己的时间安排 去菜鸟驿站取快递。
作用:异步能提高系统的响应速度、吞吐量。
解耦
例子:《Thinking in JAVA》很经典,但是都是英文,我们看不懂,所以需要编 辑社,将文章翻译成其他语言,这样就可以完成英语与其他语言的交流。作用:
1、服务之间进行解耦,才可以减少服务之间的影响。提高系统整体的稳定性以 及可扩展性。
2、另外,解耦后可以实现数据分发。生产者发送一个消息后,可以由一个或者 多个消费者进行消费,并且消费者的增加或者减少对生产者没有影响。
削峰
例子:长江每年都会涨水,但是下游出水口的速度是基本稳定的,所以会涨水。 引入三峡大坝后,可以把水储存起来,下游慢慢排水。
作用:以稳定的系统资源应对突发的流量冲击
2、MQ的优缺点
上面MQ的所用也就是使用MQ的优点。 但是引入MQ也是有他的缺点的:
系统可用性降低
系统引入的外部依赖增多,系统的稳定性就会变差。一旦MQ宕机,对业务会产生影 响。这就需要考虑如何保证MQ的高可用。
系统复杂度提高
引入MQ后系统的复杂度会大大提高。以前服务之间可以进行同步的服务调用,引入 MQ后,会变为异步调用,数据的链路就会变得更复杂。并且还会带来其他一些问 题。比如:如何保证消费不会丢失?不会被重复调用?怎么保证消息的顺序性等问 题。
消息一致性问题
A系统处理完业务,通过MQ发送消息给B、C系统进行后续的业务处理。如果B系统 处理成功,C系统处理失败怎么办?这就需要考虑如何保证消息数据处理的一致性。
3、几大MQ产品特点比较
常用的MQ产品包括Kafka、RabbitMQ和RocketMQ。我们对这三个产品做下简 单的比较,重点需要理解他们的适用场景。
二、Rabbitmq安装
RabbitMQ是基于Erlang语言开发,所以安装前需要安装Erlang语言环境。需要 注意下的是RabbitMQ与ErLang是有版本对应关系的。3.9.15版本的RabbitMQ只 支持23.2以上到24.3版本的Erlang
在此使用 windows 版本
安装Erlang语言包
安装RabbitMQ:
这样RabbitMQ服务就启动完成了。 之后可以配置下打开他的Web管理页面:
rabbitmq-plugins enable rabbitmq_management
这时,可以使用默认的guest/guest用户登录。 但是注意下,默认情况下,只允 许在localhost本地登录,远程访问是无法登录的。这时,可以创建一个管理员账户 来登录。
rabbitmqctl add_user admin admin
RabbitMQ基础使用
我们首先创建一个/mirror的虚拟主机,然后再添加给对应的镜像策略:
add_vhost /mirror
rabbitmqctl set_policy ha-all --vhost "/mirror" "^" '{"ha-mode":"all"}'
这些参数需要大致了解下。其中,pattern是队列的匹配规则, ^表示全部 匹配。 ^ ha \ 这样的配置表示以ha开头。通常就用虚拟主机来区分就 够了,这个队列匹配规则就配置成全匹配。
然后几个关键的参数:
HA mode: 可选值 all , exactly, nodes。生产上通常为了保证高可用, 就配all
- all : 队列镜像到集群中的所有节点。当新节点加入集群时,队列也会被镜像到这个 节点。
- exactly : 需要搭配一个数字类型的参数 (ha-params) 。队列镜像到集群中指定数 量的节点。如果集群内节点数少于这个数字,则队列镜像到集群内的所有节点。如果集群 内节点少于这个数,当一个包含镜像的节点停止服务后,新的镜像就不会去另外找节点进 行镜像备份了。
- nodes: 需要搭配一个字符串类型的参数。将队列镜像到指定的节点上。如果指定的 队列不在集群中,不会报错。当声明队列时,如果指定的所有镜像节点都不在线,那队列 会被创建在发起声明的客户端节点上。
创建完成后,选择这个test1队列,就可以在页面上直接发送消息以及消费消息了。
在整体使用过程中你会发现,对于队列,有Classic、Quorum、Stream 三种类型,其中,Classic和Quorum两种类型,使用上几乎是没有什么 区别的。但是Stream队列就无法直接消费消息了。这种区别也会带到后 面的使用过程中。