你好,游客 登录 注册 搜索
背景:
阅读新闻

柯南君:看大数据时代下的IT架构(2)消息队列之RabbitMQ-基础概念详细介绍

[日期:2014-12-16] 来源:CSDN博客  作者:红日当空照 [字体: ]

柯南君上一章《柯南君:看大数据时代下的IT架构(1)业界消息队列对比 》中,粗略的讲了一下,目前消息队列的几种常见产品的优劣对比,接下来的几章节会分别详细阐述,本章介绍RabbitMQ,好吧,废话少说,正式开始:

一、基础概念详细介绍

1、引言

你是否遇到过两个(多个)系统间需要通过定时任务来同步某些数据?你是否在为异构系统的不同进程间相互调用、通讯的问题而苦恼、挣扎?如果是,那么恭喜你,消息服务让你可以很轻松地解决这些问题。
消息服务擅长于解决多系统、异构系统间的数据交换(消息通知/通讯)问题,你也可以把它用于系统间服务的相互调用(RPC)。本文将要介绍的RabbitMQ就是当前最主流的消息中间件之一
 

2、RabbitMQ简介

RabbitMQ是流行的开源消息队列系统,用erlang语言开发。RabbitMQ是AMQP(高级消息队列协议)的标准实现。如果不熟悉AMQP,直接看RabbitMQ的文档会比较困难。首先讲一下AMQP
AMQP,即Advanced Message Queuing Protocol,高级消息队列协议,是应用层协议的一个开放标准,为面向消息的中间件设计。消息中间件主要用于组件之间的解耦,消息的发送者无需知道消息使用者的存在,反之亦然。
AMQP的主要特征是面向消息、队列、路由(包括点对点和发布/订阅)、可靠性、安全。
RabbitMQ是一个开源的AMQP实现,服务器端用Erlang语言编写,支持多种客户端,如:Python、 Ruby、.NET、Java、JMS、C、PHP、ActionScript、XMPP、STOMP等,支持AJAX。用于在分布式系统中存储转发消 息,在易用性、扩展性、高可用性等方面表现不俗。
下面将重点介绍RabbitMQ中的一些基础概念,了解了这些概念,是使用好RabbitMQ的基础。

3、基本概念

1)RabbitMQ 结构图如下:

2)重点介绍一些比较重要基础概念

① Quque:(队列)
Quque(队列)是RabbitMQ的内部对象,用于存储信息,有下图(1-3-2-1)表示
(1-3-2-1)
RabbitMQ中的信息只能存储在Quque中,生产者(下图中的P)生产者消息并最终投递到Quque中,消费者(如图中1-3-2-2的C)可以从Quque中获取消息并消费。
(1-3-2-2)
多个消费者可以订阅同一个Quque,这时Quque中的消息会被平均分摊给多个消费者进行处理,而不是每个消费者都收到所有消息并处理。

 Message acknowlegment:(消息回执)
在实际应用中,可能会发生 消费者收到Quque中的消息,但没有处理完成就宕机的情况,这种情况下,就可能导致信息丢失,为了避免这种情况发生,我们可以要求消费者在消费完消息后 发送一个回执给RabbitMQ,RabbitMQ收到消息回执(Message acknowledge)后,才将该消息从Quque中移除。如果RabbitMQ没有收到回执,并检测到消费者的RabbitMQ链接断开,则 RabbitMQ 会将该消息发送给其他消费者(如果存在多个消费者的情况下)进行处理,这里不存在timeout的概念,一个消费者处理消费时间不管多么长也不会导致该消 息被发送给其他消费者,除非它的RabbitMQ连接断开;
注意:这里会产生一个问题,如果开发人员再处理业务完成逻辑后,忘记发送回执给RabbitMQ,这将会导致严重的bug---Quque中堆积的消息会越来越多;消费者重启会重复消费这些消息并重复执行业务逻辑。
③Message durability:(消息持久化)
如果我们希望即使在RabbitMQ在重启的情况下,也不会丢失消息,那么我们将Quque与Message都设置成可持久化的(durability),这样就可以保证绝大部分情况下我们的RabbitMQ消息不会丢失。但依然解决不了小概率的丢失事件的发生(比如 RabbitMQ服务器已经接收到生产者的消息,但是,还没有来的及持久化该消息时,RabbitMQ服务器就断电了或者宕机了),如果我们需要对这种小概率事件也要管理起来的话,那么我们需要用到事务
④ Prefetch count (预取数目)
前面我们提到了如果有多个消费者同时订阅同一个Quque中的消 息,Quque中的消息会被平摊给多个消费者。这时如果每个消息的处理时间不同,就有可能导致某些消费者一直很忙,而另一些消费者很快处理完手头上工作, 并一直空闲的情况下。我们可以通过设置prefetch count=1,则Quque每次给每个消费者发送一条消息;消费者处理完这条消息后Quque会再给消费者发送一条消息。
Exchange (交换器)
上一节我们看到生产者将消息投递到Quque中,实际上这在RabbitMQ是不可能发生的,实际上的情况是,生产者将消息发送到Exchange(交换器,下图中X),Exchange将消息路由到一个或者多个Quque中或者丢弃。
Exchange是按照什么逻辑将消息路由到Quque的?这将在Binding一节详谈。
RabbitMQ中的Exchange有四种类型,不同的类型有着不同的路由策略,这将在Exchange Types一节详谈
⑥ routing key(路由key)
生产者在将消息发送给Exchange的时候,一般会指定一个routing key,来指定这个路由规则,而这个routing key需要与 Exchange Type 与binding key 联合使用才能最终生效。
在Exchange Tpye 与binding key 固定的情况下(在正常使用情况下,这些内容都是配置好的),我们的生产者就可以在发送消息给Exchange的时候,通过指定routing key 来指定消息流的流向哪里。
Binding (绑定)
RabbitMQ 中通过Binding 将Exchange 与Quque关联起来,这样RabbitMQ就知道如何正确地将消息路由到指定的Quque了
⑧ Exchange Type (更换类型)
RabbitMQ常用的Exchange Tpye 有fanout、direct、top、headers这四种
 
⑨ fanout (分列)
fanout类型的Exchange路由规则非常简单,它会把所有发送到该Exchange的消息路由到所有与它绑定的Queue中。
⑩ direct (重定向)
direct类型的Exchange路由规则也很简单,它会把消息路由到那些binding key与routing key完全匹配的Queue中。
以上图的配置为 例,我们以routingKey=”error”发送消息到Exchange,则消息会路由到Queue1(amqp.gen-S9b…,这是由 RabbitMQ自动生成的Queue名称)和Queue2(amqp.gen-Agl…);如果我们以routingKey=”info”或 routingKey=”warning”来发送消息,则消息只会路由到Queue2。如果我们以其他routingKey发送消息,则消息不会路由到这 两个Queue中。
 topic(主题)

前面讲到direct类型的Exchange路由规则是完全匹配 binding key与routing key,但这种严格的匹配方式在很多情况下不能满足实际业务需求。topic类型的Exchange在匹配规则上进行了扩展,它与direct类型的 Exchage相似,也是将消息路由到binding key与routing key相匹配的Queue中,但这里的匹配规则有些不同,它约定:

  • routing key为一个句点号“. ”分隔的字符串(我们将被句点号“. ”分隔开的每一段独立的字符串称为一个单词),如“stock.usd.nyse”、“nyse.vmw”、“quick.orange.rabbit”
  • binding key与routing key一样也是句点号“. ”分隔的字符串
  • binding key中可以存在两种特殊字符“*”与“#”,用于做模糊匹配,其中“*”用于匹配一个单词,“#”用于匹配多个单词(可以是零个)】
以上图中的配置为 例,routingKey=”quick.orange.rabbit”的消息会同时路由到Q1与 Q2,routingKey=”lazy.orange.fox”的消息会路由到Q1,routingKey=”lazy.brown.fox”的消息会 路由到Q2,routingKey=”lazy.pink.rabbit”的消息会路由到Q2(只会投递给Q2一次,虽然这个routingKey与Q2 的两个bindingKey都匹配);routingKey=”quick.brown.fox”、routingKey=”orange”、 routingKey=”quick.orange.male.rabbit”的消息将会被丢弃,因为它们没有匹配任何bindingKey。
 headers
headers类型的Exchange不依赖于routing key与binding key的匹配规则来路由消息,而是根据发送的消息内容中的headers属性进行匹配。
在绑定Queue与Exchange时指定一组键值对;当消息发送到Exchange时,RabbitMQ会取到该消息的headers(也是一个键值对 的形式),对比其中的键值对是否完全匹配Queue与Exchange绑定时指定的键值对;如果完全匹配则消息会路由到该Queue,否则不会路由到该 Queue。
该类型的Exchange没有用到过(不过也应该很有用武之地),所以不做介绍。
 RPC(远程过程调用)
MQ本身是基于异步的消息处理,前面的示例中所有的生产者(P)将消息发送到RabbitMQ后不会知道消费者(C)处理成功或者失败(甚至连有没有消费者来处理这条消息都不知道)。
但实际的应用场景中,我们很可能需要一些同步处理,需要同步等待服务端将我的消息处理完成后再进行下一步处理。这相当于RPC(Remote Procedure Call,远程过程调用)。在RabbitMQ中也支持RPC。

 

RabbitMQ中实现RPC的机制是:

  • 客户端发送请求(消息) 时,在消息的属性(MessageProperties,在AMQP协议中定义了14中properties,这些属性会随着消息一起发送)中设置两个值 replyTo(一个Queue名称,用于告诉服务器处理完成后将通知我的消息发送到这个Queue中)和correlationId(此次请求的标识 号,服务器处理完成后需要将此属性返还,客户端将根据这个id了解哪条请求被成功执行了或执行失败)
  • 服务器端收到消息并处理
  • 服务器端处理完消息后,将生成一条应答消息到replyTo指定的Queue,同时带上correlationId属性
  • 客户端之前已订阅replyTo指定的Queue,从中收到服务器的应答消息后,根据其中的correlationId属性分析哪条请求被执行了,根据执行结果进行后续业务处理

二、MQ特点

三、使用场景

四、含义

五、安装

http://blog.csdn.net/sun305355024sun/article/details/41918315

六、客户端

七、服务端

原文链接:http://blog.csdn.net/sun305355024sun/article/details/41913105





收藏 推荐 打印 | 录入:Cstor | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款