rabbitmq延时消费队列插件和过期哪个好

1、使用RabbitMQ的延迟队列实现消息的延遲发送写了个demo,功能ok

2、实际使用时,发现有些消息没有按照指定的延迟时间被消费

google才知道,延迟队列有几个特性:1、先进先出;2、朂前面的消息未被消费时后面的消息即使到达了延迟时间,也不会被消费;

因此对于不同的延迟时间的消息,不能投到同一个队列中换句话说,针对不同的延迟时间都要创建不同的队列。

不过在实际业务中,肯定会有大量不同延迟时间的消息为此创建很多个不哃的队列,肯定不现实肯定有别的、更合理的实现方式。

具体的配置和实现方式可参考如下博文

或者: 消息队列满了以后该怎么處理

或者: 几百万消息持续积压几小时,怎么解决

问题本质是消费端出问题了,不消费或者消费慢

1、消费端出问题了,大量消息积壓在kafka里几个小时怎么办?

正常思路是:修复consumer的问题让他恢复消费,然后傻等几个小时消费完毕(不可取用户等不了)

实际解决方法:只能操作临时紧急扩容

    (1)修复consumer问题,确保其恢复消费速度然后停掉现有consumer;

    (2)新建topic并设置原来10倍或者20倍的partition,不管是改原来的消费者将消息写入新partition还是直接处理积压的消息进partition,新建10倍或20倍的consumer来处理消息并写库;

    (3)等快速消费完积压数據后,恢复原先的部署架构重新用原来的consumer机器来消费数据;

 2、假设用的是rabbitMQ。rabbitMQ是可以设置过期时间的如果消息在queue里积压一定时间就会被rabbitMQ清掉,造成的问题是因积压超时而丢数据

解决方法是: 重导入数据。手工查找丢的数据重新灌入MQ里面去(一般不设rabbitMQ的过期时间

3、消息积压在MQ里导致MQ快满了

解决方法:临时写程序接入消息来消费,消费一个丢一个(不写库了快速把MQ里的消息处理掉)

      然後到晚上再采用2的方法,补数据(针对的是线上问题)

我要回帖

更多关于 rabbitmq延时消费 的文章

 

随机推荐