BlessingCR’s Blog
BlessingCR’s Blog

rocketmq 内存cpu不停飙高

现象: cpu 内存随着时间不停上升,即便消息很少,没有堆积

https://blessingcr.com/wp-content/uploads/2024/08/1724291230942.png

排查:

查证没有死信消息,消息消费失败重发两次后直接丢弃

按照网上改了xms xmx等配置,无效

jmap -heap {pid} 看着占用内存很高

手动gc可以让内存下降,但是后续还是不会自己释放—jcmd pid GC.run,并且执行这个命令在有消息时有丢失风险

后续issue查证有类似问题,怀疑mq本身gc逻辑问题或者内存溢出

所有涉及mq的后端服务均关闭,依然存在内存cpu锯齿状上升问题(锯齿中下降段应该是触发xms强制gc)

处理:

最后把rocketmq 从5.0升级到5.3,解决问题,测试无兼容性问题,暂告一段落

发表回复

textsms
account_circle
email

  • incubus

    不是,本身的mq的情况,topic的数量啥都不阐述,就几个指标,那和重启有啥区别

    6 月前 回复
    • @incubus: 合理,等会补上

      6 月前 回复
    • @incubus: 先补这,topic大概三四十个,消息运行时大概每分钟几十条,分散各个topic,死信3次进入,进入后直接丢弃,消息无堆积
      把所有后端服务关掉后,消息为空,内存和cpu依然锯齿向上提升,无消息生产消费
      和重启区别是,重启了以后,没有任何服务链接,也会cpu和内存依然缓慢递增

      6 月前 回复
  • I am often to blogging and i really appreciate your content. The article has really peaks my interest. I am going to bookmark your site and keep checking for new information.

    2 月前 回复
  • Thanks for every other wonderful article. The place else may just anyone get that type of info in such an ideal means of writing? I have a presentation subsequent week, and I’m on the look for such information.

    1 月前 回复
  • I regard something genuinely special in this internet site.

    14 小时前 回复

BlessingCR’s Blog

rocketmq 内存cpu不停飙高
现象: cpu 内存随着时间不停上升,即便消息很少,没有堆积 排查: 查证没有死信消息,消息消费失败重发两次后直接丢弃 按照网上改了xms xmx等配置,无效 jmap -heap {pid} 看着占用内存…
扫描二维码继续阅读
2024-08-22