kafka的并发性能怎么测试(基于kafka的延迟消息队列)

技术Apache Pulsar 与 Kafka 延迟性比较的测试过程是怎么样的本篇文章为大家展示了Apache Pulsar 与 Kafka 延迟性比较的测试过程是怎么样的,内容简明扼要并且容易理解,绝对能使你眼前一亮,

这篇文章向你展示了阿帕奇脉冲星和卡夫卡延迟比较的测试过程。内容简洁易懂,一定会让你大放异彩。希望通过这篇文章的详细介绍,你能有所收获。

测试细节将在下面描述。

测试详细信息:

Apache  Pulsar  与 Kafka  延迟性比较的测试过程是怎么样的

设定基准

为了设置基准测试,我们遵循了OpenMessaging网站上记录的步骤。应用Terraform配置后,获取以下一组ec2实例:我们根据OpenMessaging网站上提供的步骤进行了基准测试。通过应用Terraform配置,可以获得以下EC2实例集:

Apache  Pulsar  与 Kafka  延迟性比较的测试过程是怎么样的

Pulsar/BookKeeper和Kafka broker的i3.4x大型实例包含两个NVMe固态硬盘以提高性能。这两个功能强大的虚拟机拥有16个vCPU、122个GiB内存和高性能磁盘。

两个固态硬盘是脉冲星的理想设置,因为不仅可以写入两个数据流,而且数据流可以在磁盘上并行。卡夫卡也可以通过分配两个驱动器的分区来使用这两个SDD。

Pulsar和Kafka的Ansible剧本使用tuned-adm命令(延迟性能曲线)来调整低延迟性能。

调谐-adm命令详情参见https://linux.die.net/man/1/tuned-adm.

工作负载

虽然基准测试附带了一些可以立即运行的工作负载,但我们做了一些修改,以更接近Kafka在LinkedIn Engineering博客中的测试结果。定义一个新的工作负载并不难,只需创建一个带有测试更新参数的YAML文件。

看完LinkedIn的博客,你会发现他们运行的消息大小都是100字节,因为一般来说,如果消息太小(远小于100字节),测试对比结果并不明显;所有的消息队列都不擅长处理“大消息”(远远超过100字节),所以这里我们选择一个折中的大小,也就是100字节,这也是所有消息系统测试中使用的单个消息的大小。

这个大小更有利于测试消息系统本身的性能。无论每条消息的大小如何,用于测试的消息总量都是固定的。消息处理的效率越高,消息系统的性能越好。同时,网络或磁盘吞吐量限制影响测试结果的可能性越低。报文系统在处理“大报文”时的性能也是一个值得探讨的话题,但我们目前只测试“小报文”。

此外,在测试中,我们还增加了一个6分区的基准测试。因为LinkedIn测试中使用了很多6个分区,所以我们也添加了它。

LinkedIn博客既包含生产者专用工作负载,也包含消费者专用工作负载,而我们在测试中使用的工作负载同时包含生产者和消费者。原因有二。

首先,就目前的情况来看,benchmark test不支持只支持生产者或者只支持消费者的工作负载;其次,在实践中,信息系统同时为生产者和消费者服务。我们决定用生产新闻和消费新闻的实际场景来测试。

总而言之,我们用于测试的负载集如下:

Apache  Pulsar  与 Kafka  延迟性比较的测试过程是怎么样的

卡夫卡消费群和脉冲星订阅类似,允许一个或多个消费者接收一个主题的所有信息。当主题与多个消费者群/订阅相关联时,消息系统向主题提供每个消息的多个副本,或者“扇出”消息。

发布在主题上的每条消息都会发送给所有消费群/订阅。如果所有消息都发送到同一个主题,并且该主题上只有一个消费者组/订阅,则生产者价格等于消费者价格。

如果在一个主题上有两个消费者群/订阅,那么消费者率是生产者率的两倍。我们试图简化测试,所以我们采用前者,即多个消费者接收关于一个主题的所有消息。

以上内容就是阿帕奇脉冲星和卡夫卡延迟比较的测试过程是怎样的。你学到什么知识或技能了吗?如果你想学习更多的技能或丰富你的知识,请关注行业信息渠道。

内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/146802.html

(0)

相关推荐

  • 如何用Python帮你打码

    技术如何用Python帮你打码这期内容当中小编将会给大家带来有关如何用Python帮你打码,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。引言所谓的像素图,就是对图像做一个颗粒化的效果,

    攻略 2021年10月25日
  • word怎么看字数,没有word,怎样查文章字数

    技术word怎么看字数,没有word,怎样查文章字数安装一个UltraEdit之类的文本编辑工具,这类的软件可以被看作是记事本的加强版,但可以拥有比记事本更强得功能。比如你的问题,用UltraEdit统计字数的话,可以使

    生活 2021年10月26日
  • MYSQL中COLLATE有什么用

    技术MYSQL中COLLATE有什么用这篇文章给大家分享的是有关MYSQL中COLLATE有什么用的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。 MYSQL中的CO

    攻略 2021年10月27日
  • 圆锥体积计算公式,圆柱圆锥全部公式有哪些

    技术圆锥体积计算公式,圆柱圆锥全部公式有哪些1、圆锥的表面积侧面积公式设圆锥的高为h,设圆锥的表面积为st圆锥体积计算公式,侧面积为sc,侧面积(也就是扇形的面积)可以用以下公式计算:表面积等于侧面积与底面圆面积的和,也

    生活 2021年10月29日
  • 什么是进程间通信

    技术什么是进程间通信这篇文章主要介绍“什么是进程间通信”,在日常操作中,相信很多人在什么是进程间通信问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”什么是进程间通信”的疑惑有所帮助!接下来,

    攻略 2021年10月23日
  • mysql删库语句怎么写

    技术mysql删库语句怎么写这篇文章主要介绍mysql删库语句怎么写,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完! mysql删库语句是“DROP DATABASE [

    攻略 2021年12月9日