京东智联云消息队列 Kafka版 性能测试

1. 测试环境概述

• 测试目标：

  1. 当分区数、消息长度大小等参数变化时，对生产、消费吞吐量的影响。
  2. 测试不同实例规格下kafka生产、消费的性能。

• 测试环境：

  1. 所有测试均在华北-北京，可用区A完成
  2. 测试用的云主机规格：8C32GB
  3. 测试用的云主机镜像：CentOS 7.6 64位
  4. 测试用的消息队列Kafka版本：1.0.1

• 测试实例规格：云盘类型：性能型云盘

  节点规格	云盘大小	节点数
  2C8G	500	3
  4C16G	500	6
  8C32G	500	10
  16C32G	500	15

2. 测试工具介绍

• 使用Kafka官方提供的测试测试脚本bin/kafka-producer-perf-test.sh 和bin/kafka-consumer-perf-test.sh进行测试，通过该工具可以对生产者性能和消费者性能进行测试，主要输出4项指标，总共发送消息量（以MB为单位），每秒发送消息量（MB/second），发送消息总数，每秒发送消息数（records/second）

• 测试工具参数说明

  1. 生产者性能测试脚本：kafka-producer-perf-test.sh

	$ bin/kafka-producer-perf-test.sh --num-records 50000000 --topic perfTest --throughput -1 --producer-props bootstrap.servers=server:9092 acks=1
 
	topic：发送的主题
	num-records：总共需要发送的消息数
	record-size：每个消息的字节数
	throughput：每秒钟发送的消息数
    acks：应答方式

	$ bin/kafka-consumer-perf-test.sh --bootstrap-server=server:9092 --group auto02 --topic testAAA --messages 1000 fetch-size  1024
	
	topic：消费的主题
	messages：消费的消息总数
	group：消费组名称
    fetch-size：拉取消息大小

3. 测试步骤

3.1 server端实例与主题准备

• 准备kakfa实例和主题
  1. 在控制台创建kafka实例，操作方法：https://docs.jdcloud.com/cn/jcs-for-kafka/create-kafka
  2. 在控制台创建topic，操作方法：https://docs.jdcloud.com/cn/jcs-for-kafka/kafka-manager

3.2 client端测试脚本准备

• 使用云主机安装kafka：
  1. 申请与被kafka测实例在同一个vpc下的云主机：申请地址 https://console.jdcloud.com
  2. 下载测试脚本，直接下载：curl -L -O https://archive.apache.org/dist/kafka/1.0.1/kafka_2.11-1.0.1.tgz;或者下载后上传至云主机，下载地址：http://kafka.apache.org/downloads
  3. 安装并解压$tar zxvf kafka_2.11-1.0.1.tgz
  4. 安装jvm

3.3 测试脚本准备

1. 进入kafka客户端安装路径下 $cd ../kafka_2.11-1.0.1
2. 编辑测试脚本,命名为 producerPerfTest.sh，内容如下。请根据实际场景修改脚本中主题、消息大小、接入地址等信息。

#!/bin/bash

case $1 in
"start"){
for ((i=1;i<=$2;i++));
do
logfile=myout${i}
echo "********$logfile********"
bin/kafka-producer-perf-test.sh --num-records 50000000 --topic perfTest --record-size 1000 --throughput -1 --producer-props bootstrap.servers=server:9092 acks=1 >${logfile} 2>&1 &
done
};;

"stop"){
producer_id=ps -ef | grep producer | grep -v "grep" | awk '{print $2}'
echo ${producer_id}
for id in ${producer_id}
do
kill $id
echo "killed $id"
done
};;

esac

3.4 执行测试并记录结果

• 生产性能测试：
  1. 执行生产测试$ sh producerPerfTest.sh start 3，开始进行发送消息的压力测试，命令中入参代表生产者个数。
  2. 终止所有生产测试线程$ sh producerPerfTest.sh stop  
  3. 测试结果记录在文件myout${i}中，记录每秒发送消息数量、每秒发送消息大小、平均响应时间、最大相应时间等信息。
• 消费性能测试：
  1. 执行消费测试$ bin/kafka-consumer-perf-test.sh --bootstrap-server server:9092 --group sc --topic topicPerfTest --messages 1000000 --fetch-size 1024,请根据实际场景修改脚本中主题、消息大小、接入地址等信息。
  2. 测试结果将直接打印在控制台，记录每秒拉取消息数量、每秒拉取消息大小等信息。

4. 测试结果

4.1 Producer Only

4.1.1 生产参数对吞吐量的影响，以下测试均在2c8g的kafka实例上进行测试

1. messageSize vs Throughput

• 结论：消息越长，每秒所能发送的消息数越少，而每秒所能发送的消息的量（MB）越大

1. Producer Number vs Throughput

• 结论：随着Producer个数的提升，每秒总共发送的消息量线性提升

3. Partition Number vs Throughput

• 结论：当Partition数量为Broker数量整数倍时吞吐量明显比其它情况高

4.1.2 不同实例规格下、生产不同长度的消息，kafka生产性能测试

• 根据上述参数调优测试，采用以下参数进行测试：

partition = nodeNum * 2
producer = nodeNum
acks = 1
replication = 1
num-records = 10000000

2. 4c16g 6节点 —— benchmark=6，partitons=12

3. 8c32g 10节点 —— benchmark=10，partitons=20

4. 16c64g 15节点 —— benchmark=15，partitons=30

• 结果汇总图：每秒发送消息量（MB/s）

• 结果汇总图：每秒发送消息条数（reconds/s）

4.2 consumer Only

4.2.1 消费参数对吞吐量的影响，以下测试均在4c16g的kafka实例上进行测试

1. messages vs Throughput

4.2.2 不同实例规格下、拉取不同长度的消息，kafka消费性能测试

• 采用以下参数进行测试：

partition = nodeNum * 2
messages  = 1000000
messageSize = 1000

1. 2c8g 3节点

2. 4c16g 6节点

3. 8c32g 10节点

4. 16c64g 15节点

• 结果汇总图：每秒接收消息量（MB/s）