• 周六. 10月 8th, 2022

5G编程聚合网

5G时代下一个聚合的编程学习网

热门标签

kafka扩容和分区重新分配

admin

11月 28, 2021

 

扩容:增加机器,例如原来三台服务器的kafka集群增加两台机器成为有五台机器的kafka集群,跟搭建差不多

分区重新分配:在原来机器上的主题分区不会自动均衡到新的机器,需要使用分区重新分配工具来均衡均衡

重新分配官方文档地址:点击打开链接

翻译官方文档中文地址:点击打开链接

上面两个链接中的文档描述的很详细。这里记录一下关键步骤,更主要是总结实际操作过来之后的问题和新的知识理解

主要步骤

1、确定要重启分配分区的主题,新建topics-to-move.json json文件

{
“topics”: [
{“topic”: “foo1”},
{“topic”: “foo2”}
],
“version”:1
}
// foo1 foo2 为要重新分配的主题
2、使用 bin/kafka-reassign-partitions.sh重新分配工具生成分配规则的json语句分配到 5,6机器
bin/kafka-reassign-partitions.sh –zookeeper localhost:2181 –topics-to-move-json-file topics-to-move.json –broker-list “5,6” –generate
3、有分配规则的json语句输出到控制台,复制到新建的json文件expand-cluster-reassignment.json中,例如:
{“version”:1,
“partitions”:[{“topic”:”foo1″,”partition”:0,”replicas”:[5,6]},
{“topic”:”foo1″,”partition”:1,”replicas”:[5,6]},
{“topic”:”foo1″,”partition”:2,”replicas”:[5,6]},
{“topic”:”foo2″,”partition”:0,”replicas”:[5,6]},
{“topic”:”foo2″,”partition”:1,”replicas”:[5,6]},
{“topic”:”foo2″,”partition”:2,”replicas”:[5,6]}]
}

//描述分配之后分区的分布情况
4、执行命令,开始分区重新分配
bin/kafka-reassign-partitions.sh –zookeeper localhost:2181 –reassignment-json-file expand-cluster-reassignment.json –execute
5、验证是否完成
bin/kafka-reassign-partitions.sh –zookeeper localhost:2181 –reassignment-json-file expand-cluster-reassignment.json –verify
//当输出全部都是completed successfully表明移动已经完成.

操作中三个小技巧:
1、可以不需要第一步和第二步,自己手动新建分配的json文件。

2、主题量很多的是就不要一个一个复制粘贴了,用excel的拼接函数,还是很方便

3、最后一步验证中,主题很多的时候,会有很多在为未完成的输出语句夹杂其中。在语句后面加上 | grep -c “progress”就知 道有多少分区还没完成,输出为0的时候就是完成了。

总结和知识点理解

1、kafka新建主题时的分区分配策略:随机选取第一个分区节点,然后往后依次增加。例如第一个分区选取为1,第二个分区就 是2,第三个分区就是3. 1,2,3是brokerid。不会负载均衡,所以要手动重新分配分区操作,尽量均衡。

2、在生产的同时进行数据迁移会出现重复数据。所以迁移的时候避免重复生产数据,应该停止迁移主题的生产。同时消费不 会,同时消费之后出现短暂的leader报错,会自动恢复。

3、新增了broker节点,如果有主题的分区在新增加的节点上,生产和消费的客户端都应该在hosts配置文件中增加新增的 broker节点,否则无法生产消费,但是也不报错。
————————————————
版权声明:本文为CSDN博主「forrest_ou」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/forrest_ou/article/details/79141391

发表回复

您的电子邮箱地址不会被公开。