Apache Kafka 是一个分布式流处理平台，主题（Topic）和分区（Partition）是其核心概念。管理 Kafka 主题与分区对于数据分发和处理至关重要。以下是 Kafka 主题与分区管理的详细解释和操作方法。
主题是 Kafka 数据的分类单位。每条消息都会被发布到一个特定的主题。
每个主题可以分为多个分区，分区是 Kafka 的并行单位。每个分区是一个有序的、不可变的消息序列，并且每个消息在分区中都有一个唯一的偏移量（offset）。
可以通过 Kafka 提供的命令行工具 kafka-topics.sh 来创建主题。以下是一个创建主题的示例：
kafka-topics.sh --create --topic my-topic --bootstrap-server localhost:9092 --partitions 3 --replication-factor 2
--create：表示创建主题。--topic my-topic：指定主题名称。--bootstrap-server localhost:9092：Kafka 服务器地址。--partitions 3：指定主题的分区数。--replication-factor 2：指定副本因子，即每个分区的副本数量。
可以查看当前 Kafka 集群中主题的信息：
kafka-topics.sh --describe --topic my-topic --bootstrap-server localhost:9092这将显示主题 my-topic 的详细信息，包括分区、副本和 ISR（正在同步的副本）等。
Kafka 允许在创建主题后增加分区数量，但不允许减少分区数量。增加分区可以通过以下命令实现：
kafka-topics.sh --alter --topic my-topic --bootstrap-server localhost:9092 --partitions 5这将把 my-topic 的分区数从 3 增加到 5。请注意，增加分区不会重新平衡现有消息，只会为新消息提供更多分区。
如果需要删除主题，可以使用以下命令：
kafka-topics.sh --delete --topic my-topic --bootstrap-server localhost:9092删除主题将删除所有与该主题相关的数据。
每个分区可以有多个副本，分布在不同的 Kafka 代理上，以提供容错能力。分配副本时，Kafka 尽量将副本分布到不同的代理上，以确保高可用性。
可以使用 kafka-reassign-partitions.sh 工具重新分配分区。首先创建一个分配计划文件 reassignment.json：
{
"version": 1,
"partitions": [
{
"topic": "my-topic",
"partition": 0,
"replicas": [1, 2],
"log_dirs": ["any", "any"]
},
{
"topic": "my-topic",
"partition": 1,
"replicas": [2, 3],
"log_dirs": ["any", "any"]
},
{
"topic": "my-topic",
"partition": 2,
"replicas": [3, 1],
"log_dirs": ["any", "any"]
}
]
}
然后执行以下命令来进行分区重新分配：
kafka-reassign-partitions.sh --bootstrap-server localhost:9092 --reassignment-json-file reassignment.json --execute
Kafka 允许动态更新主题的配置，例如修改日志保留时间、压缩类型等。可以使用以下命令来修改主题配置：
kafka-configs.sh --alter --entity-type topics --entity-name my-topic --add-config retention.ms=604800000 --bootstrap-server localhost:9092这个命令将 my-topic 的日志保留时间设置为 7 天（604800000 毫秒）。
管理 Kafka 主题和分区是保证 Kafka 集群高效运行的重要环节。通过合理配置主题和分区，可以优化 Kafka 的性能和容错能力。常用的管理操作包括创建主题、查看主题信息、修改分区、删除主题、分区重新分配和动态更新主题配置。这些操作可以通过 Kafka 提供的命令行工具来完成。