Как распределяются сообщения между consumer’ами?

Question

Сообщения распределяются между consumer’ами через partition’ы. Каждый partition назначается ровно одному consumer’у внутри consumer group. Consumer читает все сообщения из своих partition’ов последовательно. Kafka не распределяет отдельные сообщения между consumer’ами напрямую. Распределение происходит на уровне partition’ов.

YeaHub · Accepted Answer

Общая идеяKafka распределяет нагрузку не по сообщениям, а по partition’ам. Это фундаментальный принцип архитектуры Kafka.Consumer GroupConsumer Group — это набор consumer’ов, которые совместно читают один или несколько topic’ов.Основные правила:Один partition → один consumer в группеОдин consumer может читать несколько partition’овСообщения из partition читаются последовательноКак происходит распределениеПроцесс выглядит так:Consumer’ы объединяются в группуKafka определяет список partition’ов topic’аPartition’ы распределяются между consumer’амиВажное ограничениеKafka никогда:не делит один partition между несколькими consumer’амине балансирует нагрузку на уровне отдельных сообщенийПримерЕсли:topic имеет 4 partition’аconsumer group состоит из 2 consumer’овТо:каждый consumer получит по 2 partition’аобработка будет идти параллельноКраткий выводРаспределение сообщений в Kafka происходит через назначение partition’ов consumer’ам внутри группы, что упрощает модель обработки и гарантирует порядок сообщений.