Что ты знаешь о delivery semantics в Kafka?

Question

Delivery semantics описывает гарантии доставки сообщений от producer’а к consumer’у. Kafka поддерживает at most once, at least once и exactly once семантики. Эти режимы отличаются риском потери и дублирования сообщений. Выбор семантики зависит от требований системы. Самая надежная, но сложная — exactly once.

YeaHub · Accepted Answer

ОпределениеDelivery semantics — это набор гарантий, определяющих, сколько раз сообщение будет доставлено consumer’у.At most onceСообщение:может быть потеряноникогда не обрабатывается более одного разаИспользуется, когда потеря допустима и важна скорость.At least onceСообщение:гарантированно будет доставленоможет быть обработано повторноЭто семантика Kafka по умолчанию при стандартной настройке consumer’ов.Exactly onceСообщение:будет обработано ровно один разне теряется и не дублируетсяДостигается за счет:Идемпотентных producer’овТранзакций KafkaКонтроля commit offset’овПрактические ограниченияExactly once:сложнее в настройкеимеет дополнительные накладные расходычаще используется в стриминговых приложенияхКраткий выводKafka поддерживает разные delivery semantics, позволяя выбирать баланс между производительностью и надежностью обработки сообщений.