Какие форматы данных можно использовать в Kafka?

Форматы данных в Kafka

Kafka не накладывает ограничений на формат данных — она хранит и передаёт сообщения как массивы байтов. Это означает, что вы можете использовать любой формат сериализации, который преобразует объекты в байты и обратно. Однако на практике выбор формата влияет на производительность, совместимость и удобство разработки.

Популярные форматы

• JSON — человекочитаемый, простой в отладке, но неэффективный по размеру и не поддерживает схемы. Подходит для небольших проектов или прототипов.
• Avro — компактный бинарный формат с поддержкой схем. Использует Schema Registry для управления версиями схем. Идеален для продакшена, где важна совместимость.
• Protobuf — бинарный формат от Google, также со схемами. Быстрее Avro по скорости сериализации, но менее гибок в эволюции схем.
• String — простой текстовый формат, часто используется для логов или простых уведомлений.

Пример сериализации с Avro

// Определение схемы Avro
{
  "type": "record",
  "name": "User",
  "fields": [
    {"name": "id", "type": "int"},
    {"name": "name", "type": "string"}
  ]
}

// Отправка сообщения (Java)
ProducerRecord<String, GenericRecord> record = new ProducerRecord<>("users", avroUser);
producer.send(record);

Вывод

Выбор формата зависит от требований к производительности, совместимости и сложности данных. Для продакшен-систем с высокой нагрузкой и необходимостью эволюции схем рекомендуется Avro или Protobuf с Schema Registry. JSON подходит для простых сценариев или когда важна читаемость.