React Frontend Developer

Question 1

Какие проблемы с пагинацией через LIMIT OFFSET?

Accepted Answer

Пагинация через LIMIT OFFSET может быть неэффективной на больших смещениях, потому что база данных должна пропустить OFFSET строк перед возвратом результата, что требует времени и ресурсов. Кроме того, при изменении данных (добавлении/удалении) между запросами могут возникать пропущенные или дублированные строки.

Question 2

Что такое курсорная пагинация и чем она лучше OFFSET?

Accepted Answer

Курсорная пагинация — это метод пагинации, где вместо смещения (OFFSET) используется условие на основе значения последней строки предыдущей страницы (например, WHERE id > last_id). Она лучше OFFSET, потому что работает быстрее (не требует пропуска строк) и обеспечивает согласованность при изменении данных.

Question 3

Как правильно делать пагинацию в Postgres, чтобы избежать проблемы с OFFSET при больших данных?

Accepted Answer

OFFSET медленный, потому что Postgres всё равно сканирует строки до смещения. Решение — keyset pagination (по ключу): использовать WHERE id > last_id ORDER BY id LIMIT N.

Question 4

Что такое offset и как он используется консьюмерами?

Accepted Answer

Offset — это порядковый номер сообщения внутри партиции. Консьюмеры используют offset, чтобы понимать, какие сообщения уже обработаны. Kafka не хранит «состояние очереди», а полагается на offsets. Каждый consumer group хранит offsets независимо. Благодаря этому сообщения можно перечитывать и обрабатывать повторно.

Question 5

Что такое offset?

Accepted Answer

Offset — это порядковый номер сообщения внутри partition’а. Он однозначно идентифицирует позицию сообщения. Consumer использует offset, чтобы понимать, какие сообщения уже прочитаны. Offset увеличивается последовательно. Управление offset’ами позволяет возобновлять чтение после сбоев.

Question 6

Где хранятся offset’ы consumer-групп?

Accepted Answer

Offset’ы consumer-групп хранятся в специальном внутреннем топике Kafka. Этот топик называется __consumer_offsets. Kafka сама управляет его репликацией и надёжностью. Consumer периодически коммитит offset’ы в этот топик. Благодаря этому прогресс чтения сохраняется даже при сбоях.

Question 7

Что произойдёт, если consumer Kafka упадёт после обработки сообщения, но до коммита offset?

Accepted Answer

Сообщение будет считано повторно после перезапуска consumer’а. Это классическое поведение “at least once”, поэтому обработчик должен быть идемпотентным.

Question 8

Что делают LIMIT и OFFSET?

Accepted Answer

LIMIT ограничивает количество возвращаемых строк, а OFFSET пропускает заданное число строк перед началом выборки. Они часто используются для реализации пагинации. Например, LIMIT 10 OFFSET 20 вернет 10 строк, начиная с 21-й. Однако при больших OFFSET производительность может ухудшаться.

Вопросы React Frontend Developer