Как способ хранения данных (по строкам vs по колонкам) влияет на производительность агрегаций?

Физическая организация данных напрямую влияет на производительность аналитики.

Определение

• Строчное хранение — данные одной записи хранятся вместе.

• Колоночное хранение — значения одной колонки хранятся подряд.

Влияние на агрегации

Агрегации обычно:

• используют небольшое число колонок,

• обрабатывают большое число строк.

Поведение при разных типах хранения

1. По строкам

   • считываются все поля,

   • лишние данные нагружают память и кэш.

2. По колонкам

   • читаются только нужные столбцы,

   • лучше используется кэш процессора.

Практические примеры

• OLTP системы — чаще строчное хранение,

• OLAP системы — чаще колоночное хранение.

Вывод

Колоночное хранение значительно ускоряет агрегации за счёт уменьшения объёма считываемых данных и лучшей локальности памяти.