Главная/Экспертиза/Медиа и аналитика

BI-хранилище и конструктор отчётов

Конвейер обработки десятков миллионов событий в сутки и самостоятельная аналитика для маркетологов без участия инженеров.

Медиа и аналитикаТиповой срок: 4–6 месяцевNDA

Проекты под NDA. Обезличенно: тип задачи, подход, диапазон результата. Названия клиентов и точные цифры не раскрываются.

Контекст

Медиахолдинг или крупный digital с несколькими источниками данных: собственная CMS, веб-аналитика, рекламные кабинеты, CRM. Данные разрознены, единой картины нет.

Проблема

Дата-инженеры тратят недели, чтобы свести данные для одной гипотезы. Реляционная база данных не справляется с объёмами. Решения принимаются «на ощупь».

Ограничения

Рекламные кампании не останавливаются при миграции
Исторические данные за несколько лет нужно перелить без потерь
Бюджет: только open-source, без зарубежных лицензий
Соответствие 152-ФЗ: персональные данные в обезличенном виде
Маркетологи не знают SQL — нужна самостоятельная аналитика

Подход

Конвейер: Kafka → ClickHouse → Apache Superset. Все источники пишут в Kafka, оттуда — в ClickHouse с дедупликацией и агрегацией по часам. Маркетологи работают в Superset: десятки срезов, конструктор отчётов.

Архитектура

Слой сбора

Kafka, несколько брокеров, отдельный поток по каждому источнику.

Слой хранения

ClickHouse, разбиение по дате, резервирование на несколько узлов. Автоматическое удаление старых данных.

Слой преобразования

dbt для моделей, Airflow для оркестрации. Десятки моделей, часть — инкрементальные витрины.

Слой визуализации

Apache Superset с единым входом. Готовые панели для руководства, десятки срезов для маркетологов.

Мониторинг

Grafana + Prometheus + Loki. Оповещения на задержку Kafka и потоков данных, ошибки dbt-моделей.

Ход работ

1
Пилот
Подняли Kafka и ClickHouse, загрузили исторические данные, собрали первую панель.
2
Все источники
Подключили систему управления контентом, веб-аналитику, рекламные кабинеты. Написали модели для основных витрин.
3
Самостоятельная аналитика
Панели в Superset, обучение маркетологов, документация по срезам.
4
Оптимизация
Оптимизировали тяжёлые запросы: отклик упал в разы. Настроили материализованные вью.