Data Engineering

1 подписчик
Предложить статью
Сложность
Easy Medium Hard
Как готовить из сырых хитовых данных Google Analytics 4
Павел Беляев Павел Беляев
25.12.2024
Как готовить из сырых хитовых данных Google Analytics 4 Нам потребуются: стриминг данных из Google Analytics, источник сессий и источник события
Data Engineering
Hard
36 минут
36 мин
245
245
Как обновлять витрины данных в ClickHouse по партициям
Павел Беляев Павел Беляев
04.12.2024
Как обновлять витрины данных в ClickHouse по партициям Ускоряем выполнение запросов в больших таблицах и одновременно снижаем потребление ресурсов
Data Engineering
Hard
6 минут
6 мин
488
488
ClickHouse vs BigQuery: 4 отличия в SQL
Павел Беляев Павел Беляев
03.09.2024
ClickHouse vs BigQuery: 4 отличия в SQL Сравниваю популярные СУБД, чтобы вам не пришлось разбираться в отличиях самим
Data Engineering
Medium
24 минуты
24 мин
678
678
CI/CD для представлений BigQuery
Павел Беляев Павел Беляев
18.06.2024
CI/CD для представлений BigQuery Наш вариант синхронизации кода в репозитории с кодом в аналитическом хранилище
Data Engineering
Medium
6 минут
6 мин
4.6к
4.6к
Как мы тестируем витрины данных
Павел Беляев Павел Беляев
05.06.2024
Как мы тестируем витрины данных Рассказываю, как мы в eLama проверяем витрины на лишние, пропущенные и ошибочные значения
Data Engineering
Hard
24 минуты
24 мин
1.9к
1.9к
Прогнозатор «Ванга»: как мы автоматизировали предсказание будущего
Павел Беляев Павел Беляев
06.05.2024
Прогнозатор «Ванга»: как мы автоматизировали предсказание будущего Показываю, как выстраивали процесс прогнозирования, и делюсь кодом для вызова «предсказателя»
Data Engineering
Hard
7 минут
7 мин
444
444
Управление метаданными в BigQuery через Google Sheets
Павел Беляев Павел Беляев
29.04.2024
Управление метаданными в BigQuery через Google Sheets Обновляем витрины данных и их метаданные по списку
Data Engineering
Hard
7 минут
7 мин
565
565
Как мы упростили работу с данными с помощью пайплайна: пошаговый план
Руслан Шкарин Руслан Шкарин
23.02.2024
Как мы упростили работу с данными с помощью пайплайна: пошаговый план Рассказываю, как мы создавали пайплайн для сбора и анализа логов системы в реальном времени.
Data Engineering
Medium
6 минут
6 мин
1.3к
1.3к