Data Engineering

2 подписчика
Предложить статью
Сложность
Easy Medium Hard
Тестирование данных и схем: Data Contracts, property-based-тесты и защита от порчи данных в пайплайнах
Иван Клименко Иван Клименко
28.05.2026
Тестирование данных и схем: Data Contracts, property-based-тесты и защита от порчи данных в пайплайнах Как связать Data Engineering и Data Quality в современных российских реалиях
Data Engineering
Hard
29 минут
29 мин
524
524
Как готовить из сырых хитовых данных Google Analytics 4
Павел Беляев Павел Беляев
25.12.2024
Как готовить из сырых хитовых данных Google Analytics 4 Нам потребуются: стриминг данных из Google Analytics, источник сессий и источник события
Data Engineering
Hard
36 минут
36 мин
978
978
Как обновлять витрины данных в ClickHouse по партициям
Павел Беляев Павел Беляев
04.12.2024
Как обновлять витрины данных в ClickHouse по партициям Ускоряем выполнение запросов в больших таблицах и одновременно снижаем потребление ресурсов
Data Engineering
Hard
6 минут
6 мин
2.2к
2.2к
Как мы тестируем витрины данных
Павел Беляев Павел Беляев
05.06.2024
Как мы тестируем витрины данных Рассказываю, как мы в eLama проверяем витрины на лишние, пропущенные и ошибочные значения
Data Engineering
Hard
24 минуты
24 мин
4.9к
4.9к
Прогнозатор «Ванга»: как мы автоматизировали предсказание будущего
Павел Беляев Павел Беляев
06.05.2024
Прогнозатор «Ванга»: как мы автоматизировали предсказание будущего Показываю, как выстраивали процесс прогнозирования, и делюсь кодом для вызова «предсказателя»
Data Engineering
Hard
7 минут
7 мин
1.1к
1.1к
Управление метаданными в BigQuery через Google Sheets
Павел Беляев Павел Беляев
29.04.2024
Управление метаданными в BigQuery через Google Sheets Обновляем витрины данных и их метаданные по списку
Data Engineering
Hard
7 минут
7 мин
1.2к
1.2к