Обязанности

Задачи: 1.
Участие в формировании и согласование архитектуры системы обработки и обмена данными 2.
Выбор и тестирование различных инструментов для повышения качества и скорости обработки данных 3.
Разработка процедур сбора данных из различных источников (файлы, базы данных, очереди, веб-сервисы, API) 4.
Разработка процессов загрузки и трансформации данных в хранилище 5.
Разработка процедур обновления витрин 6.
Настройка и поддержка оркестрации процессов, алертинг результатов выполнения процессов.
7.
Разработка процессов сбора метрик качества данных.
8.
Разработка интеграционных процессов с внешними системами.
9.
Оптимизация производительности загрузки и чтения данных 10.
Разработка кубов для Self-service аналитики

Требования

Высшее образование Опыт работы ETL-разработчиком, дата инженером от 1-го года Практический опыт работы с реляционными СУБД в рамках промышленной эксплуатации (как минимум одна из: Oracle, MS SQL, PostgreSQL) Отличное знание SQL (запросы, оптимизация запросов, анализ производительности запросов, преобразование данных, работы с аналитическими функциями) Наличие опыта разработки ETL-процессов, настройки пайплайнов, навыки оптимизации скорости загрузки Наличие опыта работы с Airflow или другим оркестратором процессов.
Знание общих принципов организации процесса разработки, тестирования и сопровождения ПО (DevOps), опыт работы с Git Желательно наличие опыта работы с Clickhouse Знание методологий и принципов разработки хранилищ: Kimball, Data Vault, слои данных.