Инженер данных

Обязанности

• Развивать новое корпоративное хранилище данных на ClickHouse.
• Проектировать архитектуру таблиц, слоев данных и витрин.Подключать новые источники данных.Актуализировать загрузки при изменениях в существующих источниках.
• Разрабатывать и поддерживать ETL/ELT-процессы в Airflow.
• Использовать dbt для хранения логики трансформаций, документации и воспроизводимости КХД.
• Создавать витрины данных для BI-дашбордов в DataLens.
• Поддерживать существующие пайплайны и витрины и оптимизировать SQL-запросы и существующие скрипты.
• Настраивать проверки качества данных, алерты и мониторинг. Работать с проблемами дублей, NULL, расхождений между источниками, ошибок в справочниках и задержек загрузок.
• Вести документацию по структуре и содержимому данных в КХД.
• Взаимодействовать с аналитиками, backend-разработчиками и DevOps.

Требования

• Релевантный опыт работы Data Engineer / Analytics Engineer / SQL Developer от 3-х лет.
• Уверенное владение SQL, понимание особенностей строчных и колоночных баз данных.
• Знание Python на уровне pandas/скриптов.
• Опыт оптимизации ClickHouse под BI-нагрузку.
• Знание основ математической статистики.
• Умение самостоятельно разбираться в бизнес-процессе, искать слабые стороны и придумывать решения.

Квалификация

• -