Data Engineer / Technical Lead

РоссияLead

Требования

Опыт участия в проектах миграции ETL-систем (Apache стек);
Опыт разработки на Python (написание ETL-скриптов, работа с pandas, интеграция с API);
Опыт написания и отладки DAG'ов в Apache Airflow (не только проектирование, но и разработка);
Опыт работы с PySpark (трансформации, оптимизация, партиционирование);
Опыт миграции ETL-процессов с Informatica PowerCenter на открытый стек (Airflow + Greenplum);
Глубокое практическое знание NiFi и Airflow: проектирование потоков, подключение источников, обработка ошибок, мониторинг, отладка;
Опыт работы с качеством данных: разработка правил валидации, анализ влияния на бизнес-процессы;
Понимание архитектурных подходов к проектированию хранилищ, различие ETL и ELT;
Опыт работы с Hive metastore (устройство, хранение на PostgreSQL) и форматами файлов (Parquet, ORC);
Опыт работы с Оracle;
Опыт применения сложных SQL-запросов (оконные функции, джоины);
Умение оптимизировать запросы для highload-среды;
Опыт проектирования интеграций Apache-стека с Kafka и BI-системами;
Опыт настройки потоковой обработки данных;
Опыт работы с Hadoop и Hive (знание версий, источников данных);
Опыт работы с PostgreSQL, Greenplum, Clickhouse;
Опыт работы с Grafana/Prometheus для отслеживания ETL-процессов;
Опыт работы с биллингом;
Опыт автоматической валидации и контроля качества данных после миграции (сравнение результатов, метрики);

Желательно

Опыт в системном анализе ETL;
Опыт TeamLead (управление командой) не менее 4 лет;
Умение переводить бизнес-требования в технические спецификации;
Опыт подготовки документации для пользователей и разработчиков;
Опыт создания ER-диаграмм, инструкций, тест-кейсов.

Навыки

Обновлено 13 августа

Data Engineer / Technical Lead

Требования

Желательно

Навыки

Ещё вакансии

Похожие вакансии