Our Telegram channel:@careers_digital
RUEN
Back

Data Engineer / Technical Lead

RussiaLead

Требования

  • Опыт участия в проектах миграции ETL-систем (Apache стек);
  • Опыт разработки на Python (написание ETL-скриптов, работа с pandas, интеграция с API);
  • Опыт написания и отладки DAG'ов в Apache Airflow (не только проектирование, но и разработка);
  • Опыт работы с PySpark (трансформации, оптимизация, партиционирование);
  • Опыт миграции ETL-процессов с Informatica PowerCenter на открытый стек (Airflow + Greenplum);
  • Глубокое практическое знание NiFi и Airflow: проектирование потоков, подключение источников, обработка ошибок, мониторинг, отладка;
  • Опыт работы с качеством данных: разработка правил валидации, анализ влияния на бизнес-процессы;
  • Понимание архитектурных подходов к проектированию хранилищ, различие ETL и ELT;
  • Опыт работы с Hive metastore (устройство, хранение на PostgreSQL) и форматами файлов (Parquet, ORC);
  • Опыт работы с Оracle;
  • Опыт применения сложных SQL-запросов (оконные функции, джоины);
  • Умение оптимизировать запросы для highload-среды;
  • Опыт проектирования интеграций Apache-стека с Kafka и BI-системами;
  • Опыт настройки потоковой обработки данных;
  • Опыт работы с Hadoop и Hive (знание версий, источников данных);
  • Опыт работы с PostgreSQL, Greenplum, Clickhouse;
  • Опыт работы с Grafana/Prometheus для отслеживания ETL-процессов;
  • Опыт работы с биллингом;
  • Опыт автоматической валидации и контроля качества данных после миграции (сравнение результатов, метрики);

Желательно

  • Опыт в системном анализе ETL;
  • Опыт TeamLead (управление командой) не менее 4 лет;
  • Умение переводить бизнес-требования в технические спецификации;
  • Опыт подготовки документации для пользователей и разработчиков;
  • Опыт создания ER-диаграмм, инструкций, тест-кейсов.

Skills

Updated January 21, 1970

More jobs

Similar jobs

  • Автоматизатор тестирования на Python
    Firecode

    Вакансия AQA Python УдаленноПолная занятость от 170 000 до 190 000 р. на руки (ИП) В компанию Firecode #auto Описание вакансии FIRECODE - компания,…

    MiddleRemoteFull-time
    170k–190k ₽/motoday
  • Senior QA Automation Engineer
    Scalable SolutionsGeorgia

    Удаленно вне РФ, РБПолная занятость до 6000 USD В компанию Scalable Solutions #auto Описание вакансии Scalable Solutions — международная продуктовая…

    SeniorHybridFull-time
    up to 6k $/motoday
  • Инженер по нагрузочному тестированию ПО
    CrowdTesting

    Удаленно в РФ, РБПолная занятость от 120 000 до 140 000 р. на руки В компанию CrowdTesting #manual Проект крупнейшего российского банка. Требования –…

    MiddleRemoteFull-time
    120k–140k ₽/motoday
Data Engineer / Technical Lead | ccwork