Data Engineer

Задачи

-Разработка ETL-пайплайнов (Apache Spark on java, HDFS (parquets), ClickHouse, Hive, Greenplum);

-Разработка витрин данных в Greenplum и ClickHouse;

-Оркестрация ETL-процессов;

-Оптимизация ETL-процессов (батчинг, ретраи, SLA-контроль);

-Взаимодействие с BI-разработчиками и DevOps для своевременной доставки данных в Superset.

Ожидаем от Вас

-Глубокий экспертный опыт работы с Apache Spark от 4-5 лет (оптимизация джобов, работа с широкими и узкими зависимостями, настройка памяти и shuffle-операций);

-Опыт работы с ClickHouse;

-Опыт работы с Hadoop (HDFS, Hive);

-Опыт проектирования и разработки потоков данных, алгоритмов загрузки и обработки данных;

-Опыт оптимизации ETL-пайплайнов и SQL кода;

-Продвинутые знания SQL;

-Готовность осваивать Java для использования Spark.

Мы предлагаем

-Работу в аккредитованной IT-компании;

-Формат работы: офис/гибрид (г. Москва/Нижний Новгород/Санкт-Петербург);

-Гибкое начало рабочего дня: с 08:00 до 11:00 (по МСК);

-ДМС со стоматологией, телемедициной и полисом ВЗР;

-Возможность взять больничный без больничного: 7 дней в году;

-Поэтапную адаптацию от hr и линейного руководителя;

-Ревью и развитие: оцениваем результаты, обсуждаем карьерные цели и выстраиваем индивидуальный план развития;

-IT-конференции, курсы, тренинги и сертификации за счет компании;

-Корпоративный английский;

-Развитие личного бренда: готовим спикеров к выступлениям на конференциях, помогаем в написании статей;

-Внутренние митапы, онлайн/офлайн активности (квизы, вечера настольных игр, спортивные мероприятия).

IT Jobs в Telegram () | в VK (https://vk.com/job_for_programmers) | в Max (https://max.ru/devs_it)

Навыки

• Apache Spark
• Java
• HDFS
• Parquet
• ClickHouse
• Hive
• Greenplum
• SQL
• ETL
• Superset