Data Engineer, Подготовка офлайн-факторов ранжирования

Компания: OZON

Примеры задач

-Подготовка витрин и датасетов для команд, аналитики, DS и ML.

-Оптимизация Spark-задач, SQL-запросов и процессов поставки данных. Настройка регулярных процессов подготовки витрин данных и контроль их качества.

-Разбор инцидентов в процессах подготовки витрин и повышение их надежности.

Нам важно

-Опыт разработки пайплайнов обработки данных от 2х лет.

-Уверенное владение Python и SQL.

-Опыт работы с PySpark/Spark или готовность быстро погрузиться.

-Опыт работы с Airflow или другими системами оркестрации обработки данных. Умение разбираться в существующем коде и улучшать его качество. Внимательность к надежности, производительности и мониторингу.

IT Jobs в Telegram () | в VK () | в Max ()

Навыки

• Python
• SQL
• PySpark
• Spark
• Airflow