Старший Python-разработчик

Вакансия Старший Python-разработчик, Стенды метрик

УдаленноПолная занятость

ЗП обсуждается на собеседовании

В компанию Ozon

Стек технологий

• Airflow — для управления графами вычислений, обработка данных происходит в Apache Spark. Данные для расчётов берутся из HDFS, куда они агрегируются из разных источников: ClickHouse, PostgreSQL, Vertica. Рассчитанные метрики сохраняются в БД и отдаются наружу с помощью сервисов на Go.

Задачи

• Разрабатывать автоматизированную платформу расчета метрик и статистических тестов для всего Ozon.
• Создавать и поддерживать различные платформенные инструменты для улучшения всего процесса проведения A/B-тестов.
• Искать пути оптимизации текущих решений для поддержания постоянного и стабильного масштабирования системы и эффективного использования вычислительных ресурсов.
• Развивать существующую архитектуру по интеграции новых источников данных от внешних команд.

Требования

• Опыт разработки на Python от 2-х лет.
• Опыт работы с Spark/Pyspark/Hadoop.
• Понимание принципов обработки больших данных.
• Знакомство с логическими моделями хранения данных, понимание зачем они нужны.

Skills

• Python
• Airflow
• Apache Spark
• HDFS
• ClickHouse
• PostgreSQL
• Vertica
• Go
• Hadoop
• PySpark