Data Engineer

Наша продуктовая iGaming компания в поиске Data Engineer в Сербии, готового стать частью нашей команды.

Формат работы: офис

Проект: Хранилище данных для аналитики и Data Science (не облако).

Основная задача на позиции: написание ETL-процедур, слоев, витрин, применение архитектурных подходов.

Другие задачи

Разработка и поддержка витрин данных для аналитики эффективности провайдеров, управления трафиком и портфелем контента.

Построение и сопровождение ETL/ELT-процессов для аналитических продуктов подразделения.

Разработка инфраструктуры для мониторинга ключевых показателей провайдеров, включая алерты и автоматический контроль качества данных.

Поддержка и развитие аналитических сервисов для принятия решений по масштабированию и оптимизации.

Обязательные знания и умения

Опыт работы Data Engineer 1–3 года.

Продвинутый уровень Python: опыт в PySpark и Apache Airflow.

Глубокое знание SQL: умение писать и оптимизировать сложные запросы, проводить review.

Понимание работы СУБД ClickHouse и PostgreSQL, знание их внутренних механизмов и конфигураций.

Опыт работы с большими данными: понимание распределенных систем хранения (S3, HDFS), работа с форматами данных Parquet, Avro; знание методологий моделирования данных.

Интеграция данных из разнообразных источников: навыки получения и обработки данных через JDBC, REST API, Kafka, чтение из файловых систем (JSON, Parquet, S3).

Опыт настройки конвейеров в GitLab CI/CD, контейнеризация приложений с использованием Docker и их оркестрация в Kubernetes.

Настройка и использование Grafana для визуализации метрик и отслеживания состояния систем.

Знание архитектур DWH, опыт проектирования слоев данных и ETL-процессов.

#engineer #serbia

Skills

• Python
• PySpark
• Apache Airflow
• SQL
• ClickHouse
• PostgreSQL
• S3
• HDFS
• Parquet
• Avro
• JDBC
• REST API
• Kafka
• GitLab CI/CD
• Docker