Senior+/TeamLead DataOps

Грейд: Senior+/TeamLead

Локация: РФ/РБ

Период: 6+ месяцев

Сфера: Производство (Табачная компания)

Важно

• Paimon
• Iceberg
• Spark/Flink
• ClickHouse

Задачи

• Поддержка и развитие CI/CD пайплайнов для data-инфраструктуры.
• Организация и сопровождение Kubernetes-кластера: деплойменты, helm-чарты.
• Настройка и поддержка инфраструктуры для работы с DWH, Lakehouse и Streamhouse.
• Поддержка и администрирование вычислительных движков: Trino, Flink, StarRocks, Spark.
• Работа с системами хранения: Apache Iceberg, Paimon, Parquet, ORC, S3 (MinIO).
• Настройка CDC-процессов для сбора и синхронизации данных.
• Мониторинг и логирование сервисов, устранение инцидентов.
• Автоматизация рутинных задач, связанных с управлением экспериментальными окружениями (20+ машин).
• Взаимодействие с data-инженерами и аналитиками для обеспечения стабильности и прозрачности процессов.

Требования

• Опыт работы с Kubernetes: деплойменты, helm.
• Опыт работы с системами CI/CD.
• Опыт администрирования и настройки вычислительных фреймворков (Spark, Flink или аналоги).
• Опыт работы с хранилищами данных (Iceberg, Paimon или схожие).
• Опыт работы с S3-совместимыми системами хранения (MinIO или AWS S3).
• Навыки автоматизации (Bash, Python, Groovy и др.).
• Знание Git, опыт работы с GitLab/Jira/Confluence.
• Понимание принципов DWH и потоковой обработки данных.
• Английский на уровне чтения технической документации.

Будет плюсом

• Опыт настройки CDC (Change Data Capture).
• Знание Terraform или Ansible.
• Опыт работы с Trino, StarRocks.
• Опыт в построении Lakehouse/Streamhouse архитектур.
• Знание особенностей работы с Big Data-стеком.

Skills

• Paimon
• Iceberg
• Spark
• Flink
• ClickHouse
• Kubernetes
• CI/CD
• Trino
• StarRocks
• S3
• MinIO
• Bash
• Python
• Groovy
• Git