Data Engineer в Корпоративное хранилище

Компания: Wildberries

Что нужно делать

-Обеспечивать стабильную, производительную и безопасную работу Data Platfrorm на базе Trino, Spark, S3 и Apache Iceberg, включая администрирование и управление ролевой моделью доступа, документирование изменений в проекте

-Настраивать, обновлять, мониторить и тюнить кластера Trino

-Настраивать коннекторы (Iceberg, S3)

-Оптимизировать производительность запросов (resource groups, query analysis)

-Оптимизировать производительность Iceberg (partitioning, clustering, metadata management)

-Разрабатывать и внедрять централизованные ролевые модели для доступа к данным и ресурсам платформы

Какой опыт и знания нужны

-Обладаете пониманием взаимодействия Spark с Iceberg и S3

-Имеете опыт эксплуатации Apache Iceberg (администрирование таблиц в формате Iceberg, настройка и использование Hive Metastore)

-Обладаете пониманием и применением: compaction, expiration snapshots, time travel, schema evolution

-Имеете навыки Linux, Bash, Python для автоматизации

-Обладаете опытом управления политиками доступа и правами доступа через Ranger в S3 и Iceberg

-Имеете опыт разработки и внедрения централизованной ролевой модели для доступа к данным и ресурсам платформы

-Иметь опыт администрирования Greenplum или ClickHouse (установка, настройка, оптимизация, интеграция с S3/Iceberg).

IT Jobs в Telegram () | в VK (https://vk.com/job_for_programmers) | в Max (https://max.ru/devs_it)

Навыки

• Trino
• Spark
• S3
• Apache Iceberg
• Hive Metastore
• Ranger
• Linux
• Bash
• Python
• Greenplum
• ClickHouse