Data Engineer

Москва

Компания: Облако.ру

ОБЯЗАННОСТИ

-Проектирование и развитие data-пайплайнов для обработки событий кибербезопасности;

-Нормализация и обогащение событий безопасности;

-Проектирование и оптимизация аналитического хранилища данных (ClickHouse / StarRocks / аналоги);

-Подготовка витрин данных под быстрые запросы и аналитику;

-Эксплуатация data сервисов в Kubernetes: деплой, ресурсы, отказоустойчивость, масштабирование;

-Обеспечение наблюдаемости и качества данных (метрики, алерты, replay/backfill);

-Участие в разборе инцидентов и оптимизации производительности data платформы.

ТРЕБОВАНИЯ

-Опыт построения с нуля DWH или Data lake.

-Опыт построения и эксплуатации data pipelines (ETL, ELT и/или streaming) в production среде;

-Уверенный SQL, включая оптимизацию запросов и анализ производительности;

-Опыт работы с OLAP-СУБД (ClickHouse/StarRocks/Druid/Pinot или аналоги);

-Понимание принципов потоковой обработки данных (идемпотентность, дедупликация, обработка ошибок);

-Опыт проектирования и оптимизации витрин и схем хранения данных;

-Уверенные знания Kubernetes и опыт эксплуатации сервисов в production среде;

-Понимание принципов надежности, масштабирования и наблюдаемости data систем.

Подписаться на наши каналы () /

Навыки

• ClickHouse
• StarRocks
• Kubernetes
• SQL
• ETL
• ELT
• Streaming
• DWH
• Data Lake
• OLAP