Data Engineer

Локация Москва

Зрплата от 150 до 170 т.р.

Оформление по ТК РФ

Мы ищем в свою команду инициативного Data Engineer для разработки и поддержания инфраструктуры данных для большого проекта озера данных, включающего себя сложные сценарии приема и обработки данных из разных источников.

Что предстоит

• разработка и поддержание парсеров
• автоматизация обработки и преобразования данных
• отладка и мониторинг конвейеров данных

Технологический стек: Python, PostgreSQL, Dagster, Selenium

Что мы ждем от тебя

• знание основных библиотек Python для работы с данными
• опыт обработки и скрейпинга/парсинга сложных и слабоструктурированных документов в форматах pdf, doc, docx, xls, xlsx
• опыт работы автоматизации конвейеров данных и знание соответствующих программных инструментов
• представление об управлении качеством данных
• представление о возможностях отладки мониторинга
• понимание специфики форматов данных (JSON lines, Parquet, XML, CSV и тд.)
• понимание методов получения и поставки данных (как, например, S3, REST API, SOAP, RPC)
• знание английского языка на уровне, достаточном для чтения технической документации
• знание Git
• готовность осваивать новые технологии и разрабатывать индивидуальные технические решения под поставленные задачи.

Плюсами будут

• опыт работы с данными из открытых источников и понимание их специфики
• опыт долгосрочного поддержания работы парсеров
• опыт работы с библиотеками Python для computer vision

Преимущества проекта

Проект только стартовал — мало легаси, много свободы для экспериментов

Можно влиять на выбор технологий и архитектурных решений

Навыки

• Python
• PostgreSQL
• Dagster
• Selenium
• Git
• JSON
• Parquet
• XML
• CSV
• S3
• REST API
• SOAP
• RPC