Data Engineer (Python + Spark)
X5 TechМосква1 июля
О вакансии
Разработка и оптимизация end-to-end пайплайнов обработки данных из различных источников (онлайн и оффлайн-продажи, ERP, внешние API) для подготовки данных к моделям машинного обучения. Обработка 200+ млн строк ежедневно с использованием Spark, настройка DWH, автоматизация интеграции данных
Требования
- Разработка и оптимизация Spark-пайплайнов для обработки данных в масштабе (200+ млн строк ежедневно)
- Настройка хранения и доступности данных в DWH
- Автоматизация интеграции данных из разных источников
- Работа в связке с Data Science-командой
- Участие в развитии платформы прогнозирования спроса
- Опыт с PySpark, Spark SQL, Hadoop, Hive, Trino, S3, ClickHouse, PostgreSQL, Greenplum
- Знание Airflow, Python3, Docker, YARN/K8s
- Опыт с pytest
Источник: Telegram-канал Python Job | Вакансии | Стажировки
Контакт работодателя скрыт
Зарегистрируйтесь и загрузите резюме — откроется прямой контакт по этой вакансии и персональная подборка похожих из сотен Telegram-каналов. Первые 3 дня бесплатно, без карты.
Получить контакт работодателя