Senior Data Engineer
Удалённо30 июня
О вакансии
Разработка и поддержка интеграционных потоков и витрин данных на современном стеке Lakehouse (Trino, Iceberg, S3, Spark, Airflow). Опыт с высоконагруженными потоками данных (миллиарды записей), разработка системного дизайна сложных решений, оптимизация производительности
Требования
- Опыт с Greenplum, Trino, Apache Airflow, ClickHouse, Spark
- Знание Python и Java
- Опыт SQL (индексы, функции, оптимизация, профилирование)
- Разработка на Spark и понимание Lakehouse архитектуры
- Опыт с dbt и Cosmos
- Знание Hadoop экосистемы (Yarn, Ranger, Zookeeper, Hive metastore)
- Работа с S3/minio хранилищами
- Опыт форматов данных: Iceberg, Parquet, Avro
- Разработка near-realtime потоков (Flink, Debezium)
- Опыт нетиповых интеграций, включая SAP
- Оптимизация высоконагруженных потоков с Observability инструментами (Grafana, Victoria Metrics, Zabbix)
- Опыт с Git и системами управления документацией
Источник: Telegram-канал Вакансии IT . Рекрутер Шатило Вероника
Контакт работодателя скрыт
Зарегистрируйтесь и загрузите резюме — откроется прямой контакт по этой вакансии и персональная подборка похожих из сотен Telegram-каналов. Первые 3 дня бесплатно, без карты.
Получить контакт работодателя