✅Ищем Sr Data Engineer в команду со сложной технической задачей.
💼Работать предстоит над подсистемой биржевого аналитического продукта, которая называется MDH (Market Data Hub) и отвечает за эффективное хранение и быструю отдачу биржевых данных.
📌Упор - на качество данных, покрытие тестами, визуализацию.
🏅ВАЖНО: должно быть понимание бизнес-сути продукта, то есть фондового рынка и инвестирования.
💻Обязанности:
⚙️Настройка интеграций с источниками данных
⚙️Организация и поддержка работы каталога данных
⚙️Поддержка и помощь в работе с хранилищем данных
⚙️Взаимодействие с командами разработки и аналитики
🎯Требования:
🗂Опыт работы с Apache Airflow в корпоративной среде:
📌Настройка и управление пайплайнами данных.
📌Опыт разработки DAG на Python для автоматизации ETL процессов.
📌Оптимизация и мониторинг выполнения DAG-ов.
🗂Опыт самостоятельной разработки ETL/ELT процессов на основании бизнес-требований. Понимание основных принципов решения задач трансформации данных и интеграции источников данных
🗂Понимание принципов и опыт работы с каталогами данных
🗂Навыки работы с DBT (Data Build Tool):
📌Разработка и поддержка моделей данных с использованием DBT.
📌Интеграция DBT в пайплайны данных для трансформации данных.
📌Понимание процессов версионирования моделей данных.
🗂Понимание принципов построения и работы с потоковыми данными (Kafka, Spark Streaming). Опыт работы с Kafka: развертывание (желательно), настройка/оптимизация/масштабирование (обязательно)
🗂Опыт использования SQL при написании сложных запросов и оптимизация производительности существующих.
🗂Опыт работы с реляционными базами данных (PostgreSQL, MSSQL)
‼️Будет плюсом:
➕Опыт работы с облачными платформами (Yandex.Cloud)
➕Навыки работы с системами контроля версий (Git), настройка CI/CD для дата-процессов
💡Условия:
🧑💻Удаленная работа;
🌎Свободная локация;
🕟Fulltime по МСК +/-2 часа;
🔖Взаимодействие по ИП;
🔋Полная занятость, долгосрочный проект.
Контакт для связи:
👩🏼@ElenaK_it_recruiter