Data Engineer (junior+)

Описание

• Оркестрация процессов: Разработка, поддержка и оптимизация DAG-ов в Apache Airflow. Создание динамических дагов, управление зависимостями и SLA;
• Архитектура и моделирование DWH: Проектирование слоев хранилища. Выбор методологий моделирования применительно к колоночной СУБД;
• Разработка в ClickHouse: Создание и поддержка сложных витрин данных. Активное использование Materialized Views для предварительной агрегации данных;
• Оптимизация производительности: Глубокий тюнинг движков таблиц (MergeTree Family), настройка ключей сортировки (Primary/Sorting keys), сэмплирования и TTL. Работа с проекциями и вторичными индексами;
• Обеспечение качества данных: внедрение проверок на всех этапах пайплайна, мониторинг свежести и корректности данных.

Требования:

• Стек баз данных: Глубокое знание SQL и опыт работы с ClickHouse (понимание архитектуры, шардирования/репликации). Опыт работы с транзакционными БД: PostgreSQL, MSSQL, Oracle;
• SQL: Виртуозное владение SQL (оконные функции, массивы, работа с JSON, оптимизация query plan);
• Концепции проектирования: Понимание общих концепций работы БД (нормальные формы, SCD, звезды/снежинки/DV/Anchor);
• Python: Уверенное владение языком (OOP, requests, pandas/numpy, sqlalchemy). Умение писать чистый, тестируемый и поддерживаемый код.

Будет преимуществом:

• Опыт миграции данных из других СУБД (PostgreSQL, Oracle, MSSQL) в ClickHouse;
• Опыт работы с Apache Spark (PySpark);
• Опыт работы с dbt (data build tool) в связке с ClickHouse.

• Трудоустрои ство по ТК РФ, полностью "белая" заработная плата;

• График 5/2, работа по часовому поясу МСК с гибким началом рабочего дня: 9:00 или 10:00;

• Удаленку, при желании - возможность посещать наш уютный офис в Москве;

• Отсутствие бюрократии. Быстрое согласование: коммуникация с

  коллегами в Telegram, митапы в zoom, задачи в Jira, база знании в

  Confluence;

• ДМС после прохождения испытательного срока, включая стоматологию;

• Спорт и крутые корпоративные мероприятия: Гонка героев, сплав в Уфе

  и Карелии, соревнования по футболу, настольному теннису, картингу, беговои клуб и другие.