Тимлид команды дата-инженеров в Маркет

Мы команда инженеров данных, и наш продукт — Data Warehouse, хранилище данных, которое мы строим для нужд бизнес-подразделений. Наши пользователи — как руководители Маркета, которым нужна отчётность для принятия решений, так и эксперты в области глубокого анализа данных. Технологически ядро хранилища построено на системах хранения данных Yandex Tables (Hadoop собственной разработки), Greenplum и СlickHouse. Разработка процессов ETL идёт на собственном фреймворке, который создан внутри Яндекса. Для организации модели хранения данных на разных уровнях применяются подходы от Data Lake до Data Vault.

Наше хранилище данных сейчас одно из самых крупных в России. К нему предъявляются высокие требования по надёжности, и это ставит перед нашей командой далеко не тривиальные задачи, для которых нет готовых решений.

• Руководить командой дата-инженеров от трёх человек
• Формировать пакет технических инициатив и управлять им
• Выявлять неэффективность в существующих процессах и оптимизировать их
• Проектировать структуру хранения данных
• Участвовать в развитии фреймворка поставки данных
• Сопровождать разработанные процессы ETL
• Участвовать в найме сотрудников в команду

• Уверенно знаете Python на уровне написания собственного фреймворка и SQL на уровне оптимизации запросов
• Знаете основные алгоритмы и структуры данных, особенно используемые в работе с большими данными
• Проектировали DWH: слои, модели хранения данных, процессы ETL

• Понимаете принципы работы хотя бы одной технологии распределённой обработки данных: Hadoop, MapReduce, ClickHouse, Greenplum, MPP
• Имеете опыт промышленной разработки на одном из языков высокого уровня: Java или C++
• Умеете работать в командной строке систем Unix-like: Linux, macOS

• Работу в технологической компании, которая создаёт полезные сервисы для миллионов людей
• Высокую скорость процессов и возможность быстро увидеть результат
• Профессиональную команду, у которой можно многому научиться и перенять опыт
• Культуру открытости и взаимопомощи: у нас работают увлечённые люди, неравнодушные к тому, что они делают
• Современный офис, в котором есть вся необходимая инфраструктура для комфортной работы и отдыха
• Официальное трудоустройство, компенсацию затрат на питание на территории кампуса и в его окрестностях
• Гибкий график: мы не контролируем ваше время, главное — выполнять задачи