Офер за 2 дня в команду DWH Яндекс Маркета
Яндекс Маркет
Технологически ядро хранилища построено на системах хранения данных YTsaurus и ClickHouse. Разработка процессов ETL идёт на собственном фреймворке, который создан внутри Яндекса. Наше хранилище данных сейчас одно из самых крупных в России — порядка 30 петабайт, и с учётом темпов роста бизнеса оно будет самым большим. Стоит отметить, что к нему предъявляются высокие требования по надёжности, что ставит перед нашей командой далеко не тривиальные задачи, для которых нет готовых решений.
Делаем витрины данных для офлайн-процессов Маркета.
Ключевые задачи:
-
анализ качества стока по продажам (залежавшийся, плохо продаваемый, ходовой сток);
-
расчёт метрик курьерской платформы и собственной службы доставки маркетплейса;
-
расчёт метрик качества сервиса поставщиков;
-
метрики складских операций, анализ офлайн-процессов на складах и межскладских перемещений;
-
анализ качества работы службы поддержки маркетплейса.
Собираем и готовим данные, которые участвуют в построении управленческой финансовой отчётности для топ-менеджмента, в анализе финансовой эффективности, а также в планировании и контроле доходов и расходов компании.
Ключевые задачи:
-
предоставление данных для закрытия управленческой и финансовой отчётности;
-
формирование финансовых источников данных для анализа бизнеса;
-
предоставление информации для инвентаризации товара на складах;
-
консультирование по финансовым данным;
-
предоставление данных для аудита.
Создаём и развиваем витрины данных для анализа взаимодействия пользователей с сервисами Маркета и эффективности работы с продавцами, а также для монетизации сервисов.
Ключевые задачи:
-
обработка лога клиентских заказов, сбор детальной информации по каждому купленному товару на Маркете, по всему жизненному циклу заказа — от создания до доставки пользователю;
-
обработка логов событий о взаимодействии пользователя с сайтом и мобильным приложением (просмотры, клики, переходы и так далее);
-
обработка и сбор данных о продавцах на Маркете.
Ознакомиться с примерами задач прошедших соревнований можно здесь.
-
Коммерческий опыт в дата-инженерии от 2 лет.
-
Владение Python на уровне написания собственного фреймворка.
-
Знание SQL на уровне оптимизации запросов.
-
Знание основных алгоритмов и структур данных, особенно используемых в области работы с большими данными.
Будет плюсом:
-
Проектирование DWH: слои, модели хранения данных, процессы ETL.
-
Понимание принципов работы хотя бы одной технологии распределённой обработки данных: Hadoop, ClickHouse.
- Алгоритмическая секция. Предлагаем решить одну задачу с использованием базовых алгоритмов и структур данных в редакторе с подсветкой кода. Задача не требует знания конкретных известных алгоритмов или редких структур данных, но вам поможет подготовиться практика на LeetCode (уровень easy/medium, например). Ждём, что вы сможете придумать алгоритм, который позволяет решить эту задачу и написать код, реализующий придуманный алгоритм. Для написания кода можно использовать любой язык программирования.
- Архитектура. Попросим вас проработать архитектуру хранилища или архитектуру аналитической системы. Ожидаем, что за отведённое время мы сможем обсудить, как может быть реализован сервис, услышим аргументы, почему выбраны конкретные решения, и сможем погрузиться в детали реализации.
В воскресенье вы сможете познакомиться и пообщаться с руководителями команд.
-
Как решать алгоритмические секции: помощь разработчикам, собеседующимся в Яндекс. Часть 1
-
Как решать алгоритмические секции: помощь разработчикам, собеседующимся в Яндекс. Часть 2
-
Филипп Козьмин: «YTsaurus — это будущее DWH, и в Яндекс Маркете оно наступило»
-
Примеры алгоритмических задач (выбирайте уровень easy, medium) и задач по БД: LeetCode, статья на Tproger, оконные функции и self join
-
Как проходят архитектурные секции собеседования в Яндексе: практика дизайна распределённых систем
-
Статья What Is Advanced SQL?
-
Курс Advanced SQL? на Kaggle
-
HackerRank: 15 days of learning SQL, Interviews, Placements
-
Книга Cracking the Coding Interview, Gayle Laakmann McDowell
-
Книга Introduction to Algorithms, Thomas H. Cormen
