Инженер данных DWH в Вертикали

Яндекс Вертикали — это пять крупных продуктов: сервисы Путешествия, Авто.ру, Авто.ру Бизнес, Недвижимость и Аренда.

Наша команда разработки аналитической инфраструктуры занимается полным циклом обработки данных в компании. Цикл включает сбор, хранение, валидацию и комбинирование всех знаний о бизнесе. Ключевое направление нашей деятельности — аналитическое хранилище данных (DWH), которое мы строим для нужд бизнес-подразделений. Наши пользователи — это и продуктовые команды, которым нужна регулярная отчётность для принятия решений, и эксперты в области глубокого анализа данных.

Технологически ядро хранилища построено на системах хранения данных Yandex Tables (кластер MapReduce собственной разработки), СlickHouse и PostgreSQL. Для разработки, оркестрации и мониторинга ETL-процессов используется собственный фреймворк, который разработан внутри Яндекса. Для организации модели хранения данных на разных уровнях применяются различные методологии проектирования хранилищ данных: Lambda-архитектура, Data Lake, Data Vault.

• Разрабатывать и сопровождать ETL-процессы поставки данных
• Проектировать структуру хранения данных в разных слоях хранилища
• Выявлять и оптимизировать неэффективные участки в процессах поставки данных
• Погружаться в данные одной или нескольких прикладных бизнес-областей и становиться в них экспертом

• Разбираетесь в SQL на уровне эксперта
• Занимались промышленной разработкой на одном из языков высокого уровня: Python, Go, Java и т. д.
• Понимаете устройство и архитектуру реляционных баз данных
• Проектировали DWH: слои, модели хранения данных, ETL-процессы
• Разрабатывали ETL-процессы на Apache Airflow
• Знаете основные алгоритмы и структуры данных, особенно используемые в работе с большими данными
• Настраивали поставки данных по API

• Понимаете принципы работы технологий распределённой обработки данных: Hadoop, MapReduce и MPP
• Пользовались хотя бы одной MPP-СУБД: Greenplum, ClickHouse, Vertica, Teradata и т. д.
• Работали с брокерами сообщений: Kafka, RabbitMQ и т. д.
• Умеете работать в командной строке *nix-систем: Linux и macOS

• Конкурентную заработную плату: с удовольствием обсуждаем индивидуальные условия с интересными для нас кандидатами
• Расширенное страхование: ДМС с первого месяца работы с широким покрытием, страхование от несчастных случаев, страхование выезжающих за рубеж, а также возможность застраховать семью с корпоративной скидкой
• Компенсацию оплаты питания, а также завтраки, ланчи и снеки в офисе
• Обучение: внутренняя библиотека, курсы
• Жилищную программу
• Гибкий формат работы: каждый сотрудник сам выбирает комфортный для себя режим — дом, офис или смешанный формат