Инженер по данным в автономный транспорт

Яндекс хочет сделать повседневную жизнь людей более безопасной, удобной и комфортной. Мы одними из первых в мире создаём технологии беспилотного управления автомобилем и роботом-доставщиком. Чтобы воплотить это в жизнь, собираем команду увлечённых, умных и целеустремленных профессионалов.

Развитию технологий беспилотного вождения помогает анализ данных, а ему в свою очередь — выстраивание процессов управления данными: одни только сенсоры поставляют нам петабайты данных. Ищем специалистов, которые помогут решать задачи по управлению данными.

Какие задачи вас ждут

Проектирование архитектуры для транспорта и обработки больших данных
Автономный транспорт в результате своей работы создаёт большое количество данных, которые нужно эффективно обрабатывать, хранить и доставлять пользователям в удобном для них формате. Ежемесячно наше хранилище прирастает более чем на 3 Пб только за счёт новых логов.

Одна из задач команды дата-инженеров — строить эффективные пайплайны обработки данных и оптимизировать существующие, следить за качеством полученных данных и сроком их поставки в режиме 9999.

Развитие продуктового DWH по модели Data Vault 2.0
Помимо данных, полученных в результате обработки логов с машин, аналитики также работают с данными от сервисов, которые обеспечивают интеграцию с продуктами партнёров: Такси, Яндекс Еды, Яндекс Лавки и других. Данные из баз сервисов мы захватываем с помощью CDC-трансферов и далее раскладываем в модель Data Vault 2.0 с помощью собственного DMP-фреймворка.

Вам предстоит добавлять данные из новых источников в DWH, проектировать новые и модифицировать существующие витрины данных по запросам команды аналитики, а также разрабатывать решения для отслеживания времени поставки и качества данных.

Участие в инфраструктурных проектах
Мы используем разные решения для хранения данных, выполнения и оркестрации расчётов. С развитием проекта и ростом команды возникает много вызовов в области Data Governance: как правильно ограничить и организовать доступ к данным, как разграничить доступ команд к вычислительным/дисковым ресурсам, как организовать карантин и удаление неиспользуемых данных, как следить за тысячами процессов обработки данных и вовремя заметить сбой.

Мы ждём, что вы

Пишете код на Python
Знаете основные алгоритмы и структуры больших данных
Разрабатывали ETL-процессы
Работали с базами данных SQL и NoSQL
Работали с экосистемой Hadoop или другим MapReduce-стеком
Работали с брокерами сообщений (Kafka, RabbitMQ или аналогами)

Будет плюсом, если вы

Работали с большими объёмами данных
Проектировали или участвовали в проектировании DWH
Работали с YTsaurus/YQL и другими инструментами инфраструктуры Яндекса
Пишете код на С++
Владеете современными инструментами визуализации данных

Что мы предлагаем

Здоровье

Рост и развитие

Спорт

И ещё

Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят стоматология, ежегодные чекапы, неотложная помощь за рубежом, лечение критических заболеваний, в том числе онкологии, и страхование от несчастных случаев.

А также:

психотерапия в офисе или онлайн-сервисах;
лазерная коррекция зрения через год работы;
ведение беременности и роды — через два года.

Страховка для родственников по системе 80/20

Мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные 20%.

В Яндексе есть всё, чтобы постоянно развиваться и учиться новому: внутренняя образовательная платформа, менторство и программы для начинающих и опытных руководителей.

А также:

оплата участия в профильных конференциях;
скидка 50% на изучение иностранных языков.

Кроме того, в Яндексе есть внутренние проекты, где наши сотрудники делятся экспертизой, обсуждают сложные темы и разбирают кейсы своих проектов.

Во всех крупных офисах Яндекса есть спортзалы со всем необходимым: тренажёрами, спортивным инвентарём, душевыми, шкафчиками для одежды и вещей.

Можете заниматься самостоятельно, а можете с корпоративным тренером.

А также:

бесплатные онлайн-тренировки с FITMOST;
скидки в фитнес-клубах, бассейнах, студиях йоги, скалодромах и других местах.

Спортивный клуб Яндекса

В Яндексе есть спортивный клуб и много спортивных команд. У них есть свои лидеры, чаты, программы тренировок. А ещё они регулярно участвуют в забегах, триатлонах, «Гонке героев», футбольных и других соревнованиях.

Вы сможете присоединиться к существующим командам или собрать свою.

Гибкий график

У нас нет фиксированного времени начала и конца рабочего дня — работайте так, как удобно вам и вашей команде.

Жилищные займы

Льготная ставка на покупку жилья и улучшение жилищных условий — в зависимости от стажа, позиции и результатов ревью. Действует для сотрудников, работающих в российских офисах Яндекса.