Привет! Меня зовут Саша, я руководитель команды DMP Маркета. Мы разрабатываем различные инструменты для дата-инженеров и аналитиков данных.
Перед нами стоят амбициозные цели: оптимизировать потребление вычислительных ресурсов на 20% CPU (а это тысячи ядер), внедрять новые технологии и распространять наши инструменты на весь Яндекс. Если вы талантливый разработчик и готовы принять вызов — присоединяйтесь к нам!
DMP Маркета — платформа для обработки данных хранилища. Мы создаём инструменты для DWH, BI и аналитиков данных и стремимся сделать их работу максимально удобной и эффективной. Наша команда из 6 человек участвует в разнообразных проектах — от доработки движка MapReduce до использования LLM для генерации нейминга полей в хранилище. Мы ценим гибкость и умение взаимодействовать с заказчиками.
Какие задачи вас ждут
Развитие инфраструктуры
При обработке больших данных остро встаёт проблема производительности HDD. Для уменьшения нагрузки на диски необходимо доработать основной MapReduce-инструмент для обработки и анализа данных — YQL (Yandex Query Language), чтобы данные между нодами расчёта передавались через хранилище в RAM.
При обработке больших данных остро встаёт проблема производительности HDD. Для уменьшения нагрузки на диски необходимо доработать основной MapReduce-инструмент для обработки и анализа данных — YQL (Yandex Query Language), чтобы данные между нодами расчёта передавались через хранилище в RAM.
Разработка ETL-инструментов, которыми пользуется весь Яндекс
Нашими инструментами пользуются не только в Маркете, но и в различных подразделениях Яндекса — например, в сервисе кеширования результатов SQL-запросов при использовании BI-инструмента DataLens. Данным сервисом пользуются во всём Яндексе. Только в Маркете количество пользователей более 1500.
Улучшение пользовательского опыта и эффективности
Наши пользователи — это дата-инженеры и аналитики, взаимодействующие с различными продуктовыми данными. Для них мы создаём инструменты, которые увеличивают эффективность их работы и упрощают использование инфраструктурных сервисов. Вам предстоит создавать бесшовные интеграции с инструментами из других частей Яндекса, участвовать в проектах улучшения эффективности и стабильности, используя в том числе технологии LLM.
Мы ждем, что вы
- Отлично знаете Python
- Знаете базовые принципы и паттерны проектирования ПО
- Стремитесь писать код, который легко читать и поддерживать
- Работали с заказчиками (собирали требования, вели проекты)
Будет плюсом, если вы
- Разрабатывали на C++, Java
- Работали с MPP-хранилищами (Greenplum, ClickHouse и другими)
- Знакомы с LLM и используете модели в работе, разрабатывали на основе GPT свои инструменты
- Знаете слои DWH, модели хранения данных и процессы ETL
- Понимаете принципы работы технологий распределённой обработки данных (Spark, Spark Streaming, Flink, MapReduce)
Что мы предлагаем
1
Здоровье
2
Рост и развитие
3
Спорт
4
И ещё
Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят стоматология, ежегодные чекапы, неотложная помощь за рубежом, лечение критических заболеваний, в том числе онкологии, и страхование от несчастных случаев.
А также:
- психотерапия в офисе или онлайн-сервисах;
- лазерная коррекция зрения через год работы;
- ведение беременности и роды — через два года.
Страховка для родственников по системе 80/20
Мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные 20%.
В Яндексе есть всё, чтобы постоянно развиваться и учиться новому: внутренняя образовательная платформа, менторство и программы для начинающих и опытных руководителей.
Также мы оплачиваем участие в профильных конференциях — как в качестве спикера, так и в качестве участника.
Кроме того, в Яндексе есть внутренние проекты, где наши сотрудники делятся экспертизой, обсуждают сложные темы и разбирают кейсы своих проектов.
Во всех крупных офисах Яндекса есть спортзалы со всем необходимым: тренажёрами, спортивным инвентарём, душевыми, шкафчиками для одежды и вещей.
Можете заниматься самостоятельно, а можете с корпоративным тренером.
А также скидки в фитнес-клубах, бассейнах, студиях йоги, скалодромах и других местах.
Спортивный клуб Яндекса
В Яндексе есть спортивный клуб и много спортивных команд. У них есть свои лидеры, чаты, программы тренировок. А ещё они регулярно участвуют в забегах, триатлонах, «Гонке героев», футбольных и других соревнованиях.
Вы сможете присоединиться к существующим командам или собрать свою.
Гибкий график
У нас нет фиксированного времени начала и конца рабочего дня — работайте так, как удобно вам и вашей команде.
Жилищные займы
Льготная ставка на покупку жилья и улучшение жилищных условий — в зависимости от стажа, позиции и результатов ревью. Действует для сотрудников, работающих в российских офисах Яндекса.
Всё для детей
Страхование, детские дни в офисе, подарки на рождение детей и чекапы при планировании беременности.
Больше о нашей команде
Узнайте больше про разработку городских сервисов Яндекса на dev.go.yandex
Все интересные вам вакансии в одном профиле
Войти и откликнуться
