Разработчик интеграции Apache Spark с YTsaurus

Откликнуться

Привет! Я Саша Токарев, руковожу командой разработки интеграции Apache Spark с YTsaurus (проект SPYT). Мы ищем опытного Spark-разработчика, который станет частью нашей команды и будет вместе с нами развивать проект. Гарантируем большой объём сложных, но интересных и нетривиальных задач!

Саша Токарев

Ведущий разработчик группы разработки SPYT

YT (YTsaurus) — это основная платформа для аналитики и построения batch-процессов в Яндексе, которая включает несколько видов хранилищ, планировщик ресурсов и встроенный MapReduce-движок. Apache Spark — популярный открытый фреймворк для распределённой обработки больших объёмов данных.

Уже больше 5 лет мы занимаемся интеграцией Spark с YTsaurus в рамках проекта SPYT. За это время Spark стал одним из основных аналитических инструментов для работы с данными, которые хранятся в YTsaurus и используются как внутри Яндекса, так и внешними пользователями. Исходный код SPYT доступен в опенсорсе в репозитории. За последние годы мы несколько раз рассказывали про наш проект на конференциях:

— Как подключить к Apache Spark проприетарный источник данных
— Помогаем планировщику Apache Spark быть ещё эффективнее
— Внедряем Spark SQL в массы

Перед нами стоят всё более интересные и амбициозные задачи, и мы ищем сильного разработчика, который станет частью нашей команды.

Какие задачи вас ждут

Поддержка всех современных версий Spark
Сам Spark продолжает активно развиваться, поэтому необходимо поддерживать нашу интеграцию в соответствии со всей новой функциональностью, реализуемой в основном фреймворке. Например, нужно будет сделать поддержку Java 17 и Java 21, а также интегрировать со Spark Connect, появившемся в Spark 3.4.0.

Развитие интеграции Spark и YTsaurus
Мы работаем над созданием собственного внешнего shuffle-сервиса и хотим его интегрировать для использования в Spark-расчётах. Кроме того, повышаем эффективность выполнения задач Spark в YTsaurus, развивая более тесную интеграцию с хранилищем данных и планировщиков задач.

Продвижение опенсорс-проекта
C 2023 года код YTsaurus, в том числе и SPYT, доступен в открытом доступе, поэтому мы активно работаем над развитием внешнего комьюнити вокруг проекта.

Мы ждем, что вы

Работали с Apache Spark не менее трёх лет
Умеете разрабатывать на Java и Python, также желательно знать Scala
Понимаете принципы распределённого хранения и обработки больших объёмов данных

Будет плюсом, если вы

Работали с Hadoop-стеком (HDFS, YARN)
Работали с Docker и Kubernetes
Принимали участие в работе над опенсорс-проектом
Знаете C++ или Go

Что мы предлагаем

Здоровье

Рост и развитие

Спорт

И ещё

Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят стоматология, ежегодные чекапы, неотложная помощь за рубежом, лечение критических заболеваний, в том числе онкологии, и страхование от несчастных случаев.

А также:

психотерапия в офисе или онлайн-сервисах;
лазерная коррекция зрения через год работы;
ведение беременности и роды — через два года.

Страховка для родственников по системе 80/20

Мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные 20%.

В Яндексе есть всё, чтобы постоянно развиваться и учиться новому: внутренняя образовательная платформа, менторство и программы для начинающих и опытных руководителей.

Также мы оплачиваем участие в профильных конференциях — как в качестве спикера, так и в качестве участника.

Кроме того, в Яндексе есть внутренние проекты, где наши сотрудники делятся экспертизой, обсуждают сложные темы и разбирают кейсы своих проектов.

Во всех крупных офисах Яндекса есть спортзалы со всем необходимым: тренажёрами, спортивным инвентарём, душевыми, шкафчиками для одежды и вещей.

Можете заниматься самостоятельно, а можете с корпоративным тренером.

А также скидки в фитнес-клубах, бассейнах, студиях йоги, скалодромах и других местах.

Спортивный клуб Яндекса

В Яндексе есть спортивный клуб и много спортивных команд. У них есть свои лидеры, чаты, программы тренировок. А ещё они регулярно участвуют в забегах, триатлонах, «Гонке героев», футбольных и других соревнованиях.

Вы сможете присоединиться к существующим командам или собрать свою.

Гибкий график

У нас нет фиксированного времени начала и конца рабочего дня — работайте так, как удобно вам и вашей команде.

Жилищные займы

Льготная ставка на покупку жилья и улучшение жилищных условий — в зависимости от стажа, позиции и результатов ревью. Действует для сотрудников, работающих в российских офисах Яндекса.

Всё для детей

Страхование, детские дни в офисе, подарки на рождение детей и чекапы при планировании беременности.

Больше о нашей команде

Мы искренне увлечены большими распределёнными системами и сложными техническими задачами. Многие из нас имеют академический опыт и до сих пор активно преподают — в МФТИ, ВШЭ, ШАД и других вузах. Несколько человек занимали призовые места в соревнованиях по спортивному программированию.

В команде сохраняется дух стартапа: дружно общаемся в рабочее и нерабочее время, вместе штурмуем задачи, экспериментируем и участвуем в CTF.

Работаем в Москве, Белграде, Ереване, Минске и других локациях, в том числе удалённо.

Все интересные вам вакансии в одном профиле

Войти и откликнуться

Разработчик интеграции Apache Spark с YTsaurus

Саша Токарев

Какие задачи вас ждут

Мы ждем, что вы

Будет плюсом, если вы

Что мы предлагаем

А также:

Страховка для родственников по системе 80/20

Спортивный клуб Яндекса

Гибкий график

Жилищные займы

Всё для детей

Больше о нашей команде

Разработчик интеграции Apache Spark с YTsaurus

Саша Токарев

Какие задачи вас ждут

Мы ждем, что вы

Будет плюсом, если вы

Что мы предлагаем

А также:

Страховка для родственников по системе 80/20

Спортивный клуб Яндекса

Гибкий график

Жилищные займы

Всё для детей

Больше о нашей команде

© 2004–2026 ООО «ЯНДЕКС»Владелец ресурса ООО «Айди Тех»

© 2004–2026 ООО «ЯНДЕКС»
Владелец ресурса ООО «Айди Тех»