Привет! Я Саша Токарев, руковожу командой разработки интеграции Apache Spark с YTsaurus (проект SPYT). Мы ищем опытного Spark-разработчика, который станет частью нашей команды и будет вместе с нами развивать проект. Гарантируем большой объём сложных, но интересных и нетривиальных задач!
YT (YTsaurus) — это основная платформа для аналитики и построения batch-процессов в Яндексе, которая включает несколько видов хранилищ, планировщик ресурсов и встроенный MapReduce-движок. Apache Spark — популярный открытый фреймворк для распределённой обработки больших объёмов данных.
Уже больше 5 лет мы занимаемся интеграцией Spark с YTsaurus в рамках проекта SPYT. За это время Spark стал одним из основных аналитических инструментов для работы с данными, которые хранятся в YTsaurus и используются как внутри Яндекса, так и внешними пользователями. Исходный код SPYT доступен в опенсорсе в репозитории. За последние годы мы несколько раз рассказывали про наш проект на конференциях:
— Как подключить к Apache Spark проприетарный источник данных — Помогаем планировщику Apache Spark быть ещё эффективнее — Внедряем Spark SQL в массы
Перед нами стоят всё более интересные и амбициозные задачи, и мы ищем сильного разработчика, который станет частью нашей команды.
Какие задачи вас ждут
Поддержка всех современных версий Spark
Сам Spark продолжает активно развиваться, поэтому необходимо поддерживать нашу интеграцию в соответствии со всей новой функциональностью, реализуемой в основном фреймворке. Например, нужно будет сделать поддержку Java 17 и Java 21, а также интегрировать со Spark Connect, появившемся в Spark 3.4.0.
Развитие интеграции Spark и YTsaurus Мы работаем над созданием собственного внешнего shuffle-сервиса и хотим его интегрировать для использования в Spark-расчётах. Кроме того, повышаем эффективность выполнения задач Spark в YTsaurus, развивая более тесную интеграцию с хранилищем данных и планировщиков задач.
Продвижение опенсорс-проекта C 2023 года код YTsaurus, в том числе и SPYT, доступен в открытом доступе, поэтому мы активно работаем над развитием внешнего комьюнити вокруг проекта.
Мы ждем, что вы
- Работали с Apache Spark не менее трёх лет
- Умеете разрабатывать на Java и Python, также желательно знать Scala
- Понимаете принципы распределённого хранения и обработки больших объёмов данных
Будет плюсом, если вы
- Работали с Hadoop-стеком (HDFS, YARN)
- Работали с Docker и Kubernetes
- Принимали участие в работе над опенсорс-проектом
- Знаете C++ или Go
Что мы предлагаем
1
Здоровье
2
Рост и развитие
3
Спорт
4
И ещё
Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят стоматология, ежегодные чекапы, неотложная помощь за рубежом, лечение критических заболеваний, в том числе онкологии, и страхование от несчастных случаев.
А также:
- психотерапия в офисе или онлайн-сервисах;
- лазерная коррекция зрения через год работы;
- ведение беременности и роды — через два года.
Страховка для родственников по системе 80/20
Мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные 20%.
В Яндексе есть всё, чтобы постоянно развиваться и учиться новому: внутренняя образовательная платформа, менторство и программы для начинающих и опытных руководителей.
Также мы оплачиваем участие в профильных конференциях — как в качестве спикера, так и в качестве участника.
Кроме того, в Яндексе есть внутренние проекты, где наши сотрудники делятся экспертизой, обсуждают сложные темы и разбирают кейсы своих проектов.
Во всех крупных офисах Яндекса есть спортзалы со всем необходимым: тренажёрами, спортивным инвентарём, душевыми, шкафчиками для одежды и вещей.
Можете заниматься самостоятельно, а можете с корпоративным тренером.
А также:
- бесплатные онлайн-тренировки с FITMOST;
- скидки в фитнес-клубах, бассейнах, студиях йоги, скалодромах и других местах.
Спортивный клуб Яндекса
В Яндексе есть спортивный клуб и много спортивных команд. У них есть свои лидеры, чаты, программы тренировок. А ещё они регулярно участвуют в забегах, триатлонах, «Гонке героев», футбольных и других соревнованиях.
Вы сможете присоединиться к существующим командам или собрать свою.
Гибкий график
У нас нет фиксированного времени начала и конца рабочего дня — работайте так, как удобно вам и вашей команде.
Жилищные займы
Льготная ставка на покупку жилья и улучшение жилищных условий — в зависимости от стажа, позиции и результатов ревью. Действует для сотрудников, работающих в российских офисах Яндекса.
Всё для детей
Страхование, детские дни в офисе, подарки на рождение детей и чекапы при планировании беременности.
Больше о нашей команде
Мы искренне увлечены большими распределёнными системами и сложными техническими задачами. Многие из нас имеют академический опыт и до сих пор активно преподают — в МФТИ, ВШЭ, ШАД и других вузах. Несколько человек занимали призовые места в соревнованиях по спортивному программированию.
В команде сохраняется дух стартапа: дружно общаемся в рабочее и нерабочее время, вместе штурмуем задачи, экспериментируем и участвуем в CTF.
Работаем в Москве, Белграде, Ереване, Минске и других локациях, в том числе удалённо.
Спасибо за отклик!
Мы свяжемся с вами в течение недели.
