Техлид (старший разработчик) ядра Spark over YT

YT — основная платформа для аналитики и построения batch-процессов в Яндексе, которая включает несколько видов хранилищ, планировщик ресурсов и встроенный MapReduce-движок. Apache Spark — популярный открытый фреймворк для распределённой обработки больших данных.

Мы интегрируем Spark и YT с 2020 года и уже рассказывали об этом на конференции Highload++ 2021. Сейчас Spark-over-YT используют десятки инженеров данных Яндекса. Мы ищем сильного разработчика, которому интересно заниматься распределёнными системами и инфраструктурой обработки больших данных.

Наш стек:

• Spark Core на Scala;
• YT на C++;
• клиентские библиотеки на Java и Python.

Примеры задач:

• улучшить интеграцию Spark и планировщика YT, автоскейлинг;
• оптимизировать data-path — код чтения и записи в YT;
• оптимизировать shuffle: развернуть shuffle-service или сделать свой, интегрированный с YT.

• работать над Spark Core: дорабатывать его для наших нужд, внедрять свой код в upstream, следить за новыми версиями;
• разрабатывать новые функции на стыке Spark и YT;
• консультировать пользователей, устранять баги;
• рассказывать о своих успехах на конференциях.

• уверенно пишете на Scala или Java не меньше трёх лет;
• готовы учить другие языки;
• понимаете принципы обработки больших данных, парадигму MapReduce и её наследников.

• работали с Apache Spark;
• знаете C++ или Python;
• интересуетесь распределёнными системами;
• хорошо знаете Hadoop Stack (особенно HDFS, YARN).

• сильная команда, с которой можно расти;
• сложные задачи для сервисов с миллионами пользователей;
• возможность влиять на процесс и результат;
• зарплата на уровне рынка и выше;
• премии каждые полгода для всех, кто работает эффективно;
• ипотечные программы под 3% на 10 лет или без процентов на 3 года;
• компенсация питания;
• расширенная программа ДМС: оплата 80% стоимости ДМС для супругов и детей;
• спортзал, тренажёрный зал, йога в офисе;
• гибкий график.