Команда YTsaurus
Команда
Мы искренне увлечены большими распределёнными системами и сложными техническими задачами. Многие из нас имеют академический опыт и до сих пор активно преподают — в МФТИ, ВШЭ, ШАД и других высших учебных заведениях. Несколько человек занимали топовые места в соревнованиях по спортивному программированию.
Мы следим за новостями индустрии и регулярно обсуждаем свежие доклады с VLDB, SIGMOD и CppCon, а иногда и сами выступаем, например на HighLoad++ и Hydra.
В команде сохраняется дух стартапа: дружно общаемся в рабочее и нерабочее время, вместе штурмуем задачи, экспериментируем и участвуем в CTF.
Работаем в Москве, Белграде, Ереване, Минске и других локациях, в том числе удалённо.
Ищем талантливых бэкенд-разработчиков с уверенным знанием структур данных и алгоритмов, а также опытом разработки распределённых систем. Пишем на C++, Java, Scala, Go/Python.
Ключевые разработчики
Максим Бабенко
Работает в Яндексе с 2008 года
Руководитель YTsaurus с основания проекта, технический лидер, архитектор. Занимается развитием мастер-сервера и динамических таблиц платформы. Руководитель программы «Инфраструктура больших данных» в ШАД, кандидат физико-математических наук.
Дмитрий Ермолов
Работает в Яндексе с 2008 года
Руководитель команды разработки SDK на C++, Java, Python, а также адаптации Apache Beam для работы с YTsaurus. Автор эффективного формата для работы со структурированными данными в MapReduce- вычислениях.
Амир Шакуров
Работает в Яндексе с 2012 года
Руководитель разработки мастер-сервера — хранилища метаданных кластера, в том числе дерева DFS, чанкового репликатора, системы разграничения прав доступа и квотирования ресурсов.
Руслан Савченко
Работает в Яндексе с 2014 года
Руководитель разработки динамических таблиц YTsaurus — шардированных key-value-таблиц и очередей с поддержкой распределённых транзакций и межкластерной репликацией. Преподаватель ШАД, автор курсов АКОС и БД.
Павел Сушин
Работает в Яндексе с 2008 года
Руководитель команды эксплуатации, которая занимается автоматизацией в области регламентных операций, деплоя и мониторинга кластеров. Отвечает за механизм запуска пользовательского кода и интеграцию с системами контейнеризации.
Андрей Солозобов
Работает в Яндексе с 2011 года
Руководитель команды разработки систем Nirvana и Reactor, которые позволяют описывать сложные графы обработки данных (в том числе через UI) и запускать их по расписанию и на основе триггеров.
Игнат Колесниченко
Работает в Яндексе с 2009 года
Руководитель разработки планировщика YTsaurus, обеспечивающего распределение ресурсов кластера. Руководитель системы YP — центрального менеджера сервисов во внутреннем облаке Яндекса. Преподаватель ШАД, руководитель научного семинара.
Андрей Ривкин
Работает в Яндексе с 2009 года
Руководитель группы продуктового развития YTsaurus. Руководил проектом по выходу исходного кода платформы в опенсорс, а также участвовал в запуске суперкомпьютеров Яндекса — они тоже управляются платформой YTsaurus.
Максим Бабенко
Работает в Яндексе с 2008 года
Руководитель YTsaurus с основания проекта, технический лидер, архитектор. Занимается развитием мастер-сервера и динамических таблиц платформы. Руководитель программы «Инфраструктура больших данных» в ШАД, кандидат физико-математических наук.
Дмитрий Ермолов
Работает в Яндексе с 2008 года
Руководитель команды разработки SDK на C++, Java, Python, а также адаптации Apache Beam для работы с YTsaurus. Автор эффективного формата для работы со структурированными данными в MapReduce- вычислениях.
Амир Шакуров
Работает в Яндексе с 2012 года
Руководитель разработки мастер-сервера — хранилища метаданных кластера, в том числе дерева DFS, чанкового репликатора, системы разграничения прав доступа и квотирования ресурсов.
Руслан Савченко
Работает в Яндексе с 2014 года
Руководитель разработки динамических таблиц YTsaurus — шардированных key-value-таблиц и очередей с поддержкой распределённых транзакций и межкластерной репликацией. Преподаватель ШАД, автор курсов АКОС и БД.
Павел Сушин
Работает в Яндексе с 2008 года
Руководитель команды эксплуатации, которая занимается автоматизацией в области регламентных операций, деплоя и мониторинга кластеров. Отвечает за механизм запуска пользовательского кода и интеграцию с системами контейнеризации.
Андрей Солозобов
Работает в Яндексе с 2011 года
Руководитель команды разработки систем Nirvana и Reactor, которые позволяют описывать сложные графы обработки данных (в том числе через UI) и запускать их по расписанию и на основе триггеров.
Игнат Колесниченко
Работает в Яндексе с 2009 года
Руководитель разработки планировщика YTsaurus, обеспечивающего распределение ресурсов кластера. Руководитель системы YP — центрального менеджера сервисов во внутреннем облаке Яндекса. Преподаватель ШАД, руководитель научного семинара.
Андрей Ривкин
Работает в Яндексе с 2009 года
Руководитель группы продуктового развития YTsaurus. Руководил проектом по выходу исходного кода платформы в опенсорс, а также участвовал в запуске суперкомпьютеров Яндекса — они тоже управляются платформой YTsaurus.
Технологии
Ядро системы написано на современном С++ с использованием собственной библиотеки асинхронного программирования на основе файберов. Мы не используем boost, но стараемся брать лучшее из кодовых баз таких проектов, как Chromium, LLVM, Folly и Abseil.
Мы поддерживаем и развиваем SDK для работы с YT на различных языках программирования: С++, Java, Golang и Python. Кроме того, мы работаем над более высокоуровневым API на основе Apache Beam.
Для запуска и изоляции пользовательского кода мы используем внутреннюю систему управления контейнерами Porto.
Управление кластерами осуществляется с помощью внутренних систем менеджмента сервисов. Используя их API, мы разрабатываем инструменты для автоматизации регламентных операций на Python и Go. Кроме того, мы разрабатываем собственный оператор для разворачивания YT в Kubernetes.
Кого мы ищем
Старший разработчик YP и YT ORM
Мы ждем, что вы имеете опыт промышленной разработки на C++ и хотите развиваться в этом направлении, а так же уверенно знаете алгоритмы и структуры данных.
Техлид ядра Spark over YT
Мы ждем, что вы уверенно пишете на Scala или Java не меньше трёх лет, готовы учить другие языки, а так же
понимаете принципы обработки больших данных, парадигму MapReduce и её наследников
Разработчик на Go или Python в YT
Мы ждем, что вы умеете программировать на Go и/или Python, не боитесь работать в консоли и читать логи,
работали с распределёнными хранилищами и системами обработки данных или хотите получить такой опыт.
Разработчик динамических таблиц на C++
Мы ждем, что вы хорошо владеете С++ и
уверенно знаете структуры данных и алгоритмов.
Будет плюсом, если вы знаете устройство одной из СУБД.
Процесс разработки
Планирование и распределение задач внутри команды происходит в свободной форме, мы работаем гибко, не привязываясь к методологиям. Задачи возникают не только как фичреквесты от пользователей, но часто внутри команды, в ответ на требования производительности, опыт эксплуатации и сравнение с конкурентами.
Мы практикуем обязательное code review, и тщательно следим за соблюдением единого стиля и подходов к разработке. Используем различные виды автотестов — юнит-тестирование, интеграционное тестирование, тестирование с использованием синтетической нагрузки и fault injection на тестовом окружении.
В Яндексе развёрнуто более 15 YT-кластеров, которые мы эксплуатируем и предоставляем другим командам as a service. В эксплуатации кластеров участвуют все разработчики: выкатывают релизы и хотфиксы, настраивают мониторинги, занимаются траблшутингом и помогают пользователям.
