Привет! Я Руслан Савченко, руководитель разработки динтаблиц YTsaurus. Возможно, мы уже знакомы по курсам в Школе анализа данных (ШАД) или по интенсиву SRE Week. Мы занимаемся разработкой и поддержкой сервиса YTsaurus в Яндексе и стараемся применять в работе лучшие идеи из областей разработки СУБД, распределённых систем и SRE. Для того чтобы одним кластером YTsaurus могли пользоваться все отделы Яндекса, нам нужен разработчик ресурсной модели, которому интересно погружаться в тонкости работы железа и ядра и создавать понятную простую модель разделения ресурсов кластера между пользователями.
Динамические таблицы YTsaurus представляют собой многопользовательское key value storage, одним кластером которого пользуется сразу множество команд Яндекса. Как и любая многопользовательская система, для обеспечения бесперебойной работы YTsaurus предоставляет механизмы изоляции и квотирования ресурсов между пользователями.
Вам предстоит разрабатывать ресурсную модель. Эта система, с одной стороны, позволяет пользователям понятным образом заказывать ресурсы, с другой — обеспечивает достаточно хорошую изоляцию между ними, а с третьей — помогает как можно эффективнее утилизировать железо на кластере.
Разработка ресурсной модели затрагивает сразу несколько областей: системное программирование, SRE и даже комбинаторную оптимизацию. Нужно добавлять новые ресурсы в модель, дорабатывать и придумывать новые механизмы изоляции и решать задачу упаковки на кластере. Несмотря на то что мы полагаемся на существующую систему облачных контейнеров и их планировщик, при наших объёмах кластеров приходится достаточно аккуратно под них подстраиваться.
Какие задачи вас ждут
Новые машины
Ресурсная модель предлагает пользователям выбрать контейнеры определённого размера. При этом не всегда такие контейнеры хорошо ложатся на машины новой поставки (из-за особенностей железа). В таком случае нужно адаптироваться к новой поставке: выбрать достаточно хорошие размеры и для старой нагрузки, и для новой.
Ресурсная модель предлагает пользователям выбрать контейнеры определённого размера. При этом не всегда такие контейнеры хорошо ложатся на машины новой поставки (из-за особенностей железа). В таком случае нужно адаптироваться к новой поставке: выбрать достаточно хорошие размеры и для старой нагрузки, и для новой.
Ресурсная модель для дисков
В YTsaurus используется decoupled storage — хранилище, в котором слой хранения отделён от слоя вычисления и обработки данных. При этом нагрузка на диски довольно высокая и в ряде сценариев настолько большая, что хранилище может не справиться.
Нужно добавить в ресурсную модель понятие нагрузки на диски, чтобы пользователям можно было гарантировать выделенную полосу с учётом того, что диски общие и доступ к ним — по сети.
Бенчмарки
Пользователи часто интересуются, какого размера контейнеры выбрать и сколько их нужно. Для того чтобы предоставить большому количеству пользователей адекватный выбор, нужно аккуратно измерить производительность на достаточном количестве типов нагрузки. Несмотря на кажущуюся простоту, практика показывает, что сделать хорошие бенчмарки очень сложно. В процессе всплывают простые и не очень простые возможности улучшения системы и окружения. Это задача для тех, кто хочет очень глубоко погрузиться в особенности работы динамических таблиц YTsaurus и железа.
Мы ждём, что вы
- Умеете программировать на C++
- Любите погружаться в особенности работы железа и ядра Linux
- Нацелены на построение надёжного сервиса для пользователей
Будет плюсом, если вы
- Работали с нагруженным железом: дисками или сетью или соответствующей подсистемой в ядре Linux
- Знакомы с SRE-практиками, используете и развиваете инструменты интроспекции
- Активно участвуете в кросс-командном взаимодействии
Что мы предлагаем
1
Здоровье
2
Рост и развитие
3
Спорт
4
И ещё
Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят стоматология, ежегодные чекапы, неотложная помощь за рубежом, лечение критических заболеваний, в том числе онкологии, и страхование от несчастных случаев.
А также:
- психотерапия в офисе или онлайн-сервисах;
- лазерная коррекция зрения через год работы;
- ведение беременности и роды — через два года.
Страховка для родственников по системе 80/20
Мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные 20%.
В Яндексе есть всё, чтобы постоянно развиваться и учиться новому: внутренняя образовательная платформа, менторство и программы для начинающих и опытных руководителей.
А также:
- оплата участия в профильных конференциях;
- скидка 50% на изучение иностранных языков.
Кроме того, в Яндексе есть внутренние проекты, где наши сотрудники делятся экспертизой, обсуждают сложные темы и разбирают кейсы своих проектов.
Во всех крупных офисах Яндекса есть спортзалы со всем необходимым: тренажёрами, спортивным инвентарём, душевыми, шкафчиками для одежды и вещей.
Можете заниматься самостоятельно, а можете с корпоративным тренером.
А также:
- бесплатные онлайн-тренировки с FITMOST;
- скидки в фитнес-клубах, бассейнах, студиях йоги, скалодромах и других местах.
Спортивный клуб Яндекса
В Яндексе есть спортивный клуб и много спортивных команд. У них есть свои лидеры, чаты, программы тренировок. А ещё они регулярно участвуют в забегах, триатлонах, «Гонке героев», футбольных и других соревнованиях.
Вы сможете присоединиться к существующим командам или собрать свою.
Гибкий график
У нас нет фиксированного времени начала и конца рабочего дня — работайте так, как удобно вам и вашей команде.
Жилищные займы
Льготная ставка на покупку жилья и улучшение жилищных условий — в зависимости от стажа, позиции и результатов ревью. Действует для сотрудников, работающих в российских офисах Яндекса.
Всё для детей
Страхование, детские дни в офисе, подарки на рождение детей и чекапы при планировании беременности.
Спасибо за отклик!
Мы свяжемся с вами в течение недели.
