Разработчик динамических таблиц YTsaurus в Open Source

Динамические таблицы в YTsaurus — это NewSQL-база данных, ориентированная на горизонтальную масштабируемость, большие объёмы, распределённые транзакции и поддержку как OLTP, так и OLAP сценариев. Динамическими таблицами пользуются многие сервисы Яндекса: Поиск, Реклама, Такси и другие.

Эксплуатация большой системы — непростая задача. Для внутренней инфраструктуры написаны разные средства интеграции: провязки с системами деплоя и контейнеризации, мониторинга, управления ресурсами и контроля доступа. Кроме этого, есть наша команда инженеров, которая занимается поддержкой и эксплуатацией системы.

Мы хотим, чтобы динамическими таблицами можно было пользоваться не только в Яндексе: чтобы наш код, выложенный в опенсорс, начал приносить пользу и другим. Для этого нужно сделать так, чтобы система эксплуатировалась без нашего участия, причём не только в дата-центрах Яндекса, но и на любом другом железе. Задача объёмная и многогранная: предстоит писать скрипты для деплоя и управления кластером, управлять аллокацией контейнеров в Kubernetes, улучшать серверный код для работы в условиях некачественной сети, писать биндинги для внешних систем для вычитывания данных из Kafka или репликации из Postgres .

Мы ищем человека, который знает Python и C++, понимает, как и зачем нужно настраивать мониторинги в базах данных, и не боится за рабочий день потрогать API трёх разных систем. Особенно круто, если вы любите опенсорс, знакомы с его трудностями и хотите, чтобы в мире появился ещё один проект, который можно скачать и запустить, чтобы он просто заработал.

Написание административных скриптов
Есть несколько административных сценариев: заведение новых пользователей, обновления. Нужно написать удобные утилиты для внешних администраторов для таких сценариев.

Адаптация системы распределения ресурсов
В динтаблицах есть механизм изоляции по отдельным хостам: каждый пользователь заказывает определённое число хостов, которые мы получаем у внутреннего облака. Нужно адаптировать этот механизм для жизни вне Яндекса: поддержать аллокацию хостов через Kubernetes, а также более простые инсталляции, где нет динамического выделения машин.

Поддержка нового окружения
Мы привыкли к жизни внутри дата-центров Яндекса. Во внешнем мире нас поджидают неожиданности, например сеть с гораздо большей задержкой или развёртывание в других облаках на другом железе. Нужно будет добиться достаточно хорошей работы в новом окружении — придётся погрузиться в удивительный мир низкоуровневого программирования и системного администрирования.

Повышение эксплуатируемости системы
Наша цель — чтобы динтаблицами легко смогли пользоваться внешние компании. Это большая и комплексная задача, над которой работает вся команда. Вам нужно будет определять узкие места во внешних инсталляциях, работать над повышением наблюдаемости и общим удобством системы.

• Умеете программировать на Python и C++
• Любите выполнять DevOps-задачи, а также погружаться во внутренности сложных продуктов
• Получаете удовольствие от взаимодействия с пользователями
• Хотите сделать вклад в опенсорс

• Имеете опыт развёртывания в k8s
• Имеете опыт разработки key-value хранилища или СУБД
• Имеете опыт отладки «железных» проблем: сеть, диски или изоляция между разными контейнерами