Команда YDB

Больше 25 лет занимаюсь высоконагруженными распределёнными системами, системами хранения и обработки данных, разработкой ПО. В Яндексе отвечаю за продуктовое развитие YDB, помогал готовить систему к выходу в опенсорс. За 10 лет мы прошли путь от внутреннего инфраструктурного проекта до основной платформы для хранения, обработки и передачи данных практически для всех сервисов.

Я отвечаю за одно из направлений развития платформы — аналитические таблицы, или OLAP, аналог Microsoft Azure Data Explorer, Google BigQuery, ClickHouse и Greenplum. Мы анализируем решения конкурентов и создаём продукт для крупных и средних компаний. Наша цель — разработать инструмент, который поможет партнёрам выстроить контроль над важными для них показателями.

Отвечаю за выполнение запросов, клиентские инструменты и инфраструктуру YDB, присоединился к команде с начала разработки системы. Мы доросли до полноценной SQL-базы данных с клиентскими библиотеками и активно продолжаем развиваться. Стремимся стать универсальной базой данных для решения сценариев высокой OLTP-нагрузки и аналитических сценариев, улучшаем компоненты системы.

Я в команде YDB начиная с её появления. Отвечаю за потоковые и непотоковые очереди сообщений и инфраструктурные сервисы на их основе. Внутри Яндекса мы перешли от Apache Kafka к YDB, увеличив потоки в 100 раз. Теперь наш продукт может конкурировать с брокерами сообщений и вне компании. Наша задача — предоставить инструменты, которые покрывают сложные сценарии доставки данных.

Мы с командой SRE автоматизируем эксплуатацию YDB и смежных сервисов, чтобы продуктовые разработчики самостоятельно решали свои задачи, используя YDB as a Service. Мы разворачиваем новые облака, написали Terraform-провайдер, продолжаем миграцию в K8s. Для нас важна отказоустойчивость, поэтому мы хотим автоматизировать учения внутри Яндекса и для наших клиентов.

Больше 10 лет я с командой разработчиков создаю низкоуровневые компоненты YDB: акторную систему, распределённое хранилище и другие элементы. Акторная система реализует lock-free- и wait-free-алгоритмы, а хранилище обеспечивает надёжность и отказоустойчивость YDB. Мы разрабатываем новые алгоритмы, экспериментируем с технологиями и оборудованием, оптимизируем производительность.

Строковые таблицы — ключевой компонент YDB для OLTP-обработки данных на десятках тысяч узлов. Таблицы поддерживают автоматическое партицирование данных при увеличении объёма или нагрузки. Мы решаем задачи организации внутренней структуры данных, производительности, аналитики и информационной безопасности, включая аутентификацию, аудит событий, шифрование и хранение секретов.