Команда
Managed Databases
Строим платформу управляемых сервисов данных
Команды Managed Databases
PostgreSQL используется в Почте, Диске, Yandex Cloud, Такси и других крупных сервисах Яндекса. В Yandex Cloud работают десятки тысяч PostgreSQL-хостов, а потребление Managed PostgreSQL за 2025 год выросло на 46%.
- создание и управление кластерами
- высокую доступность и self-healing
- автоматическое резервное копирование и PITR с точностью до секунды
- обновление версий с минимальным простоем
- мониторинг и диагностику производительности
- инструменты рекомендаций для клиентов
- L7-балансировку
Основной инженерный вызов — обеспечивать стабильность большого флота PostgreSQL силами компактной команды. Работа требует глубокого понимания PostgreSQL и Linux, аккуратности при изменениях, defensive programming и умения заранее оценивать последствия решений
MySQL используется в Кинопоиске, Музыке, Директе и рекламных сервисах Яндекса. В Yandex Cloud работают тысячи MySQL-кластеров, включая одни из самых нагруженных OLTP-баз в инфраструктуре компании.
- создание и управление кластерами
- высокую доступность и self-healing
- резервное копирование и PITR
- управление топологией репликации
- мониторинг и диагностику производительности
- управление пользователями через SQL
- межкластерную репликацию
- L7-балансировку
Работа сочетает разработку managed-продукта и эксплуатационную экспертизу. Важны способность быстро осваивать новые технологии и готовность отвечать не только за код, но и за его поведение в production.
Про аналитические системы большого масштаба, производительность и развитие open source. Используются для построения корпоративных DWH. Типичный крупный кластер может включать тысячи ядер и сотни терабайт данных.
- Open-GPDB — форком последней открытой версии Greenplum
- CloudBerry — следующим поколением технологии на базе современного PostgreSQL
Инженеры работают с производительностью MPP-систем на больших объёмах данных, исследуют особенности работы СУБД и вносят патчи в open source. Результат работы команды влияет на то, насколько эффективно крупные компании могут строить аналитику и принимать решения на основе данных.
Команда управляет крупными и сложными инсталляциями ClickHouse, включая кластеры объёмом более 2,5 ПБ. Потребление Managed ClickHouse в 2025 году выросло на 58%, сервисом ежедневно пользуются тысячи B2B-клиентов.
- разработка ядра ClickHouse на C++
- оптимизация производительности
- работа с хранением и выполнением запросов
- развитие возможностей СУБД под реальные нагрузки
- автоматизация жизненного цикла кластеров
- высокодоступная managed-платформа
- интеграция ClickHouse с инфраструктурой Yandex Cloud
- Go, Python, Terraform и смежные технологии
Команда одной из первых внедряет новую функциональность ClickHouse в managed-продукт и при необходимости адаптирует технологию под архитектурные требования конкретных клиентов.
OpenSearch используется для хранения и анализа логов, полнотекстового поиска и построения поисковых систем. Отдельное направление роста — векторный поиск для RAG- и агентских AI-систем.
- автоматическим развёртыванием и эксплуатацией кластеров
- полнотекстовым и векторным поиском
- хранением и индексацией логов
- механизмами выявления аномалий
- качеством и релевантностью поиска
- балансировкой нагрузки
- устойчивостью и отказоустойчивостью кластеров
- автоматическим тестированием обновлений
Команда много работает с кодом самого продукта и развивает новые функции, а не только поддерживает инфраструктурную обвязку.
Control plane превращает вычислительные, сетевые и инфраструктурные ресурсы в управляемый сервис баз данных.
Один control plane обслуживает более 15 движков и систем, включая PostgreSQL, MySQL, ClickHouse, StoreDoc и Valkey, Kafka, Greenplum и Apache Cloudberry, OpenSearch, Spark, Airflow, Trino, Metastore, ZooKeeper и SPQR.
- идемпотентность операций
- безопасная оркестрация длинных процессов
- обработка частичных отказов
- массовые изменения без влияния на production-нагрузку
- единая модель управления для движков с разной топологией и эксплуатационными требованиями
Оркестрация Compute, VPC, IAM, Object Storage, балансировщиков, DNS, секретов, сертификатов и мониторинга
НадёжностьHealth-сервис в реальном времени, автоматический failover через DNS, плановые обновления, ротации и безопасные массовые изменения на флоте кластеров
API и состояние системыВнутренние gRPC- и REST-интерфейсы, MetaDB на PostgreSQL, хранение истории здоровья в ClickHouse
Исполнение и конфигурированиеGo как основной язык control plane, Python для исполнения задач, Salt для конфигурирования нод, Terraform для IaC, Kubernetes как среда размещения сервисов control plane.
Команда работает с Apache Spark, Trino, Kafka и Airflow, развивает сами движки, интегрирует их с инфраструктурой Yandex Cloud и строит управляющий слой вокруг open source технологий.
- аналитические сценарии и MPP-нагрузки
- развитие и адаптация open source движков
- эксплуатация data plane в Kubernetes
- инструменты и практики для эффективной разработки и ops
- интеграция систем обработки данных с облачной инфраструктурой
- понимать внутреннее устройство движков обработки данных
- знать инфраструктуру, на которой они работают
- уметь превратить эту экспертизу в устойчивый managed-сервис
На сервисах команды строится LakeHouse-продукт Yandex Cloud, объединяющий хранение, обработку, каталогизацию и аналитику данных.
Наш вклад в опенсорс
А ещё мы сделали Odyssey — свой масштабируемый пуллер соединений для высоконагруженных инсталляций PostgreSQL. Подробнее про причины создания своего решения, преимущества и бенчмарки можно узнать в докладе.
Для MongoDB получилось сделать восстановление в любую точку во времени (PITR). Так фича, которую крупные облачные провайдеры предлагают за деньги, стала доступна сообществу бесплатно.
Команда
Команды отвечают за сервисы целиком: проектируют архитектуру, пишут и ревьюят код, разворачивают изменения, настраивают мониторинг и участвуют в дежурствах
Изменения проходят статический анализ, unit-, функциональные и инфраструктурные тесты, а затем поэтапно выкатываются во внутреннее и внешнее production-окружение
Основные языки платформенной разработки — Go и Python. В разработке движков используется C++. В инфраструктурном стеке — Kubernetes, Terraform, Salt, PostgreSQL, ClickHouse, gRPC и REST
В команде работают опытные инженеры, с которыми выстроена культура прямого профессионального диалога. Обратная связь воспринимается конструктивно, а технические решения принимаются без избыточных согласований и встреч.
Команда работает в модели высокой автономии: процессы выстроены так, что разработчики самостоятельно принимают технические решения и не нуждаются в постоянной координации с менеджментом
Рассказываем про наши технологии
Присоединяйтесь к Managed Databases
Напишите нам
