Разработчик рантайма в Алису

Алиса — сложный высоконагруженный сервис на базе больших языковых моделей. С каждым годом Алиса становится умнее и помогает пользователям решать всё более сложные задачи. Сейчас мы всё чаще применяем для этого большие языковые модели (LLM).

Каждая модель хорошо справляется с какой-то одной задачей, но обучить одну универсальную модель, которая идеально решит все задачи, очень сложно. Поэтому мы учим модели работать друг с другом, превращая их в агентов. Каждый агент специализируется на чём-то своём: один ищет информацию в интернете, другой управляет браузером, третий работает с файлами или приложениями.

Алиса состоит из множества компонентов и работает на большом семействе платформ. Мы хотим создать новый единый гомогенный рантайм, который будет отвечать современным требованиям и сможет поддерживать как долгие агентские задачи, так и запросы, требующие мгновенного ответа.

Проектирование архитектуры Алисы
Вы будете проектировать архитектуру Алисы и разрабатывать новый рантайм, чтобы Алиса могла единообразно работать как с долгими задачами на десятки минут, так и с быстрыми запросами на сотни миллисекунд без лишнего оверхеда. Алиса должна оставаться надёжной, эффективной и масштабируемой, обрабатывая десятки тысяч RPS. Она работает с разнообразными видами входных данных: файлами, картинками, голосом, текстом. Рантайм позволит улучшать систему в целом и отдельные компоненты (модели, тулы, агенты), а траектории будут писаться в единых терминах. Архитектура должна быть прозрачной и понятной.

Больше о бэкенде в Яндексе — в канале Yandex for Backend

• Умеете разрабатывать высоконагруженные сервисы
• Знаете тонкости асинхронного взаимодействия в многокомпонентных системах
• Понимаете, как устроены агенты
• Готовы писать на C++

• Работали с Temporal или другой системой оркестрации
• Интересуетесь LLM и представляете, как они работают