Внутри Балабобы — разработанная в 2021 году первая версия языковой модели YaLM (Yet another Language Model). Как и многие другие большие языковые модели от ведущих мировых компаний (BERT, GPT, LaMDA), она создана на архитектуре Transformer. У такой модели ровно одна задача — генерировать каждое последующее слово в предложении. Чтобы текст получился связным и грамматически правильным, во время обучения модель оценивает каждое предсказанное слово: например, решает может ли после «Мама мыла…» идти слово «бегать» или слово «раму».

Запоминать все правила языка и подбирать подходящие слова Балабобе помогают заложенные внутри языковой модели YaLM параметры, которые меняются в зависимости от того, правильно или неправильно предсказывается слово. Сравнить их можно с маленькими рычажками, каждый из которых нужно повернуть в разные стороны, чтобы запустить механизм. В семействе языковых моделей YaLM таких рычажков — от 1 до 100 миллиардов.

Чтобы написанные Балабобой тексты были не только грамматически правильными, но и лексически разнообразными, мы использовали терабайты текстов. Нейросеть YaLM обучена на части индексируемых Яндексом страниц рунета, включая не только Википедию, новостные статьи и книги, но и открытые записи пользователей социальных сетей и форумов. Чтобы не перегружать модель, из выборки вычистили повторяющиеся, незаконченные и неестественные тексты.

Кроме текстов на русском языке, некоторые модели семейства YaLM обучены и на английских. Самую большую двуязычную модель YaLM 100B мы недавно выложили в открытый доступ).

Сейчас в Балабобе используется облегченная версия YaLM 100B на 3 миллиарда параметров. Другие модели из семейства YaLM мы используем в более 20 проектах: нейросеть помогает Алисе лучше поддерживать беседу с пользователем, а Поиску — генерировать карточки для быстрых ответов. Также с помощью YaLM можно сгенерировать рекламное объявление или описание сайта.

Но главная особенность YaLM — умение учиться новому всего на нескольких примерах: чтобы языковая модель написала осмысленные синопсисы фильмы, инструкции по применению или порадовала народной мудростью, ей хватит от пяти до нескольких десятков примеров того, как такие тексты надо писать. Именно это вы можете наблюдать при выборе стиля: например, чтобы научить Балабобу генерировать народные мудрости, мы «скормили ему» несколько известных примеров, среди которых было «тише едешь — дальше будешь».

Больше подробностей об устройстве YaLM вы можете прочитать в нашем посте на Хабре. О том, как мы обучали нашу самую большую открытую модель — YaLM 100B — вы также можете прочитать здесь.