Разработчик гигантских генеративных нейросетей в Поиск

Наша команда разрабатывает YaLM — семейство больших генеративных нейронных сетей, обученных на гигантских корпусах текстов на русском и других языках. YaLM позволяет получать отличные результаты при генерации и классификации текстов с минимальным дообучением или без дообучения вовсе. Как результат — YaLM уже используется в большинстве продуктов Яндекса.

Вам предстоит работать и над качеством и скоростью предобучения таких моделей, и над их применением в продуктах Яндекса. Если вам уже наскучило обучать нейросети на сотнях миллионов параметров, то у нас вам наверняка понравится!

• проверять гипотезы о качестве предобучения YaLM;
• реализовывать изменения в архитектуре нейросети;
• исследовать особенности применения Few-Shot Learning;
• решать продуктовые ML-задачи в Поиске Яндекса с помощью гигантских языковых трансформерных моделей.

• отлично знаете математику;
• умело пишете на Python, работали с PyTorch или TensorFlow;
• умеете работать с классическими структурами данных;
• обладаете опытом и экспертизой в области Deep Learning.

• имеете опыт обучения больших нейросетевых моделей;
• решали задачи NLP для реальных проектов;
• следите за последними трендами развития нейросетей;
• пишете на C++.