ML-разработчик в отдел машинного перевода

Наша команда работает над базовой технологией машинного перевода Яндекса, которая используется как в самом сервисе переводчика, так и во многих других продуктах (Браузер, Поиск, Алиса, YandexGPT). Недавно мы сильно улучшили качество англо-русского перевода за счёт перехода на обучение больших языковых моделей и использования контекстной информации. Наша следующая задача — достичь человеческого качества перевода на ключевых направлениях, а также радикально улучшить качество для остальных языков.

Недавно мы сделали модель документного перевода на основе LLM. Про технологию алайнмента и наш подход к обучению LLM можно прочитать в этой статье.

Улучшение технологии обучения state-of-the-art моделей для перевода
Современные модели нейросетевого перевода — это сложные пайплайны из большого количества компонентов. При работе над качеством вам предстоит много экспериментировать с данными, архитектурами моделей, функциями потерь, процедурой обучения и инференсом.

Эксперименты с большими языковыми моделями (LLM)
LLM являются мощным инструментом для работы с текстовыми данными, и мы активно используем их для перевода. Адаптация LLM под перевод — сложная исследовательская задача, она включает в себя работу над всеми стадиями пайплайна обучения — претрейном, а также SFT и RL-алайнментом.

Мультиязычность
Наша технология перевода поддерживает 102 языка, и нам важно развивать качество не только на самых высокоресурсных направлениях, но и на всех остальных языковых парах. Среди важных направлений развития мультиязычности — адаптация пайплайна сбора данных и обучения к новым направлениям, а также многоязыковые модели, умеющие работать сразу с большой группой языков.

Адаптация и внедрение моделей в продакшн
Чтобы самые свежие модели перевода помогли пользователям реальных продуктов, нужно научиться эффективно применять их в real-time. Для этого мы применяем методы сжатия модели, а также адаптацию под конкретные свойства задачи, например, формат веб-страниц или субтитров.

• Хорошо знакомы с принципами ML и Deep Learning
• Решали практические задачи NLP
• Знаете Python
• Работали с Pytorch или другими фреймворками глубокого обучения
• Любите читать научные статьи по DL

• Работали с LLM или трансформерами
• Работали с MapReduce