Аналитик-разработчик автометрик Alice AI LLM

Базовая модель Alice AI лежит в основе Алисы, Поиска и многих других продуктов. Наша цель — улучшать модель, решая множество прикладных задач, постоянно мониторить качество со всех сторон и не терять ничего важного. Для этого нам нужна система надёжных крауд-разметок и автоматических метрик — такими автометриками и занимается наша команда. Мы замеряем модели на множестве бенчмарков: от классического MMLU до теста на знание русской культуры.

Ищем активных и заинтересованных аналитиков.

Почему в нашей команде классно:

• Alice AI — быстрорастущий проект, у нас можно проявить себя, поработать с крутыми опытными ML-специалистами
• Можно гонять самые современные модельки Яндекса на мощных GPU-кластерах
• Можно воспроизводить исследования из самых свежих статей и придумывать что-то новое
• Мы учимся решать задачи, которые пока никто не умеет решать
• Можно узнать, что думает Alice AI до того, как его ограничат для внешнего пользования (научат этике)
• Нам помогает команда уникальных редакторов и AI-тренеров (например, член команды «Что? Где? Когда?» Алесь Мухин, составитель атласа культур и религий народов России и многие другие)

Создание метрик качества
Наша главная задача — всесторонне оценивать качество модели. Сравнить две LLM почти так же сложно, как сравнить двух человек: одного IQ-теста тут точно недостаточно. Поэтому мы создаём новые тесты (бенчмарки), исследуем и адаптируем опенсорсные решения.

Интерпретация результатов экспериментов
Команда разработки проводит много экспериментов и делает выводы на основе наших метрик. Иногда результаты бывают неожиданными или противоречивыми, в этом случае задача аналитиков — помочь раздебажить, что произошло.

Анализ точек роста
Есть множество сложных задач, с которыми наша модель ещё не справляется на достойном уровне. Мы стараемся выбрать из них самые перспективные, разобрать проблемы и вместе с командой разработки придумать план решения.

• Работали над метриками в ML
• Уверенно владеете SQL и Python
• Умеете анализировать данные, строили эффективные процессы их обработки
• Знаете теорию вероятностей и математическую статистику
• Интересуетесь развитием LLM и хотели бы погрузиться в эту тему
• Самостоятельны, аккуратны

• Имеете опыт работы над LLM
• Делали крауд-разметки с системой контроля качества
• Свободно читаете на английском