Аналитик-разработчик в автономный транспорт

Мы — группа сбора корзин в автономном транспорте — замеряем качество наших технологий. Основная наша задача — собирать датасеты для всех компонентов транспорта, от локализации местоположения до планирования собственного движения. Но почему это не просто train_test_split?

Две основные причины:

• Абсолютное большинство сценариев проезда — «однотипные» и «скучные». Но с улучшением технологий мы хотим уметь различать всё более мелкие изменения, потому что каждый следующий шаг даётся тяжелее, хоть и имеет больший вес. Один из способов решить эту проблему — искусственно увеличить долю редких сценариев, при этом не потеряв возможность смотреть и на случайные интервалы. Базовая идея похожа на Active learning, его мы тоже планируем активно внедрять. Кстати, определение «однотипности» и «интересности» — ещё одна из наших задач.

• В автономном транспорте есть пять компонентов, отвечающих за автономность. Ещё есть много смежных задач, которые не занимаются автономностью в рантайме, но их качество тоже нужно замерять. Например, это качество симуляции движения. Чтобы правильно определять направление движения и помогать командам корректировать его, мы собираем датасеты отдельно для каждой крупной задачи.

Майнинг корзин
Основная задача нашей группы — помогать командам улучшать качество технологий. Мы собираем датасеты для обучения и замера качества, находим точки роста и придумываем способы масштабирования, активно используем LLM, VLM, опенсорсные и проприетарные модели. Это творческая задача, требующая любви к копанию в данных и хороших коммуникативных навыков: чтобы понять, чего смежники хотят, и объяснить, что им нужно.

Определение «интересности» и «однотипности» отрезков реальных (и симуляционных) проездов
Не все отрезки одинаково полезны, а запускать симуляцию на идентичных поездках — и вовсе пустая трата ресурсов. Для похожих входов мы получаем похожие выходы и никакой полезной информации. Правильно уникализировав и взвесив поездки, можно сэкономить вычислительные и временные ресурсы, то есть симулировать больше данных!

Важный нюанс: «интересность» и «однотипность» зависит от компоненты. Например, локализация обращает внимание на местоположение и объекты вокруг автономного транспорта, а восприятие — на препятствия и агентов, пытаясь предсказать их поведение и влияние на транспорт.

Больше об аналитике в Яндексе — в канале Yandex for Analytics

• Уверенно владеете Python и SQL
• Имеете хорошую алгоритмическую подготовку. В работе мы не каждый день решаем LeetCode-like-задачи (хоть и такое бывает), но алгоритмическое мышление поможет вам правильно написать и протестировать хитрый код
• Знаете математическую статистику и теорию вероятностей
• Умеете находить общие решения и точки соприкосновения, доносить идеи, строить и визуализировать информативные графики

• Уважаете PEP 8 и чистый код
• Знакомы с Airflow, Hadoop, Spark, CH — всё это поможет вам быстрее влиться в технологическую среду Яндекса