ML-разработчик в команду симуляции сенсоров автономного транспорта

В разработке автономных автомобилей главное — обеспечить безопасность. Управлять машиной, чтобы она ехала по дороге в своей полосе при нормальных условиях, несложно. Сложно сделать так, чтобы она правильно вела себя в разнообразных редких или опасных ситуациях: например, при непредсказуемом поведении других участников движения, в плохую погоду или при плохом освещении, а также с учётом особенностей работы оборудования. Воспроизводить такие ситуации в реальности дорого и опасно, поэтому важно уметь моделировать их с помощью технологий симуляции.

В рамках направления работы над симуляцией сенсоров есть две большие задачи: симуляция сенсоров как часть симулятора для тестирования ПО в режиме end-to-end и генерация синтетических данных с редкими случаями для дообучения базовых алгоритмов автономного транспорта. Обе задачи подразумевают генерацию данных от различных типов сенсоров: камер, лидаров, радаров. Задачи включают в себя research-элементы: чтение статей, посвящённых генеративным моделям и 3D-реконструкции, реимплементация и улучшение методов, проведение экспериментов. Во всех задачах используем промышленное машинное обучение: построение ML-пайплайнов и процессов, сбор датасетов и метрик, которые максимально отражают бизнес-задачу.

Улучшение моделей генерации
Вы будете повышать качество моделей для 3D-реконструкции сцен (мы активно рассматриваем gaussian splatting) и нейросетей, которые используются как часть пайплайна реконструкции и в качестве отдельных методов генерации данных. В числе последних — диффузионки, VAE, сети для сегментации и детекции объектов.

Чтобы повышать качество, нужно внедрять методы из академических статей, дорабатывать архитектуру, оптимизировать обучение и инференс, а также строить пайплайны оценки качества и улучшать датасет: собирать, фильтровать и предварительно обрабатывать данные.

Интеграция моделей в симулятор
Вам нужно будет внедрять модели в продакшен-симулятор. Необходимо выстривать процесс так, чтобы модели получали правильные данные, их инференс работал на большом кластере, а симуляции были полезны всем командам, которые занимаются разработкой автономного транспорта. С бэкенд-частью нам помогает смежная команда, но необходимо будет следить за общим процессом и делать так, чтобы метрики фактического инференса моделей не отличались от ожидаемых метрик, которые получаются при обучении.

Больше об ML в Яндексе — в канале Yandex for ML

• Хорошо знакомы с методами решения задач компьютерного зрения с помощью нейронных сетей
• Уверенно владеете классическими алгоритмами и структурами данных
• Умеете программировать на Python
• Имеете опыт работы с PyTorch
• Способны работать в команде
• Ответственны и организованны

• Имели практический опыт обучения диффузионных моделей или 3D-реконструкций на 3DGS, NeRF и т. д., строили продакшн-процессы с участием этих технологий
• Занимались 3D-графикой, 3D-рендерингом или активно этим увлекались
• Программировали на C++
• Участвовали в соревнованиях по ML или программированию: ACM ICPC, Codeforces, Topcoder, Kaggle и т. д.