Как беспилотные автомобили справляются с российской зимой

Первые беспилотные автомобили Яндекса появились на дорогах в 2017 году. С тех пор машины проехали больше десяти миллионов километров, в основном — по Москве. Условия в столице — одни из самых сложных: здесь загруженные дороги, причудливая сеть улиц и переулков и разнообразная погода, от жары до стужи.

Зима 2020/21 запомнится москвичам обильными снегопадами; один из них — в субботу, 13 февраля — стал рекордным за всю историю наблюдений. Но несмотря ни на что автомобили продолжали выезжать на улицы. Мы расскажем, какие трудности могут возникнуть зимой и как наши машины с ними справляются.

Плохая видимость во время снегопада

Данные о том, что окружает автомобиль, собирают датчики, в том числе лидары. Лидары испускают лучи, которые отражаются от объектов и возвращаются обратно. Получается лидарное облако — совокупность точек с известными координатами.

Когда идёт снег, часть лучей может отражаться от снежинок. Поскольку  лидары генерируют более миллиона лучей в секунду, подавляющее большинство доходит до объектов. Шум, который может появиться на лидарном облаке из-за снежных отражений, устраняет нейронная сеть. Вот результат её работы:

Поездка в снегопад. До фильтрации
Поездка в снегопад. После фильтрации

Пар

В холодную погоду из выхлопных труб автомобилей, вентиляционных шахт и даже ливнёвок идёт густой пар. Он бывает настолько плотным, что на лидарном облаке может выглядеть как физическое препятствие. Здесь на помощь снова приходят нейронные сети — они распознают пар и отфильтровывают его. Чтобы нейросети могли уверенно различать, где завеса пара, а где настоящий объект, их обучают на записях, сделанных во время поездок зимой. Зимний пробег беспилотных автомобилей составляет уже несколько миллионов километров.

На картинке можно рассмотреть, как выглядит лидарное облако до и после фильтрации, и оценить по картинке с камеры реальную ситуацию на дороге:

До фильтрации
После фильтрации
Рамкой выделен скрытый за паром пешеход

Обратите внимание, что благодаря лидарам система распознала пешехода на краю дороги даже за облаком пара. По изображению с камеры видно, что водителю-человеку было бы гораздо сложнее разглядеть пешехода в таких условиях:

Непредсказуемое дорожное покрытие

Снег на дороге может быть свежим и рыхлым или жёстким, слежавшимся. А порой он выглядит безобидно, но на самом деле под ним скрывается лёд. Все эти варианты могут встретиться в течение одного дня или даже одной поездки.

Чтобы ездить безопасно, нужно уметь адаптироваться под разное покрытие. Мы научили систему беспилотного управления определять коэффициент трения и учитывать его при планировании дальнейших действий. Зная значение этого параметра, можно точнее оценить доступное ускорение и длину тормозного пути, и решить, стоит ли перестраиваться в другой ряд, какую дистанцию держать, за сколько замедляться перед светофором и так далее.

Погодные условия влияют на множество решений системы, от определения траектории поворота до выбора максимальной скорости. На этом видео — одна из поездок по Москве в сильный снегопад:

Изменившиеся очертания улиц

В память беспилотного автомобиля загружена трёхмерная карта местности. Во время движения он постоянно сопоставляет её с данными лидара и таким образом определяет своё местоположение с точностью до сантиметра.

После снегопада город меняется до неузнаваемости. Дорожная разметка может быть скрыта под снегом, границы проезжей части — незаметны. Когда снег убирают, кое-где могут вырасти сугробы с двухэтажный дом.

Наши автомобили сохраняют способность отлично ориентироваться в пространстве даже в таких условиях. Во-первых, система беспилотного управления использует не один, а сразу несколько источников данных: это и лидарное облако, и показания инерциальных измерителей (IMU), и одометрия. Сопоставив данные друг с другом, можно с высокой точностью установить, где находится машина, в том числе и в сложной ситуации — например, когда проскальзывают колёса и срабатывает ABS.

Во-вторых, мы научили систему беспилотного управления автоматически обновлять 3D-карту. Если там, где раньше было пустое место, теперь огромный сугроб, система «увидит» его, и сугроб станет одним из объектов на карте.

На этих картинках можно сравнить, как выглядит одна и та же улица в обычное время и после обильных снегопадов:

В обычное время
После снегопада
Цветом показана высота, красный — выше 3 м

Это далеко не все трудности, которые беспилотные автомобили должны успешно преодолевать зимой. В холодное время года в городе больше дорожной техники. Из-за сугробов проезжая часть становится уже. Мест для парковки меньше, и многие паркуются вторым рядом. Чаще возникают пробки, и самые нетерпеливые участники движения пытаются объехать их по встречной полосе. Не стоит забывать и о пешеходах — в морозные дни они торопятся скорее попасть в тёплый дом или офис и срезают путь, пересекая проезжую часть не по пешеходному переходу. На этом видео — одна из поездок по центру Москвы после обильных снегопадов:

Мы хотим создать универсальную технологию, которая способна безопасно и эффективно управлять автомобилем в разных городах и странах. Для этого необходимо постоянно тестировать её в сложной погодной и дорожной обстановке. Москва — прекрасный город для тестов: здесь сменяют друг друга четыре сезона, а в течение года бывают все виды плохой погоды. Поездки в Москве позволяют подготовить технологию к работе в регионах с самым разнообразным климатом.

20 комментариев
Покупаю!👍🙂
когда планируется начать коммерческое использование беспилотных авто? Примерные сроки подскажите пожалуйста...
Удалённый пользователь
18 марта 2021, 23:42
Вы молодцы, это выглядит очень круто!
Часто встречаю эти машины на дороге, поражаюсь их вежливости и дружелюбности к пешеходам, все бы так ездили! На видео это очень хорошо заметно.  
Ребята, это будущее! Оно неизбежно и оно крутое! Вы супер :)


Отдельное спасибо за рассказ с какими сложностями сталкиваетесь, было интересно.
Алексей Каменецкий
19 марта 2021, 02:07
Определение коэффициента трения крайне проблематично привязанностью к силе нормальной реакции, которая при движении постоянно меняется. Сила нормальной реакции очень зависит от деформации многих частей автомобиля, что ведет к большой неточности измерения силы нормальной реакции. Чем больше неточность, тем более ошибочное определение коэффициента трения. Ошибочное определение коэффициента трения представляет существенную опасность для дорожного движения. Поэтому определение коэффициента трения для автономного движения – это плохой вариант.
Для автономного движения больше подходит вариант, который делает возможным точное определение уровня сцепления шин с дорогой. Уровень сцепления – это максимальная сила, которая может быть передана на дорогу вдоль/поперек. Зависимость между уровнем сцепления, скольжением(вдоль)/углом скольжения(поперек) и силой, которая передается на дорогу вдоль/поперек, ведет с диаграммой шины (сила – скольжение/угол скольжения) к определению уровня сцепления. Для планирования дальнейших действий требуется определение текущих ходовых качеств автомобиля анализом того, как автомобиль себя ведет, когда передается определенная сила на дорогу, чтобы определить, какая сила должна быть передана на дорогу, дабы он двигался определенным образом.
С уровнем сцепления и наличием силы нормальной реакции можно рассчитать коэффициент трения, если он кому-то нужен. Вряд ли он будет нужен автономным автомобилям.
Страшновато доверять управление бездушному механизму. а еще и сидеть за рулем и наблюдать за его действием. Водитель после проходит психологические тренинги?
redyadro,
 Вы это в шутку спрашиваете? Страшно доверять управление человеку. Каждый день на дорогах Москвы десятки таких людей разбивается. А механизму напротив - не страшно, он, в отличие от человека, не ошибается, не бухает и не подвержен пагубным эмоциям.

Я бы даже платил больше за поездку на такси с роботом вместо человека.
Обновлено 1 апреля 2021, 02:53
Валентин,
 Зато с человеком можно взаимодействовать, например, если он что-то делает неправильно - сказать ему об этом...
Николай Шемякин
4 мая 2021, 15:00
Юлия,
Если ИИ что-то делает неправильно, то можно можно написать в тех. поддержку или т.п. Они ошибку исправят сразу на множестве автомобилей
Кто-то там
20 марта 2021, 21:38
Когда, где и как начнут продавать автомобили с беспилотными технологиями Яндекса?
Последнее видео. По таймингу 2:33 и 3:40 - неправильное выполнение требования знака 2.5.
Стоп-линия отсутствует, выполнять требование знака надо перед пересечением проезжих частей, а тут он явно встаёт перед перекрёстком.
Но пешеходам уступает вообще замечательно -- это да
Константин х
5 апреля 2021, 12:31
Интересно, как он будет реагировать на сломанный светофор? Особенно когда сигнал "завис" и горит постоянно зелёный или красный. А в сочетании плохого дорожного покрытия и гололёда, этому "водителю" свою жизнь не доверю. 
где-то читал, что работа с беспилотниками – это, когда 90% всех слуаев на дороге программируются сравнительно быстро, но 10% наиболее редко встречаемых и легко проходимых человеком, занимают основное время для учета и регистрации. Я бы не хотел на себе проверить, что какую-то ситуацию не учли и беспилотник без меня примет свое "квалифицированное" решение. Тем более, что его решение очень сильно зависит в том числе и от компетентности работы дорожных и коммунальных служб.

И, кстати, почему бы не написать про то, над чем сейчас работает компания и что у них не получается, чтобы было понятно, что не все так хорошо и красочно. Тем более что это не последний уровень автономности автомобиля, то над чем работает компания сейчас, чтобы всем это было понятно и не вводило в заблуждение.
Хорошо, что постоянно развиваете это крайне перспективное направление!
хорошо
Мы - компания разработчик софта для доставок еды из Тюмени. Последние несколько лет мы ведем разработку мозгов для этой сферы на своих площадках в Тюмени.
софт уже внедрен, работает и показывает отличные результаты. Он многократно превосходит весь ресторанный софт, имеющийся сегодня на рынке . Мы взяли лучшее на рынке, применили 10-летний опыт в индустрии, и создали целую среду в виде браузерного решения.
Наш софт решает все задачи бизнеса из сферы доставки - приём заказов, встроенную телефонию, планирование, постановка задач, управление закупками, и много другое, и не требует установки. Имеет самый большой функционал на рынке и огромное количество уникальных решений, которых нет ни у кого, и что самое главное - акцент мы сделали на юзабилити и скорости работы - это айфон для служб доставки.
разработку мы ведём на практике, тестируя каждое нововведение сразу на поле боя.
Мы уверены, что наш софт сможет легко занять половину рынка доставки еды в России.
Если интересно Яндексу - дайте обратную связь
Добрый день! Все эти тестирования конечно хороши для Вас-но не для людей,которые едут в школу и на работу-а из-за ваших машин образуются огромные пробки! Просьба как минимум изменить маршрут-на перекрёстке ул Усачёва и  Хользунова-пробки исключительно из-за беспилотников-там нет светофора,утро,метро,большой поток машин и пешеходов!!! Там где обычный водитель проедет уже раз 20 ваши машины стоят и тупят-остальным приходится сигналить(что бессмысленно),а так же объезжать-что приводит к опасной ситуации на дороге! Сил нет наблюдать это каждое утро! Видео могу показать-какие пробки из-за того,что машина не справляется с таким количеством машин и пешеходов! Тестируйте там,где есть светофоры и нормальное движение!!!
Владислав
21 мая 2021, 22:09
Natalia Krut,
В остальных странах, беспилотники других производителей так же, как вы говорите "тупят". Необходимо тестировать в разных условиях, что бы в будущем было всё чётко. Увы, но это издержки прогресса 🙂
Михаил И.
23 мая 2021, 15:30
У меня такой вопрос. А если сломался светофор и все время горит красный или желтый? Как будет себя вести автопило?
Marine diesel engine
28 января 2023, 10:18
Лично я считаю, что такой ответ — очень хорошая технология, и ее стоит поддержать!