Hands Off с камерой Ambarella для самостоятельного вождения автомобиля

Hands Off с камерой Ambarella для самостоятельного вождения автомобиля

Это обычная мудрость в индустрии самообслуживания, в которой лидар является обязательным. Время от времени некоторые спорили иначе, но почти все серьезные усилия в настоящее время включают по крайней мере один лидар - до сих пор. Создатель чипов Ambarella, самый известный для создания систем обработки изображений, найденных во многих камерах и смартфонах, представил свой автомобиль развития EVA (встроенная автономия), построенный на его архитектуре CVFlow и фаланге из 20 камер, работающих на 16 из его CV1-изображения и видения обработки SoCs. Мне посчастливилось стать одним из первых журналистов, которые будут ездить в одном, поскольку фирма сейчас проводит ограниченное тестирование на дорогах общего пользования в Санта-Кларе, штат Калифорния.

Ambarella не пытается идти вперёд с автомобильными компаниями и планирует запустить собственные самоходные транспортные средства. Вместо этого EVA, которая построена на модифицированном Lincoln MKZ, представляет собой демонстрационную и дизайнерскую витрину для того, что Ambarella может принести этим компаниям на пути решения автономного транспортного средства, основанного почти исключительно на зрении, хотя у него есть одна передняя сторона радар, чтобы помочь в сложной погоде.

Все с длинными и ближними камерами

Hands Off с камерой Ambarella для самостоятельного вождения автомобиля

Каждая стереокамера питается от собственной пары датчиков SoCs CV1 от Ambarella. В камерах используются датчики Sony IMX317, которые примерно того же размера, что и типичный сенсор смартфона, но имеют более низкое разрешение, чтобы дать им большие пиксели и улучшенные характеристики с низким и высоким динамическим диапазоном. Генеральный директор подразделения Ambarella VisLab Альберто Брогги подчеркнул важность интеграции модулей видения с ISP (Image Signal Processor) в камеру. Это возможно, потому что Ambarella как компания делает большую часть своих современных систем ISP для самых разных приложений.

Короткие стереофонические камеры размещаются спереди, сзади и с обеих сторон автомобиля. Используя линзы fisheye, это обеспечивает EVA полный 360-градусный обзор области непосредственно вокруг автомобиля. Четыре стереокамеры поддерживаются выделенной парой CV1 SoCs и используют массив 2MP IMX290 от Sony, которые имеют очень большие пиксели.

Завершение работы системы - это фронт-радар для резервирования и плохой видимости, а также ПК для выполнения задач слияния, локализации и планирования на более высоком уровне. В этом демонстрационном видео вы можете увидеть общую схему датчика на EVA, а также то, что он видит (начиная примерно 40 секунд), облако 3D-точек, которое он создает, и объекты, которые он распознает при движении по пригородной улице. Системы ближнего и дальнего действия слиты так, что автомобиль имеет вид от ближайшего бордюра до объектов в сотнях метров.

CV1 и теперь CV2 обеспечивают обработку изображений и изображений

Hands Off с камерой Ambarella для самостоятельного вождения автомобиля

Испытательное транспортное средство EVA было оснащено чипами CV1, но компания только что объявила о преемнике CV2, который в 20 раз превосходит мощность обработки, примерно на той же удивительно низкой мощности, равной 4 Вт. Компания надеется, что с CV2 и некоторой дополнительной разработкой он сможет запускать весь автономный багаж транспортного средства исключительно на своих собственных чипах, даже не нуждаясь в том, что ПК в настоящее время выполняет некоторые функции системы.

Почему Амбарелла?

Ambarella не является именем для многих, даже тех, кто следует за технологией. Но вы почти наверняка использовали либо систему камеры, которую они разработали, либо сфотографировали ее. Компания специализируется на предоставлении широкого спектра решений для визуализации и визуализации на основе кремния для ряда отраслей, в том числе беспилотных летательных аппаратов, носителей, безопасности, автомобильной промышленности и VR. Поэтому было логично продемонстрировать приложения своей технологии для самостоятельных автомобилей. Усилия были предприняты с его приобретением VisLab в 2015 году. VisLab и его основатель Broggi были ранними пионерами в автономных транспортных средствах, начиная с 1990-х годов, благодаря своей работе в Университете Пармы и были поставщиками технологий в команде Terramax в знаменитой программе DARPA 2005 года перед тем, как выпустить VisLab в качестве отдельной компании в 2009 году.

Процессоры CV1 выполняют распознавание объектов и отслеживание движения в дополнение к созданию облака 3D-точек, как вы можете видеть из этого представления в реальном времени о перцептивной системе автомобиля
Процессоры CV1 выполняют распознавание объектов и отслеживание движения в дополнение к созданию облака 3D-точек, как вы можете видеть из этого представления в реальном времени о перцептивной системе автомобиля

EVA Road Test

Команда из Ambarella и ее дочерней компании VisLab вывела меня на тест-драйв в демонстрационном автомобиле EVA. У меня было хорошее представление о том, что система увидела, когда мы ехали через специальный монитор перед моим сиденьем. Он показал как собственную оценку автомобиля, так и данные GPS для стартеров. Более интересно, он также показывал объекты, поскольку они были обнаружены и идентифицированы. Визуальные вычисления в реальном времени были впечатляющими. Стационарные объекты, движущиеся объекты, в том числе автомобили и люди, и семантически важные объекты, такие как стоп-сигналы, были быстро идентифицированы и сообщены.

Наша демоверсия EVA была разработана, чтобы подчеркнуть некоторые из возможностей его системы видения
Наша демоверсия EVA была разработана, чтобы подчеркнуть некоторые из возможностей его системы видения

Локализация и планирование пути не были столь же отполированными. Данные GPS блуждали (несмотря на использование автомобиля с высокой точностью GPS) и начали путать автомобиль, когда он вступал в противоречие со своими собственными данными (основываясь на том, что он визуально отображается на известных картах). Это вызвало некоторое плетение в нашей переулке. Это, плюс некоторые колебания в планировании пути, также вызвало у нас проблемы с сложными линиями.

С другой стороны, системы предотвращения столкновений и безопасности автомобиля работали очень хорошо. Мы смогли безопасно слиться на оживленной автомагистрали на почти ослепительной рампе, и, когда она была удивлена ​​машиной, выходящей из автостоянки, наша машина тормозилась практически мгновенно. В целом, поскольку основная технология, которую специализируются Ambarella и VisLab, - это система видения и обработки, я был очень впечатлен этой частью системы.

Я спросил Брогги о ночном вождении без лидара, и он сделал разумную мысль, что, как и у человека, фары автомобиля предназначены для обеспечения безопасной видимости в прямом направлении, а большинство других предметов, движущихся к машине, имеют свои собственные огни. В конце концов, люди являются доказательством существования возможности ночного вождения без лидарного или инфракрасного освещения. Тем не менее, все еще может быть сложно убедить партнеров и, в конечном счете, регуляторов безопасности, которые могут последовать за автономными транспортными средствами.

Читать далее

Новый MIT AI самостоятельно конструирует роботов
Новый MIT AI самостоятельно конструирует роботов

Команда считает, что RoboGrammar может указать исследователям новые направления, ведущие к более эффективным и изобретательным проектам.

Elon Musk говорит, что Тесла полное самостоятельное вождение почти готово к выпуску
Elon Musk говорит, что Тесла полное самостоятельное вождение почти готово к выпуску

MUSK говорит, что компания наконец-то установлена ​​для освобождения полного обновления самостоятельной вождения (FSD) для совместимых автомобилей Tesla в США, но это не первый раз, когда он это сказал. Если это правда на этот раз, программное обеспечение начнет выкатываться в полночь 10 сентября на бета-тестеры. Если все будет запланировано, окончательный запуск может быть всего несколько недель спустя.

Tesla выкатывает ежемесячную подписку в 200 долларов за «полное самостоятельное вождение»
Tesla выкатывает ежемесячную подписку в 200 долларов за «полное самостоятельное вождение»

Некоторые расплывающие языки на детали Тесла означает, что транспортные средства, продающиеся как наличие полных автопилотных возможностей, могут потребоваться дополнительное обновление оборудования в размере 1500 долларов для использования FSD.

Perrone Robotics: мы сделаем автомобили, пылесосы, горные грузовики самостоятельно
Perrone Robotics: мы сделаем автомобили, пылесосы, горные грузовики самостоятельно

Непрерывный запуск PRI рассматривает масштабируемые автономные платформы. Даже Малины Пи достаточно для простой автономии. Выживание позвоночных лабораторий может изменить то, как мы думаем об автономных устройствах.