Hands Off с камерой Ambarella для самостоятельного вождения автомобиля

Это обычная мудрость в индустрии самообслуживания, в которой лидар является обязательным. Время от времени некоторые спорили иначе, но почти все серьезные усилия в настоящее время включают по крайней мере один лидар - до сих пор. Создатель чипов Ambarella, самый известный для создания систем обработки изображений, найденных во многих камерах и смартфонах, представил свой автомобиль развития EVA (встроенная автономия), построенный на его архитектуре CVFlow и фаланге из 20 камер, работающих на 16 из его CV1-изображения и видения обработки SoCs. Мне посчастливилось стать одним из первых журналистов, которые будут ездить в одном, поскольку фирма сейчас проводит ограниченное тестирование на дорогах общего пользования в Санта-Кларе, штат Калифорния.

Ambarella не пытается идти вперёд с автомобильными компаниями и планирует запустить собственные самоходные транспортные средства. Вместо этого EVA, которая построена на модифицированном Lincoln MKZ, представляет собой демонстрационную и дизайнерскую витрину для того, что Ambarella может принести этим компаниям на пути решения автономного транспортного средства, основанного почти исключительно на зрении, хотя у него есть одна передняя сторона радар, чтобы помочь в сложной погоде.

Все с длинными и ближними камерами

Каждая стереокамера питается от собственной пары датчиков SoCs CV1 от Ambarella. В камерах используются датчики Sony IMX317, которые примерно того же размера, что и типичный сенсор смартфона, но имеют более низкое разрешение, чтобы дать им большие пиксели и улучшенные характеристики с низким и высоким динамическим диапазоном. Генеральный директор подразделения Ambarella VisLab Альберто Брогги подчеркнул важность интеграции модулей видения с ISP (Image Signal Processor) в камеру. Это возможно, потому что Ambarella как компания делает большую часть своих современных систем ISP для самых разных приложений.

Короткие стереофонические камеры размещаются спереди, сзади и с обеих сторон автомобиля. Используя линзы fisheye, это обеспечивает EVA полный 360-градусный обзор области непосредственно вокруг автомобиля. Четыре стереокамеры поддерживаются выделенной парой CV1 SoCs и используют массив 2MP IMX290 от Sony, которые имеют очень большие пиксели.

Завершение работы системы - это фронт-радар для резервирования и плохой видимости, а также ПК для выполнения задач слияния, локализации и планирования на более высоком уровне. В этом демонстрационном видео вы можете увидеть общую схему датчика на EVA, а также то, что он видит (начиная примерно 40 секунд), облако 3D-точек, которое он создает, и объекты, которые он распознает при движении по пригородной улице. Системы ближнего и дальнего действия слиты так, что автомобиль имеет вид от ближайшего бордюра до объектов в сотнях метров.

CV1 и теперь CV2 обеспечивают обработку изображений и изображений

Испытательное транспортное средство EVA было оснащено чипами CV1, но компания только что объявила о преемнике CV2, который в 20 раз превосходит мощность обработки, примерно на той же удивительно низкой мощности, равной 4 Вт. Компания надеется, что с CV2 и некоторой дополнительной разработкой он сможет запускать весь автономный багаж транспортного средства исключительно на своих собственных чипах, даже не нуждаясь в том, что ПК в настоящее время выполняет некоторые функции системы.

Почему Амбарелла?

Ambarella не является именем для многих, даже тех, кто следует за технологией. Но вы почти наверняка использовали либо систему камеры, которую они разработали, либо сфотографировали ее. Компания специализируется на предоставлении широкого спектра решений для визуализации и визуализации на основе кремния для ряда отраслей, в том числе беспилотных летательных аппаратов, носителей, безопасности, автомобильной промышленности и VR. Поэтому было логично продемонстрировать приложения своей технологии для самостоятельных автомобилей. Усилия были предприняты с его приобретением VisLab в 2015 году. VisLab и его основатель Broggi были ранними пионерами в автономных транспортных средствах, начиная с 1990-х годов, благодаря своей работе в Университете Пармы и были поставщиками технологий в команде Terramax в знаменитой программе DARPA 2005 года перед тем, как выпустить VisLab в качестве отдельной компании в 2009 году.

EVA Road Test

Команда из Ambarella и ее дочерней компании VisLab вывела меня на тест-драйв в демонстрационном автомобиле EVA. У меня было хорошее представление о том, что система увидела, когда мы ехали через специальный монитор перед моим сиденьем. Он показал как собственную оценку автомобиля, так и данные GPS для стартеров. Более интересно, он также показывал объекты, поскольку они были обнаружены и идентифицированы. Визуальные вычисления в реальном времени были впечатляющими. Стационарные объекты, движущиеся объекты, в том числе автомобили и люди, и семантически важные объекты, такие как стоп-сигналы, были быстро идентифицированы и сообщены.

Локализация и планирование пути не были столь же отполированными. Данные GPS блуждали (несмотря на использование автомобиля с высокой точностью GPS) и начали путать автомобиль, когда он вступал в противоречие со своими собственными данными (основываясь на том, что он визуально отображается на известных картах). Это вызвало некоторое плетение в нашей переулке. Это, плюс некоторые колебания в планировании пути, также вызвало у нас проблемы с сложными линиями.

С другой стороны, системы предотвращения столкновений и безопасности автомобиля работали очень хорошо. Мы смогли безопасно слиться на оживленной автомагистрали на почти ослепительной рампе, и, когда она была удивлена ​​машиной, выходящей из автостоянки, наша машина тормозилась практически мгновенно. В целом, поскольку основная технология, которую специализируются Ambarella и VisLab, - это система видения и обработки, я был очень впечатлен этой частью системы.

Я спросил Брогги о ночном вождении без лидара, и он сделал разумную мысль, что, как и у человека, фары автомобиля предназначены для обеспечения безопасной видимости в прямом направлении, а большинство других предметов, движущихся к машине, имеют свои собственные огни. В конце концов, люди являются доказательством существования возможности ночного вождения без лидарного или инфракрасного освещения. Тем не менее, все еще может быть сложно убедить партнеров и, в конечном счете, регуляторов безопасности, которые могут последовать за автономными транспортными средствами.

Читать далее

SpaceX запускает бета-версию Starlink Better Than Nothing

Тем немногим счастливчикам, которые получили приглашения попробовать услугу, придется заплатить огромную сумму аванса, а скорость не впечатляет. Тем не менее, это новое поколение спутникового Интернета.

Новая клавиатура Asus Mechanical отображает изображения с 312 крошечными светодиодами

Все, что и скорость опроса 8 000 Гц делает для одного игрового совета навыков.

Logitech's Cloud Gaming Handheld запускается в октябре по цене $ 349

Logitech оснащена ручным управлением Gloud Gaming 7-дюймовым ЖК-дисплеем 1080p и батареей на 6000 мАч, которая хороша для более 12 часов игр.

Razer Edge Cloud Gaming Handheld запускается в январе, начиная с 400 долларов США.

Edge будет доступен только в Wi-Fi, а также 5G в партнерстве с Verizon, но мы знаем только цены для издания Wi-Fi: 399,99 долл. США.