Hands Off с камерой Ambarella для самостоятельного вождения автомобиля

Hands Off с камерой Ambarella для самостоятельного вождения автомобиля

Это обычная мудрость в индустрии самообслуживания, в которой лидар является обязательным. Время от времени некоторые спорили иначе, но почти все серьезные усилия в настоящее время включают по крайней мере один лидар - до сих пор. Создатель чипов Ambarella, самый известный для создания систем обработки изображений, найденных во многих камерах и смартфонах, представил свой автомобиль развития EVA (встроенная автономия), построенный на его архитектуре CVFlow и фаланге из 20 камер, работающих на 16 из его CV1-изображения и видения обработки SoCs. Мне посчастливилось стать одним из первых журналистов, которые будут ездить в одном, поскольку фирма сейчас проводит ограниченное тестирование на дорогах общего пользования в Санта-Кларе, штат Калифорния.

Ambarella не пытается идти вперёд с автомобильными компаниями и планирует запустить собственные самоходные транспортные средства. Вместо этого EVA, которая построена на модифицированном Lincoln MKZ, представляет собой демонстрационную и дизайнерскую витрину для того, что Ambarella может принести этим компаниям на пути решения автономного транспортного средства, основанного почти исключительно на зрении, хотя у него есть одна передняя сторона радар, чтобы помочь в сложной погоде.

Все с длинными и ближними камерами

Hands Off с камерой Ambarella для самостоятельного вождения автомобиля

Каждая стереокамера питается от собственной пары датчиков SoCs CV1 от Ambarella. В камерах используются датчики Sony IMX317, которые примерно того же размера, что и типичный сенсор смартфона, но имеют более низкое разрешение, чтобы дать им большие пиксели и улучшенные характеристики с низким и высоким динамическим диапазоном. Генеральный директор подразделения Ambarella VisLab Альберто Брогги подчеркнул важность интеграции модулей видения с ISP (Image Signal Processor) в камеру. Это возможно, потому что Ambarella как компания делает большую часть своих современных систем ISP для самых разных приложений.

Короткие стереофонические камеры размещаются спереди, сзади и с обеих сторон автомобиля. Используя линзы fisheye, это обеспечивает EVA полный 360-градусный обзор области непосредственно вокруг автомобиля. Четыре стереокамеры поддерживаются выделенной парой CV1 SoCs и используют массив 2MP IMX290 от Sony, которые имеют очень большие пиксели.

Завершение работы системы - это фронт-радар для резервирования и плохой видимости, а также ПК для выполнения задач слияния, локализации и планирования на более высоком уровне. В этом демонстрационном видео вы можете увидеть общую схему датчика на EVA, а также то, что он видит (начиная примерно 40 секунд), облако 3D-точек, которое он создает, и объекты, которые он распознает при движении по пригородной улице. Системы ближнего и дальнего действия слиты так, что автомобиль имеет вид от ближайшего бордюра до объектов в сотнях метров.

CV1 и теперь CV2 обеспечивают обработку изображений и изображений

Hands Off с камерой Ambarella для самостоятельного вождения автомобиля

Испытательное транспортное средство EVA было оснащено чипами CV1, но компания только что объявила о преемнике CV2, который в 20 раз превосходит мощность обработки, примерно на той же удивительно низкой мощности, равной 4 Вт. Компания надеется, что с CV2 и некоторой дополнительной разработкой он сможет запускать весь автономный багаж транспортного средства исключительно на своих собственных чипах, даже не нуждаясь в том, что ПК в настоящее время выполняет некоторые функции системы.

Почему Амбарелла?

Ambarella не является именем для многих, даже тех, кто следует за технологией. Но вы почти наверняка использовали либо систему камеры, которую они разработали, либо сфотографировали ее. Компания специализируется на предоставлении широкого спектра решений для визуализации и визуализации на основе кремния для ряда отраслей, в том числе беспилотных летательных аппаратов, носителей, безопасности, автомобильной промышленности и VR. Поэтому было логично продемонстрировать приложения своей технологии для самостоятельных автомобилей. Усилия были предприняты с его приобретением VisLab в 2015 году. VisLab и его основатель Broggi были ранними пионерами в автономных транспортных средствах, начиная с 1990-х годов, благодаря своей работе в Университете Пармы и были поставщиками технологий в команде Terramax в знаменитой программе DARPA 2005 года перед тем, как выпустить VisLab в качестве отдельной компании в 2009 году.

Процессоры CV1 выполняют распознавание объектов и отслеживание движения в дополнение к созданию облака 3D-точек, как вы можете видеть из этого представления в реальном времени о перцептивной системе автомобиля
Процессоры CV1 выполняют распознавание объектов и отслеживание движения в дополнение к созданию облака 3D-точек, как вы можете видеть из этого представления в реальном времени о перцептивной системе автомобиля

EVA Road Test

Команда из Ambarella и ее дочерней компании VisLab вывела меня на тест-драйв в демонстрационном автомобиле EVA. У меня было хорошее представление о том, что система увидела, когда мы ехали через специальный монитор перед моим сиденьем. Он показал как собственную оценку автомобиля, так и данные GPS для стартеров. Более интересно, он также показывал объекты, поскольку они были обнаружены и идентифицированы. Визуальные вычисления в реальном времени были впечатляющими. Стационарные объекты, движущиеся объекты, в том числе автомобили и люди, и семантически важные объекты, такие как стоп-сигналы, были быстро идентифицированы и сообщены.

Наша демоверсия EVA была разработана, чтобы подчеркнуть некоторые из возможностей его системы видения
Наша демоверсия EVA была разработана, чтобы подчеркнуть некоторые из возможностей его системы видения

Локализация и планирование пути не были столь же отполированными. Данные GPS блуждали (несмотря на использование автомобиля с высокой точностью GPS) и начали путать автомобиль, когда он вступал в противоречие со своими собственными данными (основываясь на том, что он визуально отображается на известных картах). Это вызвало некоторое плетение в нашей переулке. Это, плюс некоторые колебания в планировании пути, также вызвало у нас проблемы с сложными линиями.

С другой стороны, системы предотвращения столкновений и безопасности автомобиля работали очень хорошо. Мы смогли безопасно слиться на оживленной автомагистрали на почти ослепительной рампе, и, когда она была удивлена ​​машиной, выходящей из автостоянки, наша машина тормозилась практически мгновенно. В целом, поскольку основная технология, которую специализируются Ambarella и VisLab, - это система видения и обработки, я был очень впечатлен этой частью системы.

Я спросил Брогги о ночном вождении без лидара, и он сделал разумную мысль, что, как и у человека, фары автомобиля предназначены для обеспечения безопасной видимости в прямом направлении, а большинство других предметов, движущихся к машине, имеют свои собственные огни. В конце концов, люди являются доказательством существования возможности ночного вождения без лидарного или инфракрасного освещения. Тем не менее, все еще может быть сложно убедить партнеров и, в конечном счете, регуляторов безопасности, которые могут последовать за автономными транспортными средствами.

Читать далее

ET предложения Roundup: Dell Inspiron 14 за $ 600, беспроводная резервная камера за $ 64 и более

На охоте за дисконтированным оборудованием для упражнений, чтобы помочь вам оставаться на связи с вашими резолюциями 2018 года? Возможно, вы просто ищете массивное телевидение, чтобы посмотреть большую игру. Ну, сегодняшние сделки наверняка вас охватили. Сейчас все, от ковриков от мыши до подушек до игровых компьютеров, продается прямо сейчас, так что давайте посмотрим.

Патент Samsung показывает телефон с внутренней камерой

Apple лихо зарекомендовала себя с iPhone X, оставив остров без рамки в середине экрана для передних датчиков камеры. Samsung подала патент, который предлагает потенциальную альтернативу - смартфон с камерами и другими датчиками внутри дисплея.

Google нанял фотографов, чтобы помочь обучить AI-Powered «клипы» камеры

Google представила это устройство в октябре 2017 года, но оно по-прежнему недоступно. Ожидается, что он поступит в продажу в ближайшее время, и теперь Google подробно рассказал, как он настроил нейронную сеть камеры, чтобы понять, что является значительным моментом.

Phantom v2640 Высокоскоростная камера может снимать 11 750 кадров в секунду в Full HD

Эта камера записывается с разрешением более высокого разрешения, но это не впечатляющая часть. Нет, впечатляющая часть заключается в том, что он записывается с разрешением более высокого разрешения с невероятным количеством кадров 6 600 кадров в секунду. Вы можете подтолкнуть его еще выше при более низких разрешениях.