Hands Off с камерой Ambarella для самостоятельного вождения автомобиля

Это обычная мудрость в индустрии самообслуживания, в которой лидар является обязательным. Время от времени некоторые спорили иначе, но почти все серьезные усилия в настоящее время включают по крайней мере один лидар - до сих пор. Создатель чипов Ambarella, самый известный для создания систем обработки изображений, найденных во многих камерах и смартфонах, представил свой автомобиль развития EVA (встроенная автономия), построенный на его архитектуре CVFlow и фаланге из 20 камер, работающих на 16 из его CV1-изображения и видения обработки SoCs. Мне посчастливилось стать одним из первых журналистов, которые будут ездить в одном, поскольку фирма сейчас проводит ограниченное тестирование на дорогах общего пользования в Санта-Кларе, штат Калифорния.

Ambarella не пытается идти вперёд с автомобильными компаниями и планирует запустить собственные самоходные транспортные средства. Вместо этого EVA, которая построена на модифицированном Lincoln MKZ, представляет собой демонстрационную и дизайнерскую витрину для того, что Ambarella может принести этим компаниям на пути решения автономного транспортного средства, основанного почти исключительно на зрении, хотя у него есть одна передняя сторона радар, чтобы помочь в сложной погоде.

Все с длинными и ближними камерами

Каждая стереокамера питается от собственной пары датчиков SoCs CV1 от Ambarella. В камерах используются датчики Sony IMX317, которые примерно того же размера, что и типичный сенсор смартфона, но имеют более низкое разрешение, чтобы дать им большие пиксели и улучшенные характеристики с низким и высоким динамическим диапазоном. Генеральный директор подразделения Ambarella VisLab Альберто Брогги подчеркнул важность интеграции модулей видения с ISP (Image Signal Processor) в камеру. Это возможно, потому что Ambarella как компания делает большую часть своих современных систем ISP для самых разных приложений.

Короткие стереофонические камеры размещаются спереди, сзади и с обеих сторон автомобиля. Используя линзы fisheye, это обеспечивает EVA полный 360-градусный обзор области непосредственно вокруг автомобиля. Четыре стереокамеры поддерживаются выделенной парой CV1 SoCs и используют массив 2MP IMX290 от Sony, которые имеют очень большие пиксели.

Завершение работы системы - это фронт-радар для резервирования и плохой видимости, а также ПК для выполнения задач слияния, локализации и планирования на более высоком уровне. В этом демонстрационном видео вы можете увидеть общую схему датчика на EVA, а также то, что он видит (начиная примерно 40 секунд), облако 3D-точек, которое он создает, и объекты, которые он распознает при движении по пригородной улице. Системы ближнего и дальнего действия слиты так, что автомобиль имеет вид от ближайшего бордюра до объектов в сотнях метров.

CV1 и теперь CV2 обеспечивают обработку изображений и изображений

Испытательное транспортное средство EVA было оснащено чипами CV1, но компания только что объявила о преемнике CV2, который в 20 раз превосходит мощность обработки, примерно на той же удивительно низкой мощности, равной 4 Вт. Компания надеется, что с CV2 и некоторой дополнительной разработкой он сможет запускать весь автономный багаж транспортного средства исключительно на своих собственных чипах, даже не нуждаясь в том, что ПК в настоящее время выполняет некоторые функции системы.

Почему Амбарелла?

Ambarella не является именем для многих, даже тех, кто следует за технологией. Но вы почти наверняка использовали либо систему камеры, которую они разработали, либо сфотографировали ее. Компания специализируется на предоставлении широкого спектра решений для визуализации и визуализации на основе кремния для ряда отраслей, в том числе беспилотных летательных аппаратов, носителей, безопасности, автомобильной промышленности и VR. Поэтому было логично продемонстрировать приложения своей технологии для самостоятельных автомобилей. Усилия были предприняты с его приобретением VisLab в 2015 году. VisLab и его основатель Broggi были ранними пионерами в автономных транспортных средствах, начиная с 1990-х годов, благодаря своей работе в Университете Пармы и были поставщиками технологий в команде Terramax в знаменитой программе DARPA 2005 года перед тем, как выпустить VisLab в качестве отдельной компании в 2009 году.

EVA Road Test

Команда из Ambarella и ее дочерней компании VisLab вывела меня на тест-драйв в демонстрационном автомобиле EVA. У меня было хорошее представление о том, что система увидела, когда мы ехали через специальный монитор перед моим сиденьем. Он показал как собственную оценку автомобиля, так и данные GPS для стартеров. Более интересно, он также показывал объекты, поскольку они были обнаружены и идентифицированы. Визуальные вычисления в реальном времени были впечатляющими. Стационарные объекты, движущиеся объекты, в том числе автомобили и люди, и семантически важные объекты, такие как стоп-сигналы, были быстро идентифицированы и сообщены.

Локализация и планирование пути не были столь же отполированными. Данные GPS блуждали (несмотря на использование автомобиля с высокой точностью GPS) и начали путать автомобиль, когда он вступал в противоречие со своими собственными данными (основываясь на том, что он визуально отображается на известных картах). Это вызвало некоторое плетение в нашей переулке. Это, плюс некоторые колебания в планировании пути, также вызвало у нас проблемы с сложными линиями.

С другой стороны, системы предотвращения столкновений и безопасности автомобиля работали очень хорошо. Мы смогли безопасно слиться на оживленной автомагистрали на почти ослепительной рампе, и, когда она была удивлена ​​машиной, выходящей из автостоянки, наша машина тормозилась практически мгновенно. В целом, поскольку основная технология, которую специализируются Ambarella и VisLab, - это система видения и обработки, я был очень впечатлен этой частью системы.

Я спросил Брогги о ночном вождении без лидара, и он сделал разумную мысль, что, как и у человека, фары автомобиля предназначены для обеспечения безопасной видимости в прямом направлении, а большинство других предметов, движущихся к машине, имеют свои собственные огни. В конце концов, люди являются доказательством существования возможности ночного вождения без лидарного или инфракрасного освещения. Тем не менее, все еще может быть сложно убедить партнеров и, в конечном счете, регуляторов безопасности, которые могут последовать за автономными транспортными средствами.

Читать далее

Сторонние ремонтные мастерские могут быть заблокированы для обслуживания камеры iPhone 12

Согласно недавнему отчету iFixit, неприязнь Apple к праву на ремонт достигла новых высот с iPhone 12 и iPhone 12 Pro.

Новый смартфон Sony Xperia Pro - это аксессуар для камеры за 2500 долларов

Это устройство предназначено для профессиональных фотографов и энтузиастов, которым нужен мощный аксессуар для своих фотоаппаратов. Это также первый смартфон Sony 5G в США, но его цена потрясающая - 2500 долларов.

Google будет использовать камеру Pixel для измерения пульса и дыхания

Как и многие другие проекты машинного обучения Google, этот в первую очередь появится на телефонах Pixel, и, вероятно, он будет реализован на других телефонах.

В новом телефоне Xiaomi есть дополнительный дисплей в горке камеры

Китайский мобильный гигант Xiaomi собирается анонсировать новое устройство под названием Mi 11 Ultra, и информация об устройстве просочилась рано. У него есть гигантский модуль камеры, поддерживающий до 120-кратного увеличения, и даже дополнительный экран. Да скрин в горбатой камере. Думаю, почему бы и нет?