Как работает Ночной прицел Google и почему это так хорошо

Читая всю хитроумную хвалу для новой функции ночного видения Night Sight для пиксельных телефонов, вы были бы прощены за то, что Google только что изобрел цветной фильм. Фактически, режимы ночной съемки не новы, и многие из основных технологий возвращаются годами. Но Google проделал удивительную работу по объединению своего мастерства в области вычислительной визуализации с ее непревзойденной силой в обучении машинам, чтобы продвинуть возможности за тем, что ранее было замечено на мобильном устройстве. Мы рассмотрим историю съемки с использованием нескольких изображений с низкой освещенностью, как она, вероятно, используется Google, и размышлять о том, что ИИ приносит на вечеринку.

Проблема маломощной фотографии

Большие пиксели, обычно встречающиеся в более крупных датчиках, являются традиционной стратегией решения этой проблемы. К сожалению, датчики камеры телефона крошечные, что приводит к небольшим фотографиям (пикселям), которые хорошо работают в хорошем освещении, но быстро снижаются по мере уменьшения уровня освещенности.

Это оставляет дизайнеров телефонных камер с двумя вариантами улучшения изображений с низким освещением. Первый заключается в использовании нескольких изображений, которые затем объединяются в одну, более низкую шумовую версию. Ранней реализацией этого в аксессуаре для мобильных устройств был режим SRAW дополнения DxO ONE для iPhone. Он объединил четыре изображения RAW для создания одной улучшенной версии. Во-вторых, использовать умную пост-обработку (с недавними версиями, часто используемыми машинным обучением) для уменьшения шума и улучшения объекта. Google Night Sight использует оба из них.

Multi-Image, Single-Capture

К настоящему времени мы все привыкли к нашим телефонам и камерам, объединяющим несколько изображений в один, в основном для улучшения динамического диапазона. Независимо от того, является ли это традиционным скобковым набором экспозиций, подобным большинству компаний, или HDR + Google, который использует несколько коротких изображений, результатом может быть превосходное окончательное изображение - если артефакты, вызванные слиянием нескольких изображений движущейся сцены вместе, могут быть сведено к минимуму. Обычно это делается путем выбора базового кадра, который наилучшим образом представляет сцену, а затем слияния полезных частей других кадров в него для улучшения изображения. Huawei, Google и другие также использовали этот же подход для создания телеобъективов лучшего разрешения. Недавно мы видели, как важно выбрать правильный базовый фрейм, поскольку Apple объяснила свой «BeautyGate» snafu как ошибку, из-за которой был выбран неправильный базовый фрейм из захваченной последовательности.

Таким образом, имеет смысл только то, что Google, по сути, объединил эти виды использования захвата нескольких изображений для создания улучшенных изображений с низким освещением. При этом он основывается на серии умных нововведений в области визуализации. Вполне вероятно, что приложение Android от Marc Levoy SeeInTheDark и его документ 2015 года «Экстремальное изображение с использованием сотовых телефонов» стали причиной этих усилий. Левой был пионером в области вычислительной визуализации в Стэнфорде и теперь является выдающимся инженером, работающим над технологией камеры для Google. SeeInTheDark (продолжение в его предыдущем приложении SynthCam iOS) использовал стандартный телефон для накапливания кадров, деформирования каждого кадра в соответствии с накопленным изображением, а затем выполнения различных мер по уменьшению шума и улучшению изображения для создания замечательного финального слабого освещения образ. В 2017 году инженер Google, Флориан Канц, построил на некоторых из этих концепций, чтобы показать, как можно использовать телефон для создания изображений профессионального качества даже при очень низком освещении.

Укладка нескольких изображений с низким уровнем освещенности является известной методикой

Фотографы собирали несколько кадров вместе, чтобы улучшить работу с низким освещением с начала цифровой фотографии (и я подозреваю, что некоторые даже сделали это с фильмом). В моем случае я начал делать это вручную, а позже использовал отличный инструмент под названием Image Stacker. Поскольку ранние DSLR были бесполезны при высоких ISO, единственный способ получить отличные ночные снимки состоял в том, чтобы взять несколько кадров и уложить их. Некоторые классические кадры, такие как звездные тропы, изначально были лучше всего захвачены таким образом. В наши дни практика не очень распространена с DSLR и зеркальными камерами, так как современные модели обладают отличными характеристиками высокого уровня ISO и длительной экспозицией. Я могу оставить затвор открытым на моем Nikon D850 в течение 10 или 20 минут и по-прежнему получать очень удобные снимки.

Поэтому имеет смысл, что производители телефонов последуют этому примеру, используя аналогичные технологии. Однако, в отличие от фотографов-фотографов, стреляющих по звездным тропам с помощью штатива, средний пользователь телефона хочет мгновенного удовлетворения и почти никогда не будет использовать штатив. Таким образом, у телефона есть дополнительные проблемы, связанные с тем, что захват с низким уровнем света происходит довольно быстро, а также минимизирует размытие от дрожания камеры - и в идеале даже от движения объекта. Даже стабилизация оптического изображения, обнаруженная на многих телефонах высокого класса, имеет свои пределы.

Я не уверен, что производитель телефонов сначала использовал захват нескольких изображений для улучшения слабой освещенности, но первым, который я использовал, является Huawei Mate 10 Pro. Его режим ночного выстрела снимает серию изображений в течение 4-5 секунд, а затем вставляет их в одну последнюю фотографию. Поскольку Huawei оставляет активным предварительный просмотр в реальном времени, мы видим, что за это время он использует несколько разных экспозиций, в основном создавая несколько изображений в квадратных скобках.

В своей статье, посвященной оригинальному HDR +, Levoy делает так, что множественные экспозиции сложнее выровнять (именно поэтому HDR + использует много одинаково открытых кадров), поэтому вполне вероятно, что Night Sight от Google, например SeeInTheDark, также использует серию кадров с идентичными экспозициями. Однако Google (по крайней мере, в предварительной версии приложения) не оставляет изображение в реальном времени на экране телефона, так что это просто спекуляция с моей стороны. Samsung использовал другую тактику в Galaxy S9 и S9 + с основным объективом с двумя апертурами. Для улучшения качества изображения он может переключиться на впечатляющий f / 1,5 при слабом освещении.

Сравнение возможностей Huawei и Low-Light Camera от компании Huawei

У меня пока нет Pixel 3 или Mate 20, но у меня есть доступ к Mate 10 Pro с Night Shot и Pixel 2 с предварительной версией Night Sight. Поэтому я решил сравнить себя. По итогам серии тестов Google явно продемонстрировал Huawei с более низким уровнем шума и более резкими изображениями. Вот одна тестовая последовательность, иллюстрирующая:

Является ли машинное обучение частью тайного соуса ночного видения?

Учитывая, сколько времени было уложено в стеке, и сколько изготовителей камер и телефонов использовали какую-то их версию, справедливо спросить, почему «Ночной прицел» Google кажется намного лучше, чем что-либо еще. Во-первых, даже технология в оригинальной статье Левоя очень сложна, поэтому годы, которые Google должен был продолжать улучшать, должны дать им достойное начало для кого-либо еще. Но Google также сказал, что Night Sight использует машинное обучение для определения правильных цветов для сцены на основе контента.

Это довольно здорово звучание, но и довольно расплывчатое. Неясно, является ли он сегментированием отдельных объектов, чтобы он знал, что они должны быть согласованным цветом или соответствующим образом окрашивать хорошо известные объекты или глобально распознавать тип сцены, как это делают интеллектуальные алгоритмы автоэкспозиции, и решать, как такие сцены должны быть обычно смотрят (зеленая листва, белый снег и голубые небеса). Я уверен, что как только окончательная версия выйдет, и фотографы получат больше опыта с возможностями, мы узнаем больше об этом использовании машинного обучения.

Другое место, где машинное обучение могло бы пригодиться, - это первоначальный расчет воздействия. Основная технология HDR +, лежащая в основе Night Sight, как описано в документе SIGGRAPH от Google, основывается на наборе данных с тысячами образцов, помеченных вручную, чтобы помочь определить правильную экспозицию. Это похоже на область, где машинное обучение может привести к некоторым улучшениям, особенно при расширении расчета экспозиции в условиях очень низкой освещенности, где объекты на сцене шумны и трудно различимы. Google также экспериментирует с использованием нейронных сетей для улучшения качества изображения на телефоне, поэтому было бы неудивительно начинать рассматривать некоторые из этих методов.

Какая бы комбинация этих методов Google не использовала, результат, безусловно, лучший в мире режим с низкой освещенностью на рынке. Это будет интересно, так как семейство Huawei P20 выкарабкается, сможет ли он использовать свою способность Night Shot ближе к тому, что сделал Google.

Читать далее

Режим «Ночного видения» Google «Ночной прицел»

«Ночной прицел», как следует из названия, представляет собой режим камеры для съемки фотографий в условиях низкой освещенности.