Як працює нічний погляд Google, і чому це так добре

Читаючи всю хвалебну славу нової технології зйомки Google для фотографій з низьким рівнем світла для телефонів Pixel, вам буде пробачена думка, що Google тільки що винайшов колірну плівку. Справді, нічні режими зйомки не є новими, і багато основних технологій минули роки. Але компанія Google зробила дивовижну роботу по поєднанню своєї майстерності в обчислювальній візуалізації з її неперевершеною силою в машинобудуванні, щоб натиснути цю можливість на минулому раніше, ніж це було на мобільному пристрої. Ми подивимось на історію зйомки знімків із малою кількістю зображень, як це скоріше за все використовується компанією Google, і роздумувати про те, що AI приносить на вечірку.

Виклик фотографії низької освітленості

Більші пікселі, як правило, знаходяться в більших датчиках, є традиційною стратегією вирішення цієї проблеми. На жаль, датчики телефонних камер є крихітними, в результаті чого невеликі фотографії (пікселі), які добре працюють при гарному освітленні, але швидко не працюють, оскільки рівень освітлення зменшується.

Це залишає дизайнерів телефонних камер з двома варіантами для поліпшення зображень з низьким рівнем світла. Перше - це використання декількох зображень, які потім об'єднуються в одну, більш низькошвидкісну версію. Рання реалізація цього в аксесуарі мобільного пристрою була режимом SRAW для додатка DxO ONE для iPhone. Він об'єднав чотири зображення RAW для створення однієї вдосконалшої версії. Друга - використовувати розумну пост-обробку (з останніми версіями, часто за допомогою машинного навчання), щоб зменшити шум і покращити тему. Google Night View використовує обидва з них.

Мульти-зображення, однозаписні

На сьогодні всі ми використовуємо наші телефони та фотоапарати, об'єднуючи декілька зображень, головним чином для покращення динамічного діапазону. Незалежно від того, чи це традиційний набір експозицій, який використовується більшістю компаній, або HDR + Google, який використовує кілька короткочасних зображень, результат може бути чудовим кінцевим зображенням - якщо артефакти, викликані об'єднанням декількох зображень з переміщенням, можуть бути мінімізованим Як правило, це робиться, вибираючи базовий кадр, який найкраще представляє сцену, а потім об'єднуючи корисні частини інших кадрів у нього для покращення зображення. Huawei, Google та інші також використовували цей самий підхід для створення телеоб'єктів з кращою роздільною здатністю. Нещодавно ми побачили, наскільки важливо вибрати правильний основний кадр, оскільки Apple пояснив, що його "BeautyGate" snafu є помилкою, в якій вибирається неправильний основний кадр із зафіксованої послідовності.

Тому має сенс, що Google, по суті, об'єднав ці способи зйомки з декількома зображеннями для створення кращих зображень з низьким рівнем світла. При цьому він спирається на серію розумних нововведень у галузі обробки зображень. Цілком можливо, що генерація цього зусилля стала додатком Android від Marc Levoy SeeInTheDark та його доповіддю 2015 року "Екстремальне зображення за допомогою мобільних телефонів". Левой був піонером в області обчислювальних зображень у Стенфорді, і зараз він є заслуженим інженером, який працює над технологією камери для Google. SeeInTheDark (продовження його попереднього додатку SynthCam для iOS) використовував стандартний телефон для накопичення кадрів, деформацію кожного кадру відповідно до накопиченого зображення, а потім виконувавши різноманітні кроки для зменшення шуму та покращення зображення, щоб зробити чудовий остаточний низький рівень освітлення зображення У 2017 році інженер Google, Флоріан Канз, побудував деякі з цих концепцій, щоб показати, як телефон може бути використаний для створення професійних зображень навіть у дуже низькому світлі.

Укладання кількох зображень з низьким освітленням - це відома техніка

З початку створення цифрової фотографії фотографы об'єднували кілька кадрів для поліпшення роботи з низьким освітленням (і я підозрюю, що деякі навіть зробили це з фільмом). У моєму випадку я почав робити це вручну, а потім використовував яскравий інструмент під назвою Image Stacker. Оскільки ранні DSLR були марними на високих ISO, єдиним способом отримати великі нічні знімки було прийняття декількох кадрів і їх складання. Деякі класичні знімки, як-от зоряні траси, спочатку були найкращим чином захоплені. На сьогоднішній день ця практика не дуже поширена у цифрових дзеркальних фотокамерах та без дзеркальних фотоапаратах, оскільки сучасні моделі мають чудові високоякісні високоякісні характеристики та високий рівень шуму. Я можу залишити затвор відкритим на моєму Nikon D850 протягом 10 або 20 хвилин, але все одно отримувати деякі дуже зручні кадри.

Тому має сенс, що виробники телефонів слідкують за цим прикладом, використовуючи подібні технології. Однак, на відміну від фотографів-пацієнтів, які знімають зірки, використовуючи штатив, середній користувач телефону хоче отримати миттєве задоволення, і майже ніколи не використовувати штатив. Таким чином, у телефона виникають додаткові проблеми, пов'язані з тим, що захоплення з низьким освітленням відбувається досить швидко, а також мінімізувати розмитість при струшуванні камери - і в ідеалі навіть від руху об'єкта. Навіть стабілізація оптичного зображення на багатьох телефонах високого класу має свої межі.

Я не позитивний, який виробник телефонів вперше застосував захоплення кількох зображень, щоб покращити низький рівень освітлення, але першим я використовував Huawei Mate 10 Pro. Режим Night Shot знімає серію зображень протягом 4-5 секунд, після чого об'єднує їх у одне остаточне фото. Оскільки Huawei залишає активний попередній перегляд у режимі реального часу, ми можемо побачити, що в той час він використовує декілька різних експозицій, створюючи, по суті, кілька зображень у квадратних дужках.

У своєму документі, присвяченому оригінальному HDR +, Левой робить випадок, що виправлення декількох знімків важче вирівняти (саме тому HDR + використовує багато ідентично виставлених кадрів), тому ймовірно, що Google Night View, як і SeeInTheDark, також використовує серію кадрів з ідентичними експозиціями. Однак Google (принаймні в попередній версії додатка) не залишає зображення в режимі реального часу на екрані телефону, так що це лише міркування з мого боку. Samsung використовувала іншу тактику в Galaxy S9 і S9 + з основною лінзою з двома апертурою. Він може перейти на вражаючий f / 1.5 у слабкому світлі, щоб покращити якість зображення.

Порівняння можливостей Huawei і Low-Light камери Google

У мене ще немає Pixel 3 або Mate 20, але у мене є доступ до Mate 10 Pro з Night Shot і Pixel 2 з попередньою версією Night Sight. Тому я вирішив порівняти для себе. За серію випробувань Google чітко вийшов із Huawei, з меншим шумом і чіткішими зображеннями. Ось одна тестова послідовність для ілюстрації:

Чи машина вивчає частину таємного соусу нічного бачення?

Враховуючи, скільки часу було створено стекування зображень, і скільки фотоапаратів і виробників телефонів застосували певну його версію, варто чесно запитати, чому нічні погляди Google виглядають набагато краще, ніж будь-що інше. По-перше, навіть технологія в оригінальному документі Левоя дуже складна, тому роки, які Google мали продовжувати вдосконалюватися, повинні дати їм пристойний початок для когось іншого. Але Google також сказала, що Night Sight використовує машинне навчання, щоб вирішити правильні кольори для сцен на основі вмісту.

Це досить прохолодно звучить, але також досить розпливчасто. Не зрозуміло, чи сегментує окремі об'єкти таким чином, щоб вони знали, що вони мають бути послідовним кольором або відтворювати добре відомі об'єкти належним чином, або глобально розпізнавати тип сцени так, як роблять інтелектуальні алгоритми автоекспозиції і вирішують, яким чином ці сцени повинні бути як правило, виглядають (наприклад, зелена листя, білий сніг і сині небо). Я впевнений, що як тільки остаточно вийде версія, а фотографы отримають більше можливостей, ми дізнаємось більше про це використання машинного навчання.

Інше місце, де може стати в нагоді машинного навчання, є початковий розрахунок експозиції. Основна технологія HDR +, що лежить в основі "Нічного погляду", як це задокументовано в документі SIGGRAPH Google, спирається на набір зображень з тисячами сюжетів зразків, які допомагають визначити правильну експозицію для використання. Це здасться схоже на те місце, де машинознавство може призвести до деяких поліпшень, зокрема, для збільшення розрахунку експозиції в умовах з дуже низьким освітленням, де об'єкти на сцені є шумними та важко розпізнати. Компанія Google також експериментувала з використанням нейронних мереж, щоб покращити якість зображення телефону, тому не дивно, як почати бачити деякі з цих методів.

Незалежно від комбінації цих методів, використаних Google, результат, безумовно, є найкращим режимом камери з низьким освітленням на ринку сьогодні. Це буде цікаво, оскільки сім'я Huawei P20 виявляє, чи змогла вона наблизити свою власну "Нічну пострілу" до того, що зробила компанія Google.

Читати далі

Як працюють твердотільні накопичувачі?

Ви коли-небудь задавались питанням, як твердотільні накопичувачі читають і записують дані, або що визначає їх ефективність? Наш технічний пояснювач вас охопив.

Як працюють кеші процесорів L1 та L2 та чому вони є важливою частиною сучасних чіпів

Вам коли-небудь цікаво було, як працюють кеші L1 та L2? Ми раді, що ви запитали. Тут ми глибоко зануримось у структуру та природу одного з найважливіших обчислювальних проектів та інновацій.

Apple працює над процесорами з 32 високопродуктивними ядрами: звіт

Після того, як M1 вдарився кілька тижнів тому, стало очевидно, що зменшувальний процесор - це лише ознака майбутнього. Звіти свідчать про те, що Apple буде швидко збільшувати конкурентну ставку.

Звіт: Apple проігнорувала неодноразові порушення китайським законодавством про працю своїх партнерів

Як повідомляється, Apple закрила очі на неодноразові порушення китайського трудового законодавства на фабриках своїх партнерів протягом останніх шести років.