Nvidia AI компенсирует ваши плохие навыки фотографии, стирая шум из изображений

Съемка фотографии при плохом освещении часто приводит к чему-то слишком пикселированному и шумному, чтобы быть полезным. Усовершенствованная обработка программного обеспечения на некоторых телефонах и камерах может исправить умеренный шум, но новый проект от Nvidia, MIT и Aalto University использует AI для исправления экстремальных уровней шума. Даже если система «Noise2Noise» никогда раньше не видела изображения, она может де-шумоподавлять ее, чтобы получить что-то очень близкое к оригиналу.

Noise2Noise - нейронная сеть, что означает, что вам нужно тренировать ее с большим количеством данных. Команда использовала 50 000 изображений из базы данных ImageNet, которая содержит четкие изображения с высоким разрешением. Разумеется, сеть должна видеть шумные изображения, чтобы понять, как их отключить. Таким образом, команда искусственно добавила шум изображениям и использовала их для обучения алгоритма.

Nvidia предоставила банку графических процессоров Tesla P100 для запуска сетевого обучения с расширенной cuDNN платформой TensorFlow. Сеть была отрегулирована до тех пор, пока она не смогла вытащить шум и не доставить что-то близкое к исходному изображению набора данных. Истинный тест - это то, как сеть обрабатывает новые изображения, которые ранее не видели. Команда сообщает, что Noise2Noise может удалять артефакты и шум с высокой степенью точности.

Исследователи указывают на несколько возможных приложений для Noise2Noise. Фотосъемка с низкой освещенностью, вероятно, та самая, которая оказала бы самое непосредственное влияние на вашу жизнь. Вы можете запускать свои шумные фотографии через Noise2Noise и в итоге получить что-то более приятное. Астрофотография часто включает очень длинные экспозиции, что приводит к сильному шуму. Этот же процесс может быть применен здесь, чтобы сделать изображения пространства более ясными. Изображения МРТ страдают от подобных шумовых проблем, и команда тестировала Noise2Noise как способ их очистки.

Многие производители фотоаппаратов и смартфонов имеют свои собственные алгоритмы обработки, которые снимают шум из изображений RAW, прежде чем показывать вам окончательный jpeg. По большей части они не полагаются на ту же технологию, что и Noise2Noise. Единственное, что близко, - это Google, который использовал технологию машинного обучения в Pixel-камеру для выполнения аналогичной работы по снижению шума. Тем не менее, он нигде не близок. Noise2Noise может разрешить детали из почти неузнаваемого пикселированного изображения. Конечный продукт выглядит немного неестественно гладким, но это проблема даже при менее сильной обработке изображений.

Исследователи представляют свою работу на Международной конференции по компьютерному обучению в Стокгольме, Швеция. На данный момент это все еще просто любопытство в области компьютерных наук, но обработка изображений - это большой бизнес. Практическое приложение может стать большим хитом.

Читать далее

Антенна спутникового Интернета Amazon выдает 400 Мбит / с во время тестирования

Предстоящая служба Amazon Project Kuiper будет похожа на Starlink, но компания утверждает, что ее прототип Ka-фазированной антенной решетки даст ей преимущество.

Протестировано: ZBook Fury 15 G7 от HP - это золотая середина портативной рабочей станции

Новейшее поколение HP ZBook Fury 15 занимает золотую середину между ноутбуками весом менее пяти фунтов, предназначенными для творческих людей, и гигантскими бескомпромиссными моделями, которые могут весить семь или восемь фунтов. Zbook Fury 15 обладает множеством возможностей и множеством функций при весе менее шести фунтов.

Microsoft теперь тестирует двухэкранные игровые игры в проходе Xbox Pass на поверхности Duo

Поддержка двойной экрана прибыла в последнюю версию бета-версию Xbox Game. Только горстка устройств может использовать режим сегодня, но это может значимо улучшить игровые панели на аппаратном обеспечении двойного экрана.

Intel хочет $ 9,7 млрд для европейского Fab, инвестируют 3,5 млрд долларов в новом литейном Мексике

Intel инвестирует 3,5 миллиарда долларов в новом литейном Мексике, чтобы расширить использование Foveros и готово построить массивный новый завод в Европе, если субсидии являются правы.