Nvidia AI компенсирует ваши плохие навыки фотографии, стирая шум из изображений

Съемка фотографии при плохом освещении часто приводит к чему-то слишком пикселированному и шумному, чтобы быть полезным. Усовершенствованная обработка программного обеспечения на некоторых телефонах и камерах может исправить умеренный шум, но новый проект от Nvidia, MIT и Aalto University использует AI для исправления экстремальных уровней шума. Даже если система «Noise2Noise» никогда раньше не видела изображения, она может де-шумоподавлять ее, чтобы получить что-то очень близкое к оригиналу.

Noise2Noise - нейронная сеть, что означает, что вам нужно тренировать ее с большим количеством данных. Команда использовала 50 000 изображений из базы данных ImageNet, которая содержит четкие изображения с высоким разрешением. Разумеется, сеть должна видеть шумные изображения, чтобы понять, как их отключить. Таким образом, команда искусственно добавила шум изображениям и использовала их для обучения алгоритма.

Nvidia предоставила банку графических процессоров Tesla P100 для запуска сетевого обучения с расширенной cuDNN платформой TensorFlow. Сеть была отрегулирована до тех пор, пока она не смогла вытащить шум и не доставить что-то близкое к исходному изображению набора данных. Истинный тест - это то, как сеть обрабатывает новые изображения, которые ранее не видели. Команда сообщает, что Noise2Noise может удалять артефакты и шум с высокой степенью точности.

Исследователи указывают на несколько возможных приложений для Noise2Noise. Фотосъемка с низкой освещенностью, вероятно, та самая, которая оказала бы самое непосредственное влияние на вашу жизнь. Вы можете запускать свои шумные фотографии через Noise2Noise и в итоге получить что-то более приятное. Астрофотография часто включает очень длинные экспозиции, что приводит к сильному шуму. Этот же процесс может быть применен здесь, чтобы сделать изображения пространства более ясными. Изображения МРТ страдают от подобных шумовых проблем, и команда тестировала Noise2Noise как способ их очистки.

Многие производители фотоаппаратов и смартфонов имеют свои собственные алгоритмы обработки, которые снимают шум из изображений RAW, прежде чем показывать вам окончательный jpeg. По большей части они не полагаются на ту же технологию, что и Noise2Noise. Единственное, что близко, - это Google, который использовал технологию машинного обучения в Pixel-камеру для выполнения аналогичной работы по снижению шума. Тем не менее, он нигде не близок. Noise2Noise может разрешить детали из почти неузнаваемого пикселированного изображения. Конечный продукт выглядит немного неестественно гладким, но это проблема даже при менее сильной обработке изображений.

Исследователи представляют свою работу на Международной конференции по компьютерному обучению в Стокгольме, Швеция. На данный момент это все еще просто любопытство в области компьютерных наук, но обработка изображений - это большой бизнес. Практическое приложение может стать большим хитом.