Nvidia AI компенсує ваші бідні фотографічні навички, знищуючи шум у зображеннях

Якщо зробити фотографію у поганому освітленні, це може призвести до того, що щось занадто пікселізоване та шумне, щоб бути корисним. Розширена обробка програмного забезпечення на деяких телефонах і камерах може виправити помірний шум, але новий проект від Nvidia, MIT і Aalto University використовує AI для виправлення екстремальних рівнів шуму. Навіть якщо система "Noise2Noise" ніколи раніше не бачила зображення, вона може змусити його зняти щось дуже близько до оригіналу.

Noise2Noise - це нейронна мережа, що означає, що вам потрібно навчити його великою кількістю даних. Команда використовувала 50 000 зображень із бази даних ImageNet, яка містить чіткі зображення з високою роздільною здатністю. Звичайно, мережа повинна переглядати шумні зображення, щоб зрозуміти, як їх де-шумати. Отже, команда штучно додав шуму до зображень і використовував їх для навчання алгоритму.

Nvidia зробила внесок у банк Tesla P100 GPU, щоб запустити тренінг з мережею за допомогою глибокого навчального плану TensorFlow з прискоренням cuDNN. Мережа була налагоджена, поки вона не змогла зняти шум і доставити щось близько до оригінального зображення набору даних. Справжній тест полягає в тому, як мережа обробляє нові зображення, які раніше не бачили. Група повідомляє, що Noise2Noise може видалити артефакти та шум з високою точністю.

Дослідники вказують на кілька можливих програм для Noise2Noise. Зйомка з низькою освітленням, мабуть, така, яка найбільшою мірою вплине на ваше життя. Ви можете запустити свої шумні фотографії через Noise2Noise і закінчити тим, що виглядає набагато приємніше. Астрофотографія часто включає дуже довгі експозиції, що призводить до високого рівня шуму. Той самий процес можна застосувати тут, щоб полегшити зображення просторі. Зображення з МРТ страждають від подібних шумових проблем, і команда тестувала Noise2Noise, як спосіб їх очищення.

Багато виробників фотоапаратів і смартфонів мають власні алгоритми обробки, що позбавляють шум від зображень RAW перед тим, як показати вам остаточний jpeg. Здебільшого, вони не покладаються на ту ж технологію, що і Noise2Noise. Єдине, що є близьким, - це компанія Google, яка застосувала технологію машинного навчання в камерах Pixel, щоб зробити подібну роботу з зменшення шуму. Проте це недалеко, як крайня. Noise2Noise може вирішити деталі з майже невизначеного пікселювання зображення. Кінцевий продукт виглядає трохи неприродно гладким, але це проблема навіть при менш потужній обробці зображень.

Дослідники представляють свою роботу на Міжнародній конференції з машинного навчання в Стокгольмі, Швеція. В даний час це просто цікава комп'ютерна наука, але обробка зображень - це великий бізнес. Практичне застосування може бути великим хітом.