Nvidia AI перетворює звичайний відеозапис у високошвидкісне відео на 240 кадрів в секунду

Nvidia AI перетворює звичайний відеозапис у високошвидкісне відео на 240 кадрів в секунду

Для зйомки повільного відео потрібне захоплення більше, ніж стандартні 30 або 60 кадрів на секунду. Ви можете не завжди мати апаратне забезпечення, що може це зробити, але Nvidia має вирішення проблеми. Він розробив новий алгоритм AI, який може знімати звичайне відео та створювати нові кадри, щоб створити високошвидкісне відео після того, як ви зняли подію. Nvidia здійснив цей подвиг з безліччю графічних процесорів і нейронної мережі.

Швидкісне відео більш доступне, ніж будь-коли. Вам не потрібні мульти-тисячі доларів камерні пристрої, щоб захопити щось у повільному русі, коли такі телефони, як Galaxy S9, можуть знімати в 240 кадрів на секунду. Проте обмежений обсяг пам'яті та потужність обробки означає, що ви можете пройти лише кілька секунд швидкісного відео. Кілька споживачів збираються придбати пристрій, розроблений спеціально для захоплення високошвидкісного відео. Таким чином, система Nvidia може взяти звичайне відео та зробити її швидкою, переглядаючи існуючі кадри. Потім він створює нові проміжні рамки (до семи з них), так що рух стає гладким, коли ви сповільнюєте його.

Нові кадри є гарним наближенням реальності, але вони не реальні - більшість кадрів створено комп'ютером. Nvidia використовувала графічні процесори Tesla V100 і нейронну мережу cuDNN для побудови моделі для обробки відео в високошвидкісному відео. Команда тренувала мережу з більш ніж 11 000 відеороликів про щоденні події, зняті на 240 кадрів в секунду. Мережа навчилася емулювати відео на 240 кадрів в секунду, щоб передбачити додаткові кадри у відео, які мають лише 30 кадрів на секунду.

Nvidia успішно сповільнила відеозйомку на 30 кадрів в секунду на автомобілі, що рухається по дорозі, людей, що займаються спортом та багато іншого. Без інтерполяції кадрів з нейронної мережі, уповільнення цього відео лише робить його схожою на амортизацію руху зупинки руху. Мережа навіть працює на відео, яке вже було знято повільним рухом. Nvidia використовував кадри з серії YouTube Slow Mo Guys, який вже знімається на 240 кадрів в секунду. Команда сповільнила ці відеоролики в чотири рази з такими ж стриманими рухами.

Приклади, показані Nvidia, вражають. Якщо ви не знали, що кадри були зроблені переважно комп'ютером, ви можете не підозрювати що-небудь є неприпустимим. Однак помітним обмеженням є те, що нейронна мережа не може обробляти будь-яке старе відео. Він пройшов навчання щодо певних типів відеороликів, тому він може лише уповільнити схожий від 30 кадрів / с відео. Наприклад, щоб уповільнити відеозаписи про занесення автомобіля, Nvidia потрібно було тренувати мережу за допомогою швидкісного відеозйомки автомобілів, що заносяться. Це все ще досить вражає для дослідницького проекту. Сподіваємось, що коли-небудь стане реальною споживчої технікою.

Читати далі

Nvidia виходить всередину на G-Sync з новими дисплеями "BFGD" з надвисоким кінцем

Nvidia поставляє деякі з найвидатніших екранів, які можуть бути продані в 2018 році, з 4K панелями, частотою оновлення 120 Гц, дисплеями з низьким рівнем затримки, інтегрованими Nvidia Shields та підтримкою 1000 ніт яскравості в HDR. Йовза

Nvidia може підготувати новий GTX 1050 Ti Max-Q для лічильника Intel, AMD

Як повідомляється, NVIDIA готує нову версію GTX 1050 Ti з макс-Q спиною на кремній. Чи це рух проти щойно оголошеного "Вега-мобільника" від AMD або постріл в носовій частині процесорів Intel, оснащених Vega?

Nvidia закликає до обмежень, оскільки крипто-істерія підштовхує ціни на GPU до неба

Ви можете подякувати підвищенню інтересу до криптовалюти за збільшення цін на відеокарти, але Nvidia намагається щось зробити. "Спроба" - це оперативне слово тут.

Nvidia Soars On Cryptocurrency, Gaming Revenue

Надходження Nvidia піднялися в останній квартал, завдяки криптовалюді та сильному ігрову продуктивність, але компанія грає речі поблизу сундуку, коли слід чекати нових графічних процесорів.