Nvidia AI превращает регулярное видео в высокоскоростное видео 240 кадров в секунду

Съемка замедленного видео требует захвата более стандартных 30 или 60 кадров в секунду. У вас может не всегда быть аппаратное обеспечение, которое может это сделать, но у Nvidia есть обходной путь. Он разработал новый алгоритм AI, который может взять ваше обычное видео и построить новые кадры из ничего для создания высокоскоростного видео после того, как вы сняли событие. Nvidia выполнила этот подвиг с помощью массива графических процессоров и нейронной сети.

Высокоскоростное видео является более доступным, чем когда-либо. Вам не нужны многотысячные камеры, чтобы захватывать что-то в замедленном темпе, когда телефоны, такие как Galaxy S9, могут снимать со скоростью 240 кадров в секунду. Однако ограниченное пространство для хранения и вычислительная мощность означают, что вы можете взять всего несколько секунд высокоскоростного видео. Немногие потребители собираются купить устройство, разработанное специально для захвата высокоскоростного видео. Таким образом, система Nvidia может взять ваше обычное видео и сделать его высокоскоростным, посмотрев на существующие фреймы. Затем он создает новые промежуточные фреймы (до семи из них), поэтому движение становится более плавным, когда вы его замедляете.

Новые кадры - хорошее приближение к реальности, но они не реальны - большинство фреймов генерируются компьютером. Nvidia использовала графические процессоры Tesla V100 и инфраструктуру нейронной сети cuDNN для создания модели для обработки видео в высокоскоростном видео. Команда обучила сеть более чем 11 000 видео повседневных событий, снятых со скоростью 240 кадров в секунду. Сеть научилась эмулировать видео 240fps, чтобы предсказать дополнительные кадры в видео, которые имеют только 30 кадров в секунду.

Nvidia успешно замедлила 30fps видео автомобиля занос через дорогу, люди, занимающиеся спортом, и многое другое. Без интерполированных кадров из нейронной сети замедление этого видео просто делает его похожим на прерывистую анимацию движения остановки. Сеть даже работает на видео, которое уже было снято в замедленном режиме. Nvidia использовал кадры из серии YouTube The Slow Mo Guys, которая снята со скоростью 240 кадров в секунду. Команда замедлила эти видеоролики в четыре раза с одинаковым плавным движением.

Примеры, показанные Nvidia, впечатляют. Если вы не знали, что кадры были в основном произведены компьютером, вы, возможно, не подозревали, что что-то не так. Однако заметным ограничением является то, что нейронная сеть не может обрабатывать только любое старое видео. Он был обучен определенным типам видео, поэтому он может только замедлять аналогичные видеоролики с 30 кадрами в секунду. Например, чтобы замедлить видеосъемку автомобиля, Nvidia необходимо было обучить сеть высокоскоростным видео заносом автомобилей. Это все еще довольно впечатляет для исследовательского проекта. Надеюсь, когда-нибудь он станет реальной потребительской технологией.

Читать далее

Посмотрите вверх: сегодня вечером вы можете увидеть все планеты в нашей солнечной системе

Вы, наверное, видели схемы Солнечной системы, на которых планеты расположены красивыми, упорядоченными линиями, но на самом деле они часто находятся по ту сторону Солнца от Земли. Мы переживаем период, когда все планеты видны. Просто нужно знать, где и когда смотреть.

Samsung представит семейство S21 в распакованном виде 14 января

Среди новых устройств будет Galaxy S21 Ultra с новой поддержкой S Pen, но нам не нужно ждать, чтобы увидеть, как это будет работать. Есть утечка, которая раскрывает новый S Pen и неуклюжие футляры к нему.

Nvidia анонсирует видеокарту RTX 3060, запуск которой состоится в феврале по цене 329 долларов

Новые видеокарты RTX 3000 от Nvidia представляют собой значительное улучшение по сравнению с картами RTX последнего поколения, но поиск новейших и лучших может быть проблемой. Предложение может немного снизиться в следующем месяце с запуском последнего графического процессора Nvidia, RTX 3060.

Как повысить производительность старых видеокарт

Поскольку коронавирус разрушает мировую экономику, вы, вероятно, не планируете в ближайшем будущем серьезное обновление графического процессора. Если вы застряли дома на старом оборудовании и вам нужно сэкономить свои копейки, это руководство может помочь вам выжать немного больше производительности из старой видеокарты.