Nvidia AI перетворює звичайний відеозапис у високошвидкісне відео на 240 кадрів в секунду
Для зйомки повільного відео потрібне захоплення більше, ніж стандартні 30 або 60 кадрів на секунду. Ви можете не завжди мати апаратне забезпечення, що може це зробити, але Nvidia має вирішення проблеми. Він розробив новий алгоритм AI, який може знімати звичайне відео та створювати нові кадри, щоб створити високошвидкісне відео після того, як ви зняли подію. Nvidia здійснив цей подвиг з безліччю графічних процесорів і нейронної мережі.
Швидкісне відео більш доступне, ніж будь-коли. Вам не потрібні мульти-тисячі доларів камерні пристрої, щоб захопити щось у повільному русі, коли такі телефони, як Galaxy S9, можуть знімати в 240 кадрів на секунду. Проте обмежений обсяг пам'яті та потужність обробки означає, що ви можете пройти лише кілька секунд швидкісного відео. Кілька споживачів збираються придбати пристрій, розроблений спеціально для захоплення високошвидкісного відео. Таким чином, система Nvidia може взяти звичайне відео та зробити її швидкою, переглядаючи існуючі кадри. Потім він створює нові проміжні рамки (до семи з них), так що рух стає гладким, коли ви сповільнюєте його.
Нові кадри є гарним наближенням реальності, але вони не реальні - більшість кадрів створено комп'ютером. Nvidia використовувала графічні процесори Tesla V100 і нейронну мережу cuDNN для побудови моделі для обробки відео в високошвидкісному відео. Команда тренувала мережу з більш ніж 11 000 відеороликів про щоденні події, зняті на 240 кадрів в секунду. Мережа навчилася емулювати відео на 240 кадрів в секунду, щоб передбачити додаткові кадри у відео, які мають лише 30 кадрів на секунду.
Nvidia успішно сповільнила відеозйомку на 30 кадрів в секунду на автомобілі, що рухається по дорозі, людей, що займаються спортом та багато іншого. Без інтерполяції кадрів з нейронної мережі, уповільнення цього відео лише робить його схожою на амортизацію руху зупинки руху. Мережа навіть працює на відео, яке вже було знято повільним рухом. Nvidia використовував кадри з серії YouTube Slow Mo Guys, який вже знімається на 240 кадрів в секунду. Команда сповільнила ці відеоролики в чотири рази з такими ж стриманими рухами.
Приклади, показані Nvidia, вражають. Якщо ви не знали, що кадри були зроблені переважно комп'ютером, ви можете не підозрювати що-небудь є неприпустимим. Однак помітним обмеженням є те, що нейронна мережа не може обробляти будь-яке старе відео. Він пройшов навчання щодо певних типів відеороликів, тому він може лише уповільнити схожий від 30 кадрів / с відео. Наприклад, щоб уповільнити відеозаписи про занесення автомобіля, Nvidia потрібно було тренувати мережу за допомогою швидкісного відеозйомки автомобілів, що заносяться. Це все ще досить вражає для дослідницького проекту. Сподіваємось, що коли-небудь стане реальною споживчої технікою.
Читати далі
Надзвичайно швидкий сонячний зонд НАСА повертає дивовижне зображення Венери
За даними NASA, Паркер помітив невидиме раніше сяйво, яке могло бути продуктом кисню в негостинній атмосфері планети. Несподівана чіткість поверхневих особливостей також змушує вчених переоцінити, наскільки чутливі камери Паркера.
Звіт: Майбутні iPhones дозволять вам звернутися до служб з надзвичайних ситуацій через супутник
Apple створює дві функції безпеки, які дозволять користувачам iPhone відправляти надзвичайні тексти та звітні кризи в районах без стільникового обслуговування.
Фенікс використовує відбиваюче тротуар для боротьби з надзвичайним спекою
Сіра дорожнє покриття має здатність зменшувати поверхневу температуру до 12 градусів.
Майбутнє 256-ядро AMD EPYC CPU може спорт надзвичайно низький 600W TDP
Там є чуток, що майбутнє 256-ядро AMD CPU може запропонувати 600W TDP. Як виглядає очей, як це здається, це насправді досить ефективно.