Nvidia AI перетворює звичайний відеозапис у високошвидкісне відео на 240 кадрів в секунду
Для зйомки повільного відео потрібне захоплення більше, ніж стандартні 30 або 60 кадрів на секунду. Ви можете не завжди мати апаратне забезпечення, що може це зробити, але Nvidia має вирішення проблеми. Він розробив новий алгоритм AI, який може знімати звичайне відео та створювати нові кадри, щоб створити високошвидкісне відео після того, як ви зняли подію. Nvidia здійснив цей подвиг з безліччю графічних процесорів і нейронної мережі.
Швидкісне відео більш доступне, ніж будь-коли. Вам не потрібні мульти-тисячі доларів камерні пристрої, щоб захопити щось у повільному русі, коли такі телефони, як Galaxy S9, можуть знімати в 240 кадрів на секунду. Проте обмежений обсяг пам'яті та потужність обробки означає, що ви можете пройти лише кілька секунд швидкісного відео. Кілька споживачів збираються придбати пристрій, розроблений спеціально для захоплення високошвидкісного відео. Таким чином, система Nvidia може взяти звичайне відео та зробити її швидкою, переглядаючи існуючі кадри. Потім він створює нові проміжні рамки (до семи з них), так що рух стає гладким, коли ви сповільнюєте його.
Нові кадри є гарним наближенням реальності, але вони не реальні - більшість кадрів створено комп'ютером. Nvidia використовувала графічні процесори Tesla V100 і нейронну мережу cuDNN для побудови моделі для обробки відео в високошвидкісному відео. Команда тренувала мережу з більш ніж 11 000 відеороликів про щоденні події, зняті на 240 кадрів в секунду. Мережа навчилася емулювати відео на 240 кадрів в секунду, щоб передбачити додаткові кадри у відео, які мають лише 30 кадрів на секунду.
Nvidia успішно сповільнила відеозйомку на 30 кадрів в секунду на автомобілі, що рухається по дорозі, людей, що займаються спортом та багато іншого. Без інтерполяції кадрів з нейронної мережі, уповільнення цього відео лише робить його схожою на амортизацію руху зупинки руху. Мережа навіть працює на відео, яке вже було знято повільним рухом. Nvidia використовував кадри з серії YouTube Slow Mo Guys, який вже знімається на 240 кадрів в секунду. Команда сповільнила ці відеоролики в чотири рази з такими ж стриманими рухами.
Приклади, показані Nvidia, вражають. Якщо ви не знали, що кадри були зроблені переважно комп'ютером, ви можете не підозрювати що-небудь є неприпустимим. Однак помітним обмеженням є те, що нейронна мережа не може обробляти будь-яке старе відео. Він пройшов навчання щодо певних типів відеороликів, тому він може лише уповільнити схожий від 30 кадрів / с відео. Наприклад, щоб уповільнити відеозаписи про занесення автомобіля, Nvidia потрібно було тренувати мережу за допомогою швидкісного відеозйомки автомобілів, що заносяться. Це все ще досить вражає для дослідницького проекту. Сподіваємось, що коли-небудь стане реальною споживчої технікою.
Читати далі
Огляд MSI Nvidia RTX 3070 Gaming X Trio: продуктивність 2080 Ti, ціна паскаль
Новий RTX 3070 від Nvidia - це казковий графічний процесор за вигідною ціною, і MSI RTX 3070 Gaming X Trio це добре демонструє.
Nvidia буде імітувати пам'ять Smart Access від AMD на Ампері: звіт
Пам'ять AMD Smart Access ще навіть не надійшла, але Nvidia стверджує, що може дублювати цю функцію.
Nvidia представила графічний процесор Ampere A100 80 ГБ із пропускною здатністю 2 ТБ / с
Цього тижня Nvidia анонсувала графічний процесор Ampere A100 об'ємом 80 ГБ для розробників програмного забезпечення для штучного інтелекту, яким дійсно потрібно трохи місця для розгинання ніг.
Nvidia, Google для підтримки хмарних ігор на iPhone через веб-програми
І Nvidia, і Google оголосили про підтримку iOS своїх відповідних хмарних ігрових платформ за допомогою прогресивних веб-додатків. Apple не може цього заблокувати.