Новый RTX Broadcast Engine от Nvidia с зеленым экраном в режиме AI

Новейшие графические процессоры Nvidia серии RTX являются первыми, в которых реализована трассировка лучей в реальном времени, благодаря которой игры выглядят красивее, чем когда-либо. Тем не менее, они также являются мощными вычислительными платформами для разработки ИИ. Nvidia продемонстрировала новое приложение для искусственного интеллекта на ядрах Tensor Cores в картах RTX под названием RTX Broadcast Engine. Помимо прочего, новый Broadcast Engine может вырезать фон из видеопотока, создавая искусственный «зеленый экран».

RTX Greenscreen аналогичен функциям, интегрированным с некоторыми веб-камерами из Logitech C922x и Razer Stargazer, но решение Nvidia должно работать с любым видеопотоком. Те веб-камеры с пользовательским удалением фона, как правило, работают не очень хорошо. Если решение Nvidia работает хорошо, оно может сделать эти устройства менее привлекательными.

RTX Broadcast Engine также имеет функцию отслеживания лиц с дополненной реальностью (AR), называемую RTX AR. Он распознает лица с достаточной детализацией, чтобы отобразить ваши объекты и отобразить их на 3D-модели. Опять же, эта функция похожа на то, что вы можете получить с определенным оборудованием, таким как iPhone. Это устройство использует ИК-точки и специальные камеры для отображения вашего лица и создания «Animoji» версий вашего лица. Nvidia не нуждается в реальных данных о глубине - GPU просто вычисляет это с помощью AI.

Наконец, существуют фильтры стиля RTX, которые используют AI для применения фильтров к полному видео. Идея в том, что вы можете использовать Broadcast Engine, чтобы соответствовать стилю игры или художественного произведения. В демонстрационном видео Nvidia применяет фильтр «Звездная ночь» к видео в режиме реального времени. Мы не знаем, насколько хорошо это будет соответствовать внешнему виду игры, но это может создать некоторые интересные потоковые эффекты.

Разработчики могут подать заявку на ранний доступ к RTX Broadcast Engine прямо сейчас на сайте Nvidia. Он будет доступен всем «в ближайшие месяцы». Nvidia также работает с производителями популярного потокового программного обеспечения OBS для интеграции функции RTX Greenscreen.