Какое видео AI Appalers может и не может сделать, и как заставить их сделать это лучше

За последние 2,5 года я работал над восстановлением Star Trek: Deep Space Nine и совсем недавно, Star Trek: Voyager. Я много раз писал об этих усилиях, но сегодняшняя история немного другая, и она разыгрывает гораздо более широкую сеть. Вместо того, чтобы сосредоточиться на Star Trek, эта статья представляет собой всеобъемлющий обзор того, что программное обеспечение для масштабирования AI преуспевает, где оно не достигает, и как улучшить ваше окончательное высококлассное качество. В некоторых сценариях правильно обработанный, повышенный DVD может конкурировать или даже превзойти официальный релиз Blu-ray Studio.

Я знаю, что последнее-это претензии по борьбе с бровью. Это одна из тем, которые мы будем обсуждать сегодня. Вы можете увидеть доказательства ниже.

Я протестировал несколько приложений для масштабирования AI, как платных, так и бесплатных, используя все, от старых VHS-эквивалентных кадров до родного HD-контента 720p. Эта статья также является руководством по максимизации качества вашего выхода, избегая некоторых ловушек, которые могут разрушить ваше видео. Здесь есть несколько кадров Star Trek, но это только один тип контента среди многих.

Вопрос, который я задаю чаще всего: «Может ли AI повысить масштаб улучшить видео?» Вот один из моих ответов на это. Если вам нравится то, что вы видите, продолжайте читать.

Основываясь на том, что я слышал от читателей, существует большая путаница, когда AI Appalling полезно, сколько улучшений может быть достигнуто, а также о том, стоят ли Ai Ai Ai Ai Ai Ai Ai Ai Ai Ai Ai Ai Ai Ai Ai Ai Ai Ai Aible, такие как платные продукты, такие как Avclabs Video Enhancer, DVDFAB Video Enhancer или Video Video Products. деньги. Моя цель - помочь вам ответить на эти вопросы и почувствовать, что возможно, независимо от того, что ваш проект.

Также можно обучить свои собственные модели искусственного интеллекта в домашних условиях, если у вас достаточно мощный графический процессор и набор данных обучения, но это отдельная тема от вопроса о том, стоит ли использовать какие -либо доступные в настоящее время платные или бесплатные продукты искусственного интеллекта. В этой статье не рассматриваются относительные достоинства обучения своей собственной модели по сравнению с использованием уже доступных продуктов. Эта история также не учитывает онлайн-сервисы, так как они не подходят для крупномасштабной обработки изображений.

Как прочитать эту статью

Мне никогда не приходилось писать раздел, рассказывающий людям, как читать одну из моих историй, но я также никогда не писал историю, которая составляла 16 000 слов с 50 или около того видео на восьми страницах.

Это омнибусная статья, которая посвящена трем различным темам. В тексте на этой странице обсуждается, что AI Appalers может и не может сделать, с примерами изображений и видео, встроенных во всем. Существует также раздел о продвинутых советах по масштабированию ИИ для тех, кто хочет получить больше из этих приложений, и конкретная демонстрация того, как высококлассная версия Stargate SG-1 на основе источника DVD может превзойти качество официального выпуска Blu-Ray MGM MGM Анкет

Ссылки в содержимом ниже таблице позволяют вам перейти к любому разделу статьи, в то время как ссылки на видео указывают на выделенную страницу для каждого клипа. Эти дополнительные страницы содержат дополнительные кодировки и бок о бок для заинтересованных читателей. В конце каждого раздела вы увидите две небольшие ссылки с надписью «Содержание» и «Видео». Эти ссылки вернут вас к содержимому и списку видео приложений соответственно. Я также написал отдельную страницу для всех, кто хочет расширенных советов по максимизации высококлассного качества. Все дополнительные приложения будут снова связаны в нижней части страницы для легкой навигации, поэтому вам не нужно прыгать назад на вершину, чтобы получить к ним доступ.

Если у вас есть вопросы о том, что такое AI, что такое масштабирование, что он может сделать для вас, и как достичь максимально возможного качества, вы захотите продолжать читать эту страницу. Если вы хотите узнать больше о передовых методах улучшения высококлассного качества, возьмите ссылку «мастер -класс». Если вы хотите увидеть обсуждение DVD v. Blu-ray, в частности, это последняя ссылка в списке видео ниже.

Оглавление

• Что такое ИИ?
• Какие виды программного обеспечения для масштабирования существуют?
• В чем разница между AI Cupscale и Topaz Video Anhance?
• Влияние предварительной обработки
• Ваше видео - хороший кандидат для повышения масштаба?
• Почему спортивные споры?
• Сколько улучшений можно получить?
• Заключение: текущее состояние программного обеспечения для повышения квалификации потребителей AI
• Бонусный раунд: AI Mopsscaling Master Class

Я решил разделить историю таким образом после того, как понял, что не было практического способа обсудить как программное обеспечение, так и видео, которое он создает подробно в одностраничной статье. Видео-специфические страницы в нижней части этой статьи документируют каждый шаг рабочего процесса. Каждое приложение содержит несколько кодов и сравнений, но я создал более 20 видео для Final Fantasy X, в частности. Если вы хотите сравнить на одном страницах, как различные AI Appalers и неай-методы для улучшения контента сравниваются друг с другом, проверьте там.

Заявление о Blu-Ray v. DVD рассматривается на последней странице со сравнением выпуска Blu-ray SG-1 по сравнению с высококлассной версией тех же эпизодов из DVD. Все видео, показанные в этой истории, были изменены до 4K для загрузки, чтобы минимизировать влияние плохих видео-кодировки видео на YouTube.

Видео

• Sance v. Stream (320 × 240, Canon PowerShot около 2006 года)
• Final Fantasy X: The Dance (582 × 416, оригинальный диск PS2)
• Battlestar Galactica: проект Living Legend (720 × 400, как это предусмотрено)
• Мама Гризли (база 720p, исходный источник)
• Макияж Дика Трейси (кодируется в 582 × 320, качество VHS, а не оригинальный источник)
• Помимо Blu-ray: Stargate SG-1 Appareed DVD против официального релиза Blu-ray

Вы захотите установить YouTube на 4K или столь высокий, как ваш монитор поддерживает, во всех случаях. Вы можете использовать «клавиши» для навигации за кадром за перепродажей в видео на YouTube. Когда вы видите лейбл, такой как «оригинальное видео» в сравнении, это означает, что вы видите оригинальные, неизменные кадры или высококлассную версию этих кадров без другой обработки. Я развернул / обнаружил эти клипы, если это необходимо, но больше ничего не изменил. Такие термины, как «фильтрованные» и «обработанные», означают, что видео было отредактировано в другом приложении, прежде чем я его увеличил.

Эти образцы видео были разными размерами, от 320 × 240 до 1280 × 720. Уровень запеченного повреждения и базового качества варьировалось широко. Каждая из отдельных страниц видео показывает отснятый материал на каждом этапе обработки, от начального видео до окончательного высококлассного. Это поможет вам отслеживать, откуда поступают улучшения и как каждый этап в обработке меняет окончательный результат.

Вам может не понравиться каждый вывод, который я создал. Вам может не понравиться какой -либо вывод, который я создал. Это нормально. Цель состоит в том, чтобы показать вам широту и глубину того, что возможно с различными настройками и приложениями, а не продавать вас на моей собственной работе, как крем де ла

Прежде чем мы начнем, несколько быстрых терминов: «исходный источник» означает «оригинальный видеофайл, созданный авторизацией устройства». В контексте DVD исходным источником может быть .m2v или набор файлов VOB. «Нативный» относится к первоначальному разрешению файла. Видео все еще может находиться в его нативном разрешении без оригинального источника. Я также иногда буду ссылаться на 200 -процентный высококлассный класс в 2 раза и 400 -процентный высококлассник в 4 -кратном масштабе. Эти термины эквивалентны.

Содержимое / видео

Что такое ИИ?

Выполнение - с или без искусственного интеллекта - это процесс преобразования видео или изображения из более низкого разрешения в более высокое. При изменении размера изображение с 640 × 480 до 1280 × 960 в программе, такой как Photoshop или Paint.net, вы также увеличиваете изображение, но не с ИИ. Некоторые приложения для редактирования видео и редактирования изображений позволяют конечному пользователю выбирать конкретный алгоритм изменения размера изображения, включая такие варианты, как Lanczos, бикубик, билинейный и ближайший сосед.

На изображении ниже показано, как разные алгоритмы изменения размера изображения интерпретируют одно и то же источник. Используя другой алгоритм, вы можете изменить то, как выглядит ваше новое изображение, создавая его меньше или больше, чем раньше. Не очень легко сравнить все схемы фильтрации, поэтому я обрезал билинейные, ланзо, нет, Spline36 и Spline16 и загрузил их в IMGSLI, если вы хотите увидеть сравнение крупным планом. Используйте слайдер, чтобы проверить различия и раскрывающееся меню, чтобы выбрать разные изображения. Маленький квадратный значок будет максимизировать сравнение.

AI Appalers также обрабатывают и изменяют размер изображений/видео, но они не полагаются на те же алгоритмы масштабирования. AI Appalers используют модели, обученные машинным обучением для обработки видео и увеличения его кажущегося качества и/или разрешения дисплея. Разработчики могут выбрать одну и ту же базовую модель на различных типах контента для создания аналогичных моделей с различными специализациями, или они могут использовать новые обучающие наборы для каждой модели. Говорят, что аналогичные модели с различными специализациями принадлежат к одному модельному семейству. Одна модель в семье может быть настроена только для удаления шума, в то время как другая также может обострить картину. Запустите одно и то же видео через две разные модели ИИ, и вы получите два разных выхода.

Приведенный ниже пример сравнивает оригинальный кадр 85,020 из оригинального Star Trek: Deep Space Nine Episode «The Way of The Warrior» с тем же кадром после масштаба с различными моделями в топаз -видео -улучшении AI. Включены примеры из Dione рядного, Artemis High Caffice (AHQ) и Proteus Models, как показано в TVEAI 2.6.4, а также AHQ от только что выпущенного Beta Topaz 3.0. Цветовые изменения между источником OG и тремя высококлассными кадрами от TVEAI 2.6.4 были намеренными с моей стороны. Однако бета -версия 3.0 немного изменила цвет в своем собственном направлении.

Выбранная вами модель определяет, как будет выглядеть ваш вывод, независимо от того, какое приложение AI Appassing вы используете. Запустите контент в прямом эфире через ИИ, предназначенный для высококлассной анимации, и вы получите результаты, которые можно было бы охарактеризовать как «нечетное». Выберите модель, которая включает в себя тяжелую денообразование, когда в вашем видео не нужно, и ваше выходное видео может быть переполнено. Выбор модели ИИ для изменения размера контента концептуально похож на выбор конкретного алгоритма изменения размера в приложении редактирования изображений, даже если механизм действия очень отличается. В обоих случаях вы выбираете конкретный метод обработки, который повлияет на то, как выглядит ваше измененное изображение.

Содержимое / видео

Какие виды программного обеспечения для масштабирования существуют?

Существует множество приложений для масштабирования ИИ, которые вы можете скачать, как оплачиваемые, так и бесплатные. Из них есть два четких лидера: Video Topaz Video Anhance AI и CupScale. Topaz Video Enhance Ai - это легкий платный продукт, который вы можете приобрести, но за 200 долларов это не дешево. CupScale - это бесплатная альтернатива, которую стоит расследовать, если у вас нет денег, хотя есть некоторые компромиссы, которые мы обсудим в этом разделе.

Первоначально я планировал включить несколько платных приложений по всей этой статье, но я столкнулся с серьезными проблемами с Avclabs Video Enhancer AI и DVDFAB Video Enhancer. Проблема DVDFAB заключается в том, что он производит, как правило, низкокачественный выход, который не считается «улучшенным» в каком-либо значимом смысле этого слова. У Avclabs были подобные проблемы, и они часто ломались на границах сцены, вытащив информацию из следующей сцены назад в текущий. Я включил результаты как для AVClabs, так и для DVDFAB в приложении Final Fantasy X, но не проходил обширные тесты с этими приложениями.

В этом сравнении Avclabs Broken 1 размыт и разрушает детали, в то время как Broken 2 заставляет определенные предметы одежды выскочить со сцены. Оба вызывают непреднамеренные сдвиги цвета. DVDFAB Broken 1 полон нечетных вертикальных стержней, сломанный 2 сглаживает все и имеет прекрасную ошибку на нижней правой стороне рамы, и Broken 3 сдается на повышение в пользу размазывания вазелина на вашем дисплее. В видео 2X и Cupscale все сдвиги цвета, но они не наносят ущерба, как Avclabs или DVDFAB.

На момент написания этой статьи ни Avclabs, ни DVDFAB не создали видео -мастер, который стоит тратить деньги. Если вы решите потратить деньги на повышение квалификатора после прочтения этой статьи, топаз -видео, улучшение AI - это то, что купит. Если вы не думаете, что TVEAI стоит потратить деньги, я не знаю, что я знаю, что это удаленно сравнивает. Образцы контента, предоставленные в этой статье и в приложениях, должны помочь вам принять это решение.

Есть еще одно бесплатное приложение, которое я также протестировал: Video2x. Он дал некоторые разумные результаты в Final Fantasy X, которые я включил на дополнительную страницу этого видео, но его немного сложнее использовать, чем Cupscale и несколько менее гибкий. В целом, я думаю, что CupScale дает лучшее представление о том, чего может достичь современный ИИ, но Video2x также стоит посмотреть.

Примечание. Эта статья посвящена топаз -видео, улучшению AI 2.6.4 и Cupscale 1.390F1 с некоторыми конкретными образцами видео для Avclabs (оплаченных), DVDFAB (оплаченный) и Video2x (бесплатно). Поскольку я также сделал некоторые преднамеренные изменения цвета во время масштаба, я также отмечу, где я намеревался, чтобы это произошло.

Содержимое / видео

В чем разница между AI Cupscale и Topaz Video Anhance?

CupScale и TVEAI нацелены на довольно разные аудитории. Topaz Veai очень хочет быть легким, одним щелчком для улучшения видео. К сожалению, приложение не может автоматически определить, какие из моделей и настройки дадут наилучшие результаты в вашем конкретном видео. В результате конечный пользователь должен экспериментировать, чтобы выяснить, какие модели (ы) дают наилучшие результаты. Приложение имеет функцию предварительного просмотра, которая очень полезна для этого.

Выбор модели - не единственное, что влияет на ваш окончательный результат. Пользователям также необходимо проверить разницу между 200 и 400 процентами. 400 процентов повышенных масштабов - это не только большие версии 200 процентов. Субъективная разница между 200 и 400 процентами может быть такой же большой, как разница между двумя разными семействами моделей. Я рекомендую тестировать 200 процентов до 400 процентов, потому что 400 -процентные модели не так гибки в работе с широким спектром контента, как 200 -процентные модели, а также для обработки требуется гораздо больше времени.

Video Topaz Video Увеличение 200 -процентных моделей AI, как правило, поддерживает детали лучше, а иногда и точнее, чем его 400 -процентные модели. 400 процентов моделей иногда лучше сглаживания и удаления шума. Они также требуют меньше VRAM и рендерирования быстрее. Это не всегда относится к CupScale, где время обработки индивидуальной модели иногда варьируется до такой степени, что быстрое 4X модель может превзойти медленную модель 2x или даже 1x. Если вы прочитали более ранние истории, которые я написал, вы можете вспомнить, что я рекомендовал модели TVEAI 400 процентов более 200 процентов, но я изменил свой подход, когда роскошник Topaz созрел. Я предлагаю начать с 200 процентов моделей и тестировать 400 -процентные модели по мере необходимости. Окончательное разрешение гораздо менее важна при масштабировании, чем думают люди (страница «мастер -класса» имеет больше информации об этом).

В приведенном ниже видео сравнивается немодифицированный клип Battlestar Galactica с клипом I повысил 200 процентов в TVEAI, используя предустановку Artemis High Caffice (AHQ). Давний художник с спецэффектами Адам «Моджо» Лейбовиц создал обновленный VFX для этого клипа в 2010 году, чтобы показать, как может выглядеть современный ремастер шоу. Это видео и ряд других сравнений размещены на специальной странице BSG.

Сравнение выше представляет собой начало улучшений Video Topaz Video Enhance Ai, а не конец. Следующее видео показывает созданное Cupscale видео, отображаемое с моделью 4xuniscalerestore, и с использованием версии этого клипа, которая была предварительно обработана в гибриде с Vapourshynth.

Topaz Veai включает в себя функции CupScale, в том числе возможность увеличить только определенную подмножество кадров в большем видео. Он поддерживает хотя бы один тип файла (.mov), которого нет. Модели TVEAI создают цветовые сдвиги реже, и степень изменений обычно меньше. На мой взгляд, пользовательский интерфейс AI Perfect Arance Ai User Interface также немного проще в навигации.

Базовая установка CupScale включает в себя несколько моделей искусственного интеллекта, но реальной силой приложения является его способность запускать множество моделей, созданных пользователем, доступными на страницах, подобных этой, и разбросанной по Интернету. Вы можете экспериментировать с гораздо большим общим диапазоном моделей в CupScale, чем вы можете в TVEAI, и их установка так же просто, как копирование их в соответствующий подкаталог. Существуют CupScale-совместимые модели, которые могут улучшить видео так же, как и любое платное приложение, которое я видел, включая Topaz's. Вывод ниже изменен, но общий уровень улучшения детализации является разумным для одного прохода исходного видео.

Мне пришлось установить Python 3.9, чтобы включить модель сети Python AI; Включенная встроенная версия не работала с моим графическим процессором. Если вы внимательно следите за этим набором инструкций, вы сможете его запустить и запустить. Python оказался быстрее NCNN, но не всегда резко. Я не тестировал CupScale на графических процессорах AMD или Intel, но оба поддерживаются через Вулкан.

Мне очень нравится CupScale - некоторые из видео в этой статье - гибриды TVEAI + CupScale - но в приложении также есть некоторые недостатки, которые свободные не исправляют.

Во -первых, CupScale медленнее, чем Video Topaz Video Anhance AI. Это верно, используете ли вы сеть Esrgan (Pytorch) или опцию Esrgan (NCNN). Насколько я понимаю, Pytorch только Nvidia, и что AMD-графические процессоры должны использовать Vulkan. Я протестировал оба варианта на RTX 3080 и обнаружил, что Pytorch на 1x - 3 раза быстрее, чем Vulkan, в зависимости от модели. My RTX 3080 смог увеличить сцену CGI Final Fantasy X примерно в 41,5 кадрах в минуту при использовании сети AI Esrgan (NCNN) и модели 2x_kemonoscale_v2. Самая быстрая абсолютная производительность в любом клипе, который я видел при использовании Pytorch, составляла ~ 90 футов в минуту. К сожалению, даже 90 FPM не сравнится с Topaz. Video Topaz Video Enhance AI находится где -то от 4x - 10 раз быстрее, чем CupScale. Разрыв в производительности достаточно большой, чтобы осмысленно улучшить вашу способность проверять образцы и содержание доказательств.

Разница между AI CupScale и Video Topaz Performance - это не просто вопрос скорости. Video Topaz Video Angine Models AI в совокупности выполняет гораздо лучшую работу, занимаясь контентом. Я имею в виду способность модели давать хорошие результаты в широком диапазоне образцов в качестве гибкости. Модель гибкая, если вы можете применить его к множеству различных видов видео с достаточно хорошими результатами и негибкой, если она ограничена конкретными типами контента.

Негибкость не является автоматически плохой вещью. Ряд моделей TVEAI предназначены для решения таких проблем, как ореол, и они не дают больших результатов, если применяются ко всему контенту по всем направлениям. К сожалению, многие из CupScale-совместимых моделей, которые вы найдете в Интернете, не очень гибки.

Довольно публичный пример негибкости стал вирусным в начале этого года после Оскара. После того, как Уилл Смит ударил Криса Рок, слух сделал обходы, которые Крис одет в пятно плоти. Он не был. Слухи начались, когда кто -то подарил фотографию этого события в услугу для масштабирования, что вызвало это:

Технически, это пример «галлюцинирующей» детали ИИ, которой нет, но это также пример того, что я имею в виду, когда я говорю, что модель негибкая. Негибкая модель может хорошо работать для космических снимков или снимков спецэффектов, но разрывается, когда его просят справиться с людьми. В качестве альтернативы, это может прекрасно работать с снимками в прямом эфире, но создает ошибки в фоне, как показано на изображении ниже.

Эта критика действительно относится только к моделям, которые предназначены для общих вариантов использования. Модель, предназначенная для анимации, может не справиться с живым действием очень хорошо, потому что она не предназначена. Негибкость в этом случае будет моделью анимации, которая может обрабатывать только одно конкретное шоу. Даже тогда это не может быть проблемой; Я знаю, что несколько человек работают над специфичными для шоу ИИ модели. Негибкость не всегда является плохой вещью, но она ограничивает сценарии, в которых можно использовать модель, и может потребовать, чтобы конечный пользователь проверял больше моделей, чтобы найти тот, который работает.

Video Topaz Video Увеличение моделей ИИ иногда ломается, но они ломаются намного меньше, чем любое другое приложение, которое я проверил. Ошибки, которые время от времени вводятся, почти всегда могут быть полностью уменьшены или полностью зафиксированы благодаря использованию другого программного обеспечения, при условии, что две вещи верны: 1). Качество вашего видео достаточно высокое, чтобы оно хорошо высококлассно и 2). Вы готовы приложить некоторые усилия, чтобы решить проблему.

Что касается CupScale, то пользовательские модели искусственного интеллекта, которые вы можете загрузить и запустить, с большей вероятностью вводят или увеличивают следующие эффекты, основываясь на моем тестировании:

• Стробинг (быстрый свет/темный сдвиг по большей части сцены)
• Текстура мерцает мелкие детали.
• Значительные сдвиги цвета
• Неправильно представил деталь
• Неправильные изменения в фокусе на переднем плане/фоне изображения.
• Непоследовательное качество выхода от сцены к сцене.

CubScale также иногда возникает проблема с пропуском и периодически прыгать вперед в видео и начинать масштабирование новой сцены. Кадки 0-750 могут сопровождаться кадрами 11235-12570. Я не смог выяснить причину этого поведения, но сначала декомпрессия видеофайлов и указание приложению с высококлассными изображениями, кажется, предотвращает проблему.

После изучения около 16 моделей CupScale я бы порекомендовал 4x-UniRestore для живых действий. У меня также были хорошие результаты с семьей Kemono в Final Fantasy X и живым действием, кроме некоторых значительных и неожиданных цветовых сдвигов, как показано ниже.

После обширного тестирования я обнаружил, что CubScale чаще, чем TVEAI, если вы запустите еще одно приложение с ускорением графикации, в то время как уже увеличивая видео. В некоторых случаях только запуск аппаратного приложения может вызвать сбой. В топаз -видео -улучшении искусственного интеллекта имела эту проблему, но оно гораздо лучше ведет себя, чем когда -то.

Тот факт, что Cupscale модели с большей вероятностью будут ломаться и вызывают более широкий спектр проблем, не означает, что ни одна модель, совместимая с CupScale Я был искренне впечатлен моделями 4x-Unirestore и Kemono. Модель unicale_cartoonrestore_lite показана ниже, на этот раз запускается на видео, которое было предварительно обработано в Avisynth. Не волнуйтесь, если это предложение не имеет смысла для вас - мы обсудим, на чем ависинт немного дальше.

К сожалению, более медленная скорость рендеринга CupScale и относительная негибкость его моделей означают, что вы будете тратить больше времени на ожидание зажимов, чтобы вы могли проверить, полезен ли вывод или нет. Отдельные кадры можно найти в подкаталоге «рамы», если вы хотите проверить вывод среднего уровня, но некоторые проблемы не могут быть видны, пока вы не увидите зажим в движении. Запустите достаточно видео через достаточное количество моделей, и вы разработаете лучшее представление о том, будет ли какая -либо данная модель работать на кусок контента ... в конце концов. Тот же процесс обучения происходит быстрее в Topaz Veai.

Topaz Video AI 2.6.4 не идеально. Иногда он неправильно понимает соотношения сторон или вносит небольшие изменения контрастности. Несмотря на эти продолжительные боли в росте, приложение созрело с тех пор, как я в последний раз писал об этом, и теперь поддерживает графические процессоры Intel, AMD и Nvidia, а также Mac x86 и Apple Silicon. Компания продолжала улучшать свои модели AI Modscaling и добавила новые модели интерполяции частоты кадров за последний год.

Вот как я бы суммировал сравнение между TVEAI и CupScale:

Cupscale очень весело, если вы энтузиаст, которому нравится тестировать различные модели или вы думаете, что хотите когда -нибудь построить свой собственный. С самого начала я сказал, что хотел, чтобы мой проект Deep Space Dine был основан на свободном программном обеспечении, и, хотя CupScale еще недостаточно быстр, чтобы справиться с работой, которая довольно размер, вы можете прищуриться и увидеть наступающий день. CupScale стоит тестировать в качестве дополнительного или дополнительного варианта для высококлассного контента, особенно если TVEAI не дает хороших результатов. Тот факт, что приложение является таким же гибким, мощным и стабильным, как оно говорит, не говорит ничего, кроме хороших вещей о его авторах.

Зажим ниже представляет собой смесь 50/50 между двумя моделями CupScale. Я более подробно обсуждаю смешивание на странице «мастер класса», но это отличный способ минимизировать ошибки, захватывая преимущества, которые может обеспечить, что может обеспечить масштабирование.

Topaz Video AI - это приложение для использования, если у вас есть проект какого -либо значительного размера, вам нужны несколько предсказуемых результатов, и/или если вы заботитесь о производительности. TVEAI также требует экспериментов, но он отображается гораздо быстрее, и его модели с меньшей вероятностью сломаются.

Теперь, когда мы обсудили, что такое AI Appossing, и некоторые различия между самими высококласными, я хотел бы немного переключить передачи и поговорить о двух важных приложениях: Avisynth и Vapourshynth. Эти приложения сами не являются высококлассными, но они часто играют большую роль в определении конечного качества высококлассного.

Содержимое / видео

Влияние предварительной обработки

Topaz Video Ungance Ai - это приложение, ориентированное на одну задачу: повышение видеоконтента. К сожалению, многим старым видеороликам нужно больше, чем просто путешествие через AI Appaler, чтобы выглядеть лучше. В то время как семейство Dione Model предлагает DeInterlacing, а модель Proteus оснащена регулируемым пользователем вариантами денорирования, разжигания и заточки, DeInterlacing и другие общие задачи редактирования видео-это не то, для чего предназначены Topaz Veai или CupScale.

Avisynth (технически Avisynth+) и Vapourshynth - это рамки с обширными возможностями редактирования видео. Оба приложения могут деинтерлас и обнаружить видео, преобразовать содержание между стандартами NTSC и PAL (или наоборот), сдвиг видео из одного формата контейнера и/или кодека в другой и предлагают широкий спектр функций ремонта и модификации практически для каждого типа содержания. Существуют фильтры для антиалиазии, заточки, сглаживания, денирования, обезвреживания, потемнения линий, истончения линии, удаления радуги, исправления ошибок хромы и многого другого. Гораздо больше. Ниже я встроил видео, демонстрирующее тот же клип BSG, что и раньше, только на этот раз после фильтрации.

Экспериментируйте с фильтрами, и вы часто найдете комбинацию, которая приводит к чистому улучшению в вашем окончательном высококлассном. Например, и Avisynth, и Vapourshynth могут вводить зерно и шум таким образом, чтобы улучшить выход TVEAI. Cupscale модели также подвержены добавлению зерна и шума, но не так же. Я не уверен, что техника так же полезна при работе с CupScale, хотя преимущество всегда будет зависеть от модели. Читатели должны знать, что впрыск зерна и шума не всегда улучшают детали, и для поиска правильного фильтра могут потребоваться некоторые эксперименты. Функции QTGMC GrainRestore и Noiserestore - отличное место для начала.

Вот еще из Battlestar Galactica. Может быть трудно увидеть разницу между обработанной и необработанной в быстром движении, поэтому это зеркальное сравнение должно облегчить его. Потяните ползунок вправо и влево, и вы увидите, как изображения обмениваетесь, когда вы пересекаете центральную линию. Обработка видео сначала удаляет гонку и общие детали.

В видео ниже показана разница между повышением оригинального клипа Final Fantasy X без обработки в Avisynth и увеличении его после обработки Avisynth. На странице Final Fantasy X приложение показывает два разных метода при обработке этого видео в Avisynth и различный вывод, который он производит. Это второй метод.

Vapourshynth - это порт ависинте, который был переписан, чтобы использовать Python. Скрипт ависинта, как говорят, проще, если вы не программист; Vapourshynth более гибкий, но требует, чтобы конечный пользователь изучил больше синтаксиса программирования. Существуют фронтальные данные GUI, которые делают любую более простую задачу. Я использую StaxRip в качестве переднего конца для ависинте и гибрида в качестве переднего конца для Vapourshynth.

Опять же, вы можете использовать Avisynth или Vapourshynth для обработки вашего видео. Я наткнулся на гибрид после того, как у меня был рабочий процесс в Staxrip, и мне нравится приложение, поэтому я продолжал его использовать. Avisynth старше Vapourshynth, и поэтому имеет больше фильтров, но многие общие фильтры AVS были перенесены на Vs. Есть также удобная энциклопедия, посвященная Avisynth, если вы хотите узнать больше.

Для простоты я иногда буду ссылаться на оба приложения как AVS/VS, но вам, вероятно, не нужно использовать оба, если конкретный фильтр не доступен только для одного из них. В этом контексте я называю запуск AVS/VS как «предварительную обработку», потому что видео обрабатывается при подготовке к масштабам, а не на обычном просмотре.

Если вы хотите получить доступ ко всем моделям, предлагаемым TVEAI и/или у вас есть телекабильный контент, который вы хотите вернуть к прогрессивной частоте кадров 23,976, вам необходимо использовать стороннее приложение. Avisynth и/или Vapourshynth, как правило, лучший путь, но с этими программами определенно есть кривая обучения. Ручной тормоз - это еще один вариант, и, хотя лично это не мое любимое приложение, иногда он делает разумную работу. Что касается оплачиваемых заявлений, то Tmpgenc 7 проделал хорошую работу по депонированию, такими как Deep Space Nine и Voyager, когда я проверил его в начале этого года. Avisynth и Vapourshynth оба бесплатны, как и ручной тормоз. Tmpgenc 7-платная заявка, но у него есть 30-дневная бесплатная пробная версия.

Иногда можно использовать Avisynth и/или Vapourshynth для ремонта нежизного видео до такой степени, что оно может извлечь выгоду из масштаба, но это должно быть оценено в каждом конкретном случае. Для ремонта видео может потребоваться больше времени, чем вы хотите потратить. В некоторых случаях выбор фильтров, который вы бы сделали для достижения высококачественного высококлассного, не то же самое, что вы выбрали бы, если бы планировали посмотреть видео без масштаба. Топаз часто создает более подробный выход, если дополнительный шум и зерно вводят в видео, как показано ниже:

Первоначально я показал эти рамки в статье Star Trek в начале этого года, чтобы показать влияние инъекции дополнительного зерна и шума. Я изменил цвет на этих изображениях, чтобы облегчить эффект, и я применил больше зерна и шума, чем вы, вероятно, захотите использовать. Вам не нужно вводить столько зерна и шума, чтобы увидеть выгоду. Это важно, поскольку не все эти изменения полезны.

Правильная обработка отснятого материала может дать драматические различия в конечном качеством изображения. Обе рамки ниже были расширены с использованием одних и тех же настройки протеуса в TVEAI. Единственная разница в том, как я предварительно обработал отснятый материал. Настройки, которые я рекомендую тестировать в приложениях, не дадут этого сильного эффекта.

Отношения между Avisynth, Vapourshynth и Topaz Video Anhance Ai лучше всего понимается как дополнительная. Часто лучше выполнять deinterlacing, используя фильтр QTGMC в Avisynth или Vapourshynth, в отличие от использования одной из моделей Dione в Video Topaz Video Aremance AI. Аналогичным образом, впрыскивание зерна и шума через фильтр QTGMC часто улучшает конечную выработку TVEAI.

Поскольку высококлассник будет с энтузиазмом улучшать ошибки, а также желаемую деталь, единственный способ увеличить некоторые кадры и получить чистое улучшение - это исправить то, что сломалось в первую очередь. Правильная предварительная обработка имеет ключевую роль в процессе.

Содержимое / видео

Ваше видео - хороший кандидат для повышения масштаба?

Теперь, когда мы обсудили основные возможности и различия в AI Appalers и их вспомогательных приложениях, давайте поговорим о том, как оценить видео. Хотя единственный способ узнать, как будет выглядеть видео, - это пропустить его через Appaler, существуют широкие рекомендации, которые могут помочь вам определить, является ли ваше видео хорошим кандидатом. Видео, которые имеют тенденцию к высококлассному хорошо, - это видео:

• Были профессионально отредактированы / освоены / захвачены кем -то, кто знал, что они делают, и кто нашел время, чтобы хорошо относиться к материалу.
• Являются либо оригинальным источником видео с оригинальным рисунком шума/зерна, либо как можно ближе к этому видео.
• Есть относительно мало проблем для начала.
• Были застрелены в относительно недавнем прошлом, на относительно современном оборудовании.

Вот что это значит, на практическом плане:

Гораздо легче высококлажать кадры солнечного выстрела на день рождения на открытом воздухе на Samsung Galaxy S5, чем для высококлассных кадров солнечного выстрела на день рождения на открытом воздухе в 1991 году на видеокамере. Хороший результат довольно вероятен в первом случае и крайне маловероятен во втором. Чем более низкое качество видео источника, тем меньше вероятность того, что вы получаете удовлетворительный результат во всех случаях во всех случаях.

Видео ниже было снято на камере 72op еще в июле 2010 года на Nikon 300S профессионального фотографа и коллеги Дэвида Кардинала. Как видите, он хорошо очищается.

Существует определенный минимальный порог качества, который необходимо встретить видео, прежде чем повышенный масштаб сможет улучшить его. Если видео находится ниже этого порога, оно потребует дополнительной обработки (как минимум), прежде чем оно сможет выиграть от масштабирования. Достаточно низкокачественные видео не выигрывают от современных общих инструментов для масштабирования, независимо от того, как они обрабатываются в первую очередь. Выполнение может сделать такие кадры хуже.

Последние несколько вопросов не имеют ничего общего с качеством вашего видео, но они, возможно, являются самыми важными, когда речь идет о оценке ваших шансов на успех:

• Сколько времени и энергии вы готовы посвятить этому проекту?
• Готовы ли вы научиться использовать другие приложения, если они улучшат окончательное качество вашего видео?
• Готовы ли вы проверить различные методы обработки видео, пока не найдете результат, который вы ищете?

На эти вопросы нет неправильных ответов, но вам нужно их рассмотреть. Я предлагаю воспользоваться преимуществами бесплатной пробной версии AI Video, прежде чем покупать программу. Проверьте его на фактическом контенте, который вы хотите, если это возможно, если возможно. Старая шутка о «улучшении» способности извлекать бесконечные уровни детализации из нечеткого изображения 32 × 32 пикселя намного ближе к реальности, чем раньше, но у нас все еще нет ничего похожего на решение для толчков. Ремонт поврежденного видео, чтобы подготовить его к масштабированию, часто является немалой работой.

Содержимое / видео

Почему спортивные споры?

Выполнение не очень любимо в некоторых углах сообщества редактирования видео. Причины варьируются в зависимости от человека. Некоторым людям не нравится топаз -видео, в частности, некоторым не нравится вся концепция масштабирования ИИ, и некоторые люди в порядке с этой концепцией, но недовольны тем, как продаются текущие продукты и/или чего они могут достичь.

Общая проблема в том, что многие выводы AI Appaler не всегда очень хороши. Иногда это совершенно плохо. Для 38 минут 43-минутного видео красиво высококлассно, в то время как пять минут его выглядят так, как будто их соскребают декодер MPEG-1 и оставались под дождем в течение недели. Окончательное высококлассное качество может значительно варьироваться, даже в одном и том же профессиональном эпизоде ​​телевидения. Не помогает, что все поле новое, и люди все еще выясняют, что работает, а что нет.

Вот пример видео, которое не очень хорошо масштабируется, если вы просто бросаете оригинальный клип через Video Topaz Video Enhance AI:

Что ясно, так это то, что онлайн -онлайн -обратный и обратный онлайн -сбил читателей. Я слышал, как по крайней мере, полдюжины людей, которые не были уверены, что думать об AI, потому что мои предыдущие статьи и образец клипов, демонстрирующих Deep Space Nine, и Voyager выступили в пользу одного вывода, в то время как знающие видео редакторы на онлайн-форумах вывел совершенно разные аргументы.

Вместо того, чтобы спорить о теории, я запустил этот проект, чтобы исследовать факты. Я не выбрал свои источники для этой истории. Меня попросили восстановить клипы Дика Трейси и BSG их соответствующими владельцами, видео 320 × 240 Джека Рассела-одно из самых старых и самых низких видеороликов, которое я сидел, и я выбрал видео Final Fantasy x на прихоти после Видеть еще один реставрационный проект на YouTube. Я попросил Дэвида Кардинала о более старом видео, которое позволило бы мне протестировать масштаб на 720p контент, но он выбрал видео, чтобы поделиться.

Возьмите один и тот же видеоклип выше и проведите его через несколько моделей ИИ, а также различные рабочие процессы обработки, и конечный результат отличается. Несмотря на то, что степень улучшения не является огромной, повышающий масштаб больше не наносит ущерба и может даже сказать, что он несколько улучшает содержание.

Общее сообщество редактирования видео хорошо знает о бесчисленных способах, которыми AI, расширение, может пойти не так, но существует меньше осознания того, как AI увеличить масштаб может быть подталкивается к тому, чтобы идти правильно, даже если это не было направлено на то, чтобы начать.

Содержимое / видео

Сколько улучшений можно получить?

Это сложный вопрос. То, что люди хотят услышать, является чем -то конкретным, например: «Легко высококлассные DVD -диски до 1080p качества HD!» Некоторые компании претендуют на такие претензии в своей маркетинговой литературе. Они не должны. Это редкая ситуация, в которой разговор буквально может оставить людей с неправильным впечатлением. Когда я говорю, что улучшение кадров DVD до такой степени, что похоже, что нативные 720p сложно, я не имею в виду буквальный сдвиг с 720 × 480 до 1280 × 960. Я имею в виду сложность повышения качества, воспринимаемого DVD, достаточно высокого, чтобы его можно было принять за родной источник 720p.

Те, кто хочет попытаться полностью преодолеть разрыв между SD и HD, окажутся на крючке для более чем быстрого прохода через любое приложение для редактирования видео, в том числе видео AI или CupScale Topaz. Одна из причин, по которой я включил так много образцов в эту статью, заключается в том, чтобы проиллюстрировать не только то, сколько видео можно улучшить, но откуда эти улучшения и сколько работы требуется, чтобы их получить.

Что касается грубого гида, то вот что я могу предложить:

Представьте себе шкалу качества с выемками в обычных точках - VHS, DVD, 720p, 1080p, 4K. Теперь добавьте четыре выемки между каждым стандартом. VHS -* -* -* -* - DVD. Эти точки представляют безразмерные промежуточные улучшения качества изображения, которые достаточно большие, чтобы вы могли заметить, но недостаточно большие, чтобы заявить, что ваше видео выглядит так, как будто оно было снято в более позднем стандарте. Четыре - это произвольное число, которое я решил сделать свой пример математической работы. Высокий DVD, который улучшился на три очка, выглядел бы отличным DVD, но он не совсем обманул бы знающего зрителя, думая, что они смотрят источник 720p или 1080p. Эта четырехточечная шкала лучше всего подходит для VHS -> DVD или DVD -> 720p. Вероятно, будет только 2-3 очка «качества» между 720p до 1080p.

Если вы попросите Video Topaz Video повысить AI для повышения квалификации эквивалента высококачественного исходного файла DVD без предварительной обработки, вы можете разумно ожидать прибыли в 1-2 балла. Если ваш источник среднего качества, вы можете получить 0,5 -1. Источник низкого качества, и вы получите от -3 до +1 балла максимум. Я стал негативным здесь, чтобы признать, что масштабирование некачественных кадров может снизить его качество.

Точка предварительной обработки, смешивания модели и других рабочих процессов приложений, которые я обсуждаю в разделе «Мастер класса», заключается в повышении качества вашего окончательного высококлассного. Сначала поместите свои кадры через Avisynth или Vapourshynth, и вы можете подняться на 1,25-2,5 балла вместо 1-2. Готовы ли вы смешать несколько моделей с масштабированием? Добавьте еще 0,5-1 точки, в зависимости от состояния вашего источника и качества вашей предварительной обработки. Готовы ли вы поэкспериментировать с различными методами предварительной обработки, различными фильтрами в других утилитах в дополнение к AVS/VS и экспериментируйте с смешиванием всего видео вместе, возможно, с более чем одной поездкой через более чем один аппарат? Если вы это сделаете, и ваш источник материала достаточно высокого качества, вы можете получить достаточное количество воспринимаемого визуального качества, чтобы пройти в качестве собственного источника следующего наивысшего стандарта. Даже тогда ваше видео, вероятно, не будет поддерживать эту иллюзию идеально в каждой сцене, и общее качество все равно будет окунуться в широкие снимки, и многие люди в них. Ваши шансы на достижение этого уровня улучшения лучше, если вы знаете, как окрасить.

Пример моей собственной работы, которую я бы утверждал, соответствует порогу «может пройти для родного 720p» ниже. В то время как я не выбрал этот эпизод или эту сцену, я бы сказал, что испытания и триббл-один из самых выглядящих эпизодов Deep Space Nine, с которой можно начать.

Я предлагаю меньше сосредотачиваться на том, будет ли ваш высококлассный пройти как нативный HD, а больше на том, нравится ли вам выход. Некоторые телешоу никогда не получали высококачественных выпусков, и очень трудно компенсировать источник низкого качества. Повышение воспринимаемого визуального качества высококласса становится легче, чем выше ваше базовое разрешение и общее качество. 720p легче конвертировать в 1080p, чем DVD в 720p. DVD до ~ 720p проще, чем повышение VHS до качества, эквивалентного DVD.

Не существует применения AI AI Consumer AI, которое может взять кадры DVD и преобразовать его в 4K-эквивалентный. 1080p-эквивалентный может быть возможен с буквально идеальными кадрами и главным видео редактором + цветовым классом, который знал каждый аспект каждого применения в своем рабочем процессе. Любой, кто утверждает, что они могут увеличить девять Deep Space Nine, Voyager или любое другое DVD-шоу в конце 1990-х годов до 4K, искажает масштаб того, что достижимо, притворяясь буквальным разрешением 4K, что обеспечит 4K-эквивалентное качество.

Содержимое / видео

Заключение: текущее состояние программного обеспечения для повышения квалификации потребителей AI

Прямо сейчас единственное оплачиваемое приложение, которое стоит рассмотреть, - это топаз -видеосовершенство. Ни одно из других платных приложений, которые мы протестировали, не был достаточно быстрым, и все они произвели разбитый выход. TVEAI гораздо более способен, но читатели должны знать, что более старые качественные кадры гораздо сложнее улучшить. Многие профессионально произведенные кадры DVD с середины 1990-х годов все еще являются незначительными и требуют дополнительной работы, чтобы довести его до лучшего качества.

Скорость CUPSCALE достаточно хороша для небольших клипов, но немного болезненна для профессионального использования. В лучшем случае его качество может конкурировать или даже превзойти AI AI улучшить видео Topaz, но поиск подходящих моделей - это более медленное дело, и приложение не играет хорошо с другими приложениями GPU. Если у вас нет денег, чтобы потратить на топаз, но вы хотите экспериментировать с ИИ, я очень рекомендую Cupscale. Я был бы рад увидеть приложение так хорошо два года назад, и я ожидаю, что оно будет продолжаться со временем.

Ни TVEAI, ни CupScale не волшебство. Они не могут-и не могут-заменить человеческое глазное яблоко Mark I или необходимость в каком-то старом старомодном экспериментах. Ни одно из приложений не может пригласить DVD и волшебным образом выплетать нативное 4K-эквивалентное видео. Это не означает, что масштабы не могут творить чудеса-это просто означает, что реальность продолжает требовать от проблемной работы и опыта, которую научно-фантастические телешоу часто смогут пропустить.

Лично? Я нахожу удивительный уровень достижимого улучшения. Выпуск DVD SG-1 может быть отремонтирован и улучшен до такой степени, что он конкурирует или превосходит Blu-ray. В идеальных обстоятельствах такие шоу, как Deep Space Nine и Voyager, могут быть чрезвычайно улучшены по сравнению с их нынешними состояниями. Правильная обработка позволяет восстановить более маргинальные видео. Выполнение - это не правильный инструмент для каждой работы, но оно разделяет это различие с каждым видеофильтром и приложением, когда -либо созданным.

Если вы просмотрели результаты, которыми я поделился, и не нашли их особенно интересными, проверьте через два года и посмотрите, как все изменилось. Я наблюдал, как масштабители становятся гораздо более способными за последние два года, и я не вижу причин думать, что улучшения будут останавливаться. GPU от AMD и NVIDIA продолжают улучшаться при быстром клипе. AMD и Intel будут продолжать улучшать производительность ИИ на чипе посредством некоторой комбинации поддержки инструкций SIMD, интегрированных возможностей графических процессоров и специализированных акселераторов в чипе. Если ваше любимое телешоу - томинка на посредственном передаче DVD, это статическая рабочая нагрузка, которая никуда не денется, пока программное обеспечение и аппаратное обеспечение продолжают улучшаться в быстром темпе. Через 5 лет у нас должно быть ускорение искусственного интеллекта на уровне приложений в реальном времени, которое обеспечивает лучшее качество, чем CubScale и TVEAI сегодня. К тому времени производительность нереальных приложений также будет продвигаться вперед.

Когда я начал этот проект в 2020 году, максимальная производительность составила ~ 0,44 с за кадр. 2,5 года спустя максимальная производительность больше похожа на 0,09 с/кадр для одного и того же материала DVD-источника. В режиме реального времени в 23,976 кадры требуется ~ 0,04 с/рама с небольшим пространством для накладных расходов. Не безумно думать, что графические процессоры могли бы обеспечить такой подъем в не столь устойчивом будущем, учитывая, как быстро производительность улучшилась.

Если вы хотите увидеть больше образцов из видео выше, вы можете использовать ссылки ниже, чтобы получить доступ к некоторым видео-страницам. Существуют дополнительные образцы и отснятый материал, а также больше информации о том, как было обработано каждое видео. Если вы хотите прочитать больше о расширенной обработке ИИ и о том, как выжать из своего видео очень подробно, нажмите здесь.

• Sance v. Stream (320 × 240, Canon PowerShot около 2006 года)
• Final Fantasy X: The Dance (582 × 416, оригинальный диск PS2)
• Battlestar Galactica: проект Living Legend (720 × 400, как это предусмотрено)
• Мама Гризли (база 720p, исходный источник)
• Создание Дика Трейси (закодировано в 582 × 320, качество VHS, а не оригинальный источник)
• Помимо Blu-ray: Stargate SG-1 Appareed DVD против официального релиза Blu-ray

Читать далее

Обзор: Oculus Quest 2 может стать переломным моментом для массового внедрения VR

Oculus Quest 2 теперь доступен, и это улучшение по сравнению с оригиналом во всех отношениях. И все же это на 100 долларов дешевле, чем последний выпуск. Проведя некоторое время с Quest 2, я считаю, что мы можем оглянуться на него как на гарнитуру, которая наконец сделала VR доступной для массовых потребителей.

Samsung, Стэнфорд, создали дисплей с разрешением 10000 пикселей на дюйм, который может революционизировать VR и

Спросите любого, кто провел в гарнитуре VR более нескольких минут, и они отметят эффект дверного экрана. Это могло бы устранить его навсегда.

НАСА: астероид все еще может поразить Землю в 2068 году

Согласно новому анализу Гавайского университета и Лаборатории реактивного движения НАСА, этот астероид размером с небоскреб все еще может столкнуться с Землей в 2068 году.

AMD может разрешить кастомные карты RX 6900 XT, стартовые запасы могут быть ограничены

Ходят слухи, что Nvidia может быть не единственной компанией, столкнувшейся с нехваткой продукции в этот праздничный сезон. В целом, высокопроизводительные графические процессоры может быть очень сложно найти.