Яке відео AI підйомники можуть, а що не можуть зробити, і як змусити їх зробити це краще

Протягом останніх 2,5 років я працював над відновленням Star Trek: Deep Space Nine і останнім часом, Star Trek: Voyager. Я писав про ці зусилля неодноразово, але сьогоднішня історія дещо інша, і вона кидає набагато ширшу мережу. Замість того, щоб зосередитись на Star Trek, ця стаття є всеосяжним оглядом того, що добре забезпечує програмне забезпечення AI, де воно не вистачає, і як покращити остаточну високу якість. У деяких сценаріях належним чином оброблений, висококласний DVD може конкурувати або навіть перевершити офіційний випуск Blu-ray Studio.

Я знаю, що останнє-це претензія на підняття брів. Це одна з тем, про яку ми будемо обговорювати сьогодні. Ви можете побачити докази нижче.

Я протестував кілька додатків для збільшення масштабу AI, як оплачувані, так і безкоштовно, використовуючи все, від старих кадрів, еквівалентних VHS, до рідного вмісту HD 720p. Ця стаття також є посібником для максимізації якості випуску, уникаючи деяких підводних каменів, які можуть зірвати ваше відео. Тут є кілька кадрів Star Trek, але це лише один тип вмісту серед багатьох.

Питання, яке я найчастіше отримую, - це "чи може AI збільшити масштаб покращити відео?" Ось одна з моїх відповідей на це. Якщо вам подобається те, що ви бачите, продовжуйте читати.

Виходячи з того, що я чув від читачів, існує багато плутанини щодо того, коли збільшення масштабу AI корисне, скільки вдосконалення можна досягти та чи платні продукти, такі як Avclabs Video Anchancer, DVDFAB Video Anhancer AI, або Topaz Video підвищити AI, варті гроші. Моя мета - допомогти вам відповісти на ці запитання та дати вам відчути, що можливо, незалежно від вашого проекту.

Також можна навчити власні моделі AI вдома, якщо у вас є достатньо потужний графічний процесор та набір навчальних даних, але це окрема тема з питання про те, чи варто будь -які наявні в даний час продукти, що платять, або безкоштовні продукти AI. Ця стаття не стосується відносних достоїнств навчання власної моделі та використання вже доступних продуктів. Ця історія також не розглядає онлайн-послуги, оскільки вони не підходять для масштабної обробки зображень.

Як прочитати цю статтю

Мені ніколи не доводилося писати розділ, який розповідає людям, як читати одну з моїх історій, але я також ніколи не писав історію, яка тривала 16 000 слів із 50 або більше відео на восьми сторінках.

Це стаття Omnibus, яка стосується трьох різних тем. У тексті на цій сторінці обговорюється те, що можуть, а не можуть зробити, з прикладами та відео, вбудованими на всій території. Також є розділ про вдосконалені поради щодо збільшення масштабу AI для тих, хто хоче отримати більше з цих додатків, і конкретна демонстрація того, як збільшена версія Stargate SG-1 на основі джерела DVD може перемогти якість офіційного випуску Blu-ray MGM MGM MGM .

Посилання в змісті нижче дозволяють перейти до будь -якого розділу статті, тоді як відео вказує на виділену сторінку для кожного кліпу. Ці додаткові сторінки містять додаткові коди та порівняння для зацікавлених читачів. В кінці кожного розділу ви побачите два невеликі посилання, позначені "вміст" та "відео". Ці посилання повернуть вас до змісту та списку додатків відео відповідно. Я також написав окрему сторінку для всіх, хто хоче розширені поради щодо максимальної високої якості. Усі додаткові додатки знову будуть пов’язані внизу сторінки для легкої навігації, тому вам не доведеться стрибати назад до вершини, щоб отримати доступ до них.

Якщо у вас є питання про те, що таке AI збільшення масштабу, що це може зробити для вас, і як досягти максимальної якості, ви хочете продовжувати читати цю сторінку. Якщо ви хочете дізнатися більше про вдосконалені методи покращення високої якості, візьміть посилання «майстер -клас». Якщо ви хочете побачити дискусію DVD проти Blu-ray, зокрема, це останнє посилання у списку відео нижче.

Зміст

Що таке AI збільшення?
Які види збільшення програмного забезпечення існують?
У чому різниця між Cupscale та Topaz Video Plains AI?
Вплив попередньої обробки
Чи є ваше відео хороший кандидат для збільшення масштабу?
Чому збільшення масштабу спірного?
Скільки вдосконалення можна отримати?
Висновок: поточний стан програмного забезпечення для збільшення масштабу споживача AI
Бонус

Я вирішив розділити історію таким чином, зрозумівши, що немає практичного способу обговорити як програмне забезпечення, так і відео, яке воно створює детально в одній сторінці. Сторінки, що стосуються відео, внизу цієї статті документують кожен крок робочого процесу. Кожен додаток містить декілька кодів та порівнянь, але я створив понад 20 відео для Final Fantasy X, зокрема. Якщо ви хочете односторінковане порівняння того, наскільки різні підйомники AI та методи, які не є вдосконаленням вмісту, порівняно один з одним, перевірте там.

Претензія на DVD Blu-ray проти DVD адресована на останній сторінці з порівнянням між випуском Blu-ray Stargate SG-1 проти збільшеної версії тих же епізодів з DVD. Усі відео, показані в цій історії, були змінені на 4K для завантаження, щоб мінімізувати вплив поганого кодування відео з низькою роздільною здатністю YouTube.

Відеоролики

Chance v. Stream (320 × 240, Canon PowerShot Circa 2006)
Final Fantasy X: The Dance (582 × 416, оригінальний диск PS2)
Battlestar Galactica: Проект Living Legend (720 × 400, як це передбачено)
Mamma Grizzly (720p база, оригінальне джерело)
Макіяж Діка Трейсі (кодовано на 582 × 320, якісність VHS, а не оригінальне джерело)
Поза Blu-ray: Stargate SG-1 Upscaled DVD проти офіційного випуску Blu-ray

Ви хочете встановити YouTube на 4 к або такий високий, як підтримує ваш монітор, у всіх випадках. Ви можете використовувати клавіші "" для навігації рамки за кадром у відео YouTube. Коли ви бачите етикетку на кшталт "Оригінальне відео" у порівнянні, це означає, що ви бачите оригінальні, незмінні кадри або висококласну версію цього кадру, не застосовуючи іншої обробки. Я зневірив / депелексував ці кліпи, якщо це необхідно, але нічого іншого не змінював. Такі терміни на кшталт "відфільтровані" та "оброблені" означає, що відео було відредаговано в іншій програмі, перш ніж я збільшив його.

Ці зразкові відео були різними розмірами, від 320 × 240 до 1280 × 720. Рівень запечених пошкоджень та базової якості значно змінювались. Кожна з окремих відео сторінок показує кадри на кожному етапі обробки, від початкового відео до остаточного високого масштабу. Це допоможе вам відстежувати, звідки виникають вдосконалення, і як кожен етап обробки змінює остаточний вихід.

Можливо, вам не подобається кожен створений я. Можливо, вам не подобається будь -який створений я. Це добре. Мета полягає в тому, щоб показати вам широту та глибину того, що можливо з різними налаштуваннями та додатками, а не продавати вас у власній роботі як Crème de la crème збільшення масштабу.

Перш ніж ми розпочнемо роботу, кілька швидких термінів: "Оригінальне джерело" означає "оригінальний відеофайл, створений авторитом". У контексті DVD оригінальним джерелом може бути .M2V або Набір файлів VOB. "Рідний" відноситься до оригінальної роздільної здатності файлу. Відео все ще може бути в рідній роздільній здатності, не будучи оригінальним джерелом. Я також іноді називатиму 200 відсотків високого масштабу як 2 -кратний високий масштаб і 400 відсотків високого масштабу як 4 -кратний високий масштаб. Ці терміни еквівалентні.

Зміст / відео

Що таке AI збільшення?

Підвищення масштабу - з штучним інтелектом або без нього - це процес перетворення відео чи зображення з нижчої роздільної здатності до вищої. Коли ви змінюєте розмір зображення від 640 × 480 на 1280 × 960 в програмі, як Photoshop або Paint.net, ви також збільшуєте зображення, просто не з AI. Деякі програми для редагування відео та зображення дозволяють кінцевому користувачеві вибрати певний алгоритм зміни розміру зображення, включаючи такі параметри, як Lanczos, бікубічний, білінеар та найближчий сусід.

На зображенні нижче показано, як різні алгоритми зміни розміру зображення інтерпретують одне і те ж вихідне зображення. Використовуючи інший алгоритм, ви можете змінити, як виглядає ваше щойно скорочене зображення, чи ви робите його меншим чи більшим, ніж раніше. Порівняти всі моделі фільтрації не дуже просто, тому я обрізав зразки білінеару, Lanczos, None, Spline36 та Spline16 та завантажив їх у IMGSLI, якщо ви хочете побачити порівняння крупного плану. Використовуйте повзунок, щоб перевірити відмінності та спадне меню, щоб вибрати різні зображення. Маленький квадратний значок максимізує порівняння.

AI Upscalers також обробляють та змінюють розмір зображення/відео, але вони не покладаються на однакові алгоритми масштабування. AI -підшвидки використовують моделі, які навчаються машинному навчанню для обробки відео та підвищення його очевидної якості та/або роздільної здатності дисплея. Розробники можуть вибрати, щоб навчити одну і ту ж базову модель на різних типах вмісту для створення подібних моделей з різними спеціалізаціями, або вони можуть використовувати нові навчальні набори для кожної моделі. Подібні моделі з різними спеціалізаціями часто, як кажуть, належать до однієї родини моделей. Одна модель в сім'ї може бути налаштована лише для видалення шуму, а інша також може посилити малюнок. Запустіть одне і те ж відео через дві різні моделі AI, і ви отримаєте два вигляди різних вигляду.

Нижче в прикладі порівнюється оригінальний кадр 85,020 з оригінального Star Trek: Deep Space Nine Episode «Шлях воїна» з тим самим кадром після збільшення масштабу з різними моделями у відео Topaz покращує AI. У комплекті є приклади з надійної Dione, Artemis High Weight (AHQ), а також моделі Proteus, що надаються в TVEAI 2.6.4, а також AHQ з щойно випущеної бета-версії Topaz 3.0. Колір змінюється між джерелом OG та трьома висококласними кадрами від TVEAI 2.6.4, був навмисним з мого боку. Однак 3,0 бета трохи змістила колір у власному напрямку.

Модель, яку ви вибрали, визначає, як буде виглядати ваш вихід, незалежно від того, як ви використовуєте додаток для збільшення масштабу AI. Запустіть вміст живої дії через AI, призначений для високої анімації, і ви отримаєте результати, які можна було б охарактеризувати як "дивно". Виберіть модель, яка включає важке позначення, коли ваше відео не потребує цього, і ваше вихідне відео може бути надмірним. Вибір моделі AI для зміни вмісту концептуально схожий на вибір специфічного алгоритму розміру в додатку редагування зображень, навіть якщо механізм дії дуже інший. В обох випадках ви вибираєте певний метод обробки, який вплине на те, як виглядає ваше змінене зображення.

Зміст / відео

Які види збільшення програмного забезпечення існують?

Є різноманітні додатки для збільшення AI, які ви можете завантажити, як оплачені, так і безкоштовні. З усіх них є два чіткі лідери: відео Topaz покращує AI та чашу. Відео Topaz удосконалення AI - це легко найкращий оплачений товар, який ви можете придбати, але за 200 доларів, це не дешево. Cupscale - це безкоштовна альтернатива, яку варто розслідувати, якщо у вас немає готівки, хоча в цьому розділі є деякі компроміси.

Спочатку я планував включити кілька платних додатків у всій цій статті, але я зіткнувся з серйозними проблемами як з AVCLABS Video Підсилювач AI, так і на підвищення відео DVDFAB. Проблема DVDFAB полягає в тому, що вона виробляє загалом низькоякісну вихід, яка не відповідає "вдосконаленим" у будь-якому значущому сенсі цього слова. AVCLABS мали подібні проблеми і часто розбиваються на межах сцени, витягуючи інформацію з наступної сцени назад у течію. Я включив результати як для AVCLAB, так і для DVDFAB у додаток Final Fantasy X, але не провів обширні тести з цими програмами.

У цьому порівнянні Avclabs Broken 1 розмита і руйнує деталі, тоді як Broken 2 викликає певні предмети одягу, що вискакує з місця події. Обидва викликають ненавмисні зміни кольору. DVDFAB Broken 1 сповнений непарних вертикальних смуг, розбиті 2 флатени все і має чудову помилку на нижній правій стороні кадру, а зламаний 3 відмовляється від збільшення масштабу на користь мазка вазеліну на вашому дисплеї. Вихід відео 2х та кубки мають кольорові зміни, але вони не завдають шкоди, як AvClabs або DVDFAB.

Станом на це написання, ні AVCLABS, ні DVDFAB не створили відео, на який варто витратити гроші. Якщо ви вирішили витратити гроші на підвищення рівня, прочитавши цю статтю, відео Topaz покращує AI, який можна придбати. Якщо ви не думаєте, що TVEAI варто витрачати гроші, не існує іншої платної програми, про яку я знаю, що це віддалено порівнює. Зразки вмісту, надані у цій статті та в додатках, повинні допомогти вам прийняти це рішення.

Є ще одна безкоштовна програма, яку я також протестував: Video2x. Це дало певні розумні результати у Final Fantasy X, яку я включив на додаткову сторінку цього відео, але його використовувати трохи складніше, ніж чаша та дещо менш гнучкий. В цілому, я думаю, що Cupscale дає краще зрозуміти, що може досягти сучасного ШІ, але Video2x також варто подивитися.

Примітка. Ця стаття зосереджена на відео Topaz Plonence AI 2.6.4 та Cupscale 1.390F1 з деякими конкретними зразками відео для AVCLAB (оплачуваних), DVDFAB (оплачуваних) та Video2x (безкоштовно). Оскільки я також вніс деякі навмисні зміни кольорів під час збільшення масштабу, я також зазначу, де я задумав їх відбутися.

Зміст / відео

У чому різниця між Cupscale та Topaz Video Plains AI?

Кулька та TVEAI спрямовані на досить різні аудиторії. Topaz Veai дуже хоче бути легким рішенням для одного клацання для вдосконалення відео. На жаль, додаток не може автоматично визначати, яка з моделей та налаштувань дасть найкращі результати у вашому конкретному відео. Як результат, кінцевий користувач повинен експериментувати, щоб виявити, які моделі (и) дають найкращі результати. Додаток має функцію попереднього перегляду, яка є досить корисною для цього.

Вибір моделі - це не єдине, що впливає на ваш остаточний вихід. Користувачі також повинні перевірити різницю від 200 до 400 відсотків підвищення. 400 відсотків високих масштабів - це не лише більші версії на 200 відсотків. Суб'єктивна різниця між 200 до 400 відсотків може бути такою ж великою, як різниця між двома різними модельними сім'ями. Я рекомендую протестувати 200 відсотків підвищення рівня до 400 відсотків, оскільки 400 -відсоткові моделі не настільки гнучкі у роботі з широким спектром вмісту, як 200 -відсоткові моделі, і їм також потрібно багато часу.

Відео Topaz покращує 200 відсотків моделей AI, як правило, краще підтримує деталі, а іноді і робляться точніше, ніж його 400 -відсоткові моделі. 400-відсоткові моделі іноді кращі при згладжуванні та видалення шуму. Вони також потребують менше VRAM та надають швидше. Це не завжди так з кубком, де окремі часи обробки моделей іноді змінюються до того, що швидка модель 4x може перевершити повільну модель 2x або навіть 1x. Якщо ви читали попередні історії, які я написав, ви можете згадати, що я рекомендував моделі TVEAI на 400 відсотків понад 200 відсотків, але я змінив свій підхід, як дозрівав відеопалер Topaz. Я пропоную почати з 200 -відсоткових моделей та тестувати 400 -відсоткову модель за потребою. Заключна роздільна здатність набагато менш важлива при збільшенні, ніж думають люди (на сторінці "майстер -клас" є більше деталей щодо цього).

На відео нижче порівнюється немодифікований кліп Battlestar Galactica з кліпом, який я збільшив 200 відсотків у TVEAI, використовуючи попередньо встановлену високу якість Artemis (AHQ). Давній художник із спецефектів Адам "Моджо" Лейбовіц створив оновлений VFX для цього кліпу ще в 2010 році, щоб показати, як може виглядати сучасний ремастер шоу. Це відео та ряд інших порівнянь розміщуються на спеціалізованій сторінці BSG.

Порівняння вище являє собою початок удосконалення відео Topaz, що покращує AI, може забезпечити, а не кінець. Наступне відео показує створене на чаші відео, зроблене з моделлю 4xuniscalerestore та використовуючи версію цього кліпу, яка була попередньо оброблена в гібриді з vapoursynth.

Topaz VEAI включає функції брак чашок, включаючи можливість лише збільшити певну підмножину кадрів у більшому відео. Він підтримує щонайменше один тип файлу (.mov), що чаша не робить. Моделі TVEAI створюють кольорові зміни рідше, а ступінь змін, як правило, менша. На мою думку, на мій погляд, відео Topaz покращує інтерфейс користувача AI трохи простіше.

Базова установка Cupscale включає кілька моделей AI, але реальна міцність програми полягає в його здатності запускати безліч моделей, створених користувачем, доступні зі сторінок, таких як ця та розкидана по Інтернету. Ви можете експериментувати зі значно більшим загальним діапазоном моделей в кубку, ніж у TVEAI, і встановлення їх так само просто, як копіювати їх у відповідний підкаталог. Існують сумісні з Cupscale моделі, які можуть покращити відео так само, як і будь-яка платна програма, яку я бачив, включаючи Topaz's. Нижче наведений вихід є змінним кольором, але загальний рівень вдосконалення деталей є розумним для одного пропуску на оригінальному відео.

Мені довелося встановити Python 3.9, щоб увімкнути мережу Python AI; Вбудована вбудована версія не працювала з моїм GPU. Якщо ви уважно дотримуєтесь цього набору інструкцій, ви повинні мати можливість його запустити. Python виявився швидше, ніж NCNN, але не завжди різко. Я не тестував чашу на AMD або GPU Intel, але обидва підтримуються через Вулкан.

Мені дуже подобається Cupscale - деякі відео в цій статті - це гібриди TVEAI + Cupscale - але в додатку також є деякі недоліки, які безкоштовно не виправляються.

По -перше, чаша повільніше, ніж відео Topaz покращує AI. Це правда, чи використовуєте ви мережу Esrgan (Pytorch) або параметр Esrgan (NCNN). Я розумію, що Pytorch є лише Nvidia і що GPU AMD потребує використання Vulkan. Я протестував обидва варіанти на RTX 3080 і виявив, що Піторч був на 1x - 3x швидше, ніж Вулкан, залежно від моделі. Мій RTX 3080 зміг підняти сцену CGI Final Fantasy X "танець" приблизно на 41,5 кадрів в хвилину, коли використовує мережу AI ESRGAN (NCNN) та модель 2X_Kemonoscale_V2. Найшвидша абсолютна продуктивність у будь -якому кліпі, який я побачив при використанні Pytorch, становила ~ 90 фут. На жаль, навіть 90 / футм не порівнюється з Topaz. Відео Topaz покращує AI десь від 4 разів - 10 разів швидше, ніж чаша. Розрив продуктивності достатньо великий, щоб змістовно покращити свою здатність перевіряти зразки та вміст доказування.

Різниця між Cupscale та Topaz Video Planance AI - це не лише питання швидкості. Відео Topaz покращує моделі AI спільно виконувати набагато кращу роботу, займаючись вмістом. Я посилаюся на здатність моделі давати хороші результати в широкому діапазоні зразків як гнучкості. Модель є гнучкою, якщо ви можете застосувати її до багатьох різних видів відео з досить хорошими результатами та негнучким, якщо воно обмежується конкретними типами вмісту.

Відгнута не є автоматично поганою справою. Ряд моделей TVEAI розроблені для вирішення таких проблем, як Haloing, і вони не дають великих результатів, якщо застосовуватись до всього вмісту по всій дошці. На жаль, багато моделей, сумісних з чашечками, які ви знаходите в Інтернеті, не дуже гнучкі.

Досить публічний приклад негнучкості став вірусним на початку цього року після Оскара. Після того, як Вілл Сміт ляснув Крісу Рок, чутка здійснила тури, які Кріс носив пластир з м'якоть. Він не був. По чутках розпочався, коли хтось годував фотографію події в скасувальну службу, яка створила це:

Технічно це приклад "галюцинації" AI, яких немає, але це також приклад того, що я маю на увазі, коли я кажу, що модель негнучає. Неустріма модель може добре працювати для пострілів у космічному бою або спеціальних ефектах, але розірвати, коли його просять впоратися з людьми. Альтернативно, це може прекрасно працювати з кадрами в реальному часі, але створювати помилки у фоні, як показано на зображенні нижче.

Ця критика дійсно стосується лише моделей, розроблених для загальних випадків використання. Модель, розроблена для анімації, може не впоратися з живою дією дуже добре, оскільки вона не призначена. Відгнута в цьому випадку була б анімаційною моделлю, яка може обробляти лише одне конкретне шоу. Навіть тоді це може бути не проблемою; Я знаю декількох людей, які працюють над моделями AI, що стосуються шоу. Відгнута не завжди є поганою справою, але це обмежує сценарії, в яких модель може бути використана і може вимагати кінцевого користувача, щоб перевірити більше моделей, щоб знайти ту, яка працює.

Відео Topaz покращує моделі AI іноді ламаються, але вони ламаються набагато менше, ніж будь -яка інша програма, яку я протестував. Помилки TVEAI періодично вводять майже завжди можна зменшити або повністю виправити за допомогою використання іншого програмного забезпечення, за умови правдиві дві речі: 1). Якість вашого відео достатньо висока, щоб він добре високодосконали та 2). Ви готові докласти певних зусиль для вирішення проблеми.

Що стосується Cupscale, то створені користувачем моделі AI, які ви можете завантажити та запустити, швидше вводять або збільшують наступні ефекти, виходячи з мого тестування:

Строби (швидкі легкі/темні зміщення по великих частинах сцени)
Текстура мерехтіння в тонких деталях.
Значні кольорові зрушення
Неправильно надана деталь
Неправильні зміни фокусу переднього плану/фонового зображення.
Непослідовна якість виходу від сцени до сцени.

Custscale також періодично має проблеми з пропусканням і періодично стрибає вперед у відео і починає збільшувати нову сцену. Кадри 0-750 можуть супроводжуватися кадрами 11235-12570. Я не міг зрозуміти причину цієї поведінки, але спочатку декомпресувати відеофайли та розповісти програмі для високих зображень, здається, запобігає проблемі.

Після розслідування 16 моделей Cupscale я рекомендував би 4X-Unirestore для живих дій. Я також мав хороші результати з родиною Кемоно у Final Fantasy X та Live-Action, окрім деяких значущих і несподіваних змін кольору, як показано нижче.

Після обширного тестування я виявив, що Cupscale швидше, ніж TVEAI, розбивається, якщо ви запустите ще одну програму, прискорену GPU, при цьому вже збільшуючи відео. У деяких випадках просто запуск програми, прискореного обладнанням, може викликати аварію. Відео Topaz покращує AI, яка мала цю проблему, але це набагато краще поводитися, ніж колись.

Той факт, що моделі Cupscale мають більше шансів зламатись і спричиняють більш широкий спектр проблем, не означає, що жодна модель, сумісна з чашкою, не здатна відповідати або навіть побити відео Topaz підвищує якість AI. Мене по-справжньому вразили моделі 4X-Unirestore та Kemono. Модель UNISCALE_CARTOONRESTORE_LITE показана нижче, цього разу запущено на відео, яке було попередньо оброблено в Avisynth. Не хвилюйтеся, якщо це речення не має для вас сенсу - ми обговоримо, на чому Avisynth трохи далі.

На жаль, повільніша швидкість візуалізації Cupscale та відносна негнучкість його моделей означає, що ви витратите більше часу на очікування кліпів, щоб візуалізувати, щоб ви могли перевірити, чи корисний вихід чи ні. Окремі кадри можна знайти в підкаталозі "рамки", якщо ви хочете перевірити вихід середнього рівня, але певні проблеми можуть бути не видно, поки ви не побачите кліп у русі. Запустіть достатньо відео через достатню кількість моделей, і ви розробляєте краще розуміння того, чи буде будь -яка модель працювати для вмісту… з часом. Цей же процес навчання відбувається швидше в Topaz Veai.

Topaz Video AI 2.6.4 не ідеально. Він періодично неправильно розуміє співвідношення сторін або вводить невеликі зміни контрасту. Незважаючи на ці затяжні зростаючі болі, додаток дозріло, оскільки я востаннє писав про це і зараз підтримує GPU Intel, AMD та NVIDIA, а також X86 та Apple Silicon Mac. Компанія продовжувала вдосконалювати свої моделі збільшення AI і додала нові моделі інтерполяції кадрів за останній рік.

Ось як би я узагальнив порівняння між TVEAI та Cupscale:

Кубок - це дуже весело, якщо ви ентузіаст, який любить тестувати різні моделі, або ви думаєте, що хочете колись створити власну. Я з самого початку сказав, що хотів, щоб мій проект Deep Space Nine базувався на вільному програмному забезпеченні, і хоча чашка недостатньо швидка, щоб впоратися з таким розміром ще, ви можете коситись і побачити, як настає день. CustScale варто перевірити як допоміжний або додатковий варіант для збільшення вмісту, особливо якщо TVEAI не дає хороших результатів. Той факт, що додаток настільки гнучкий, потужний та стабільний, як не говорить нічого, крім хороших речей про своїх авторів.

Кліп нижче - це суміш 50/50 між двома моделями Cupscale. Я детальніше обговорюю змішування на сторінці "майстер -клас", але це прекрасний спосіб мінімізувати помилки, знімаючи переваги збільшення масштабу.

Topaz Video AI - це програма для використання, якщо у вас є проект будь -якого значного розміру, вам потрібні дещо передбачувані результати та/або якщо ви дбаєте про продуктивність. TVEAI також вимагає експериментів, але він робить набагато швидше, і його моделі рідше зламаються.

Тепер, коли ми обговорили, що таке AI -збільшення масштабу, і деякі відмінності між самими вершинами, я хотів би трохи переключити передачі та поговорити про два важливі програми: Avisynth та Vapoursynth. Ці програми не є самими підняттями, але вони часто відіграють велику роль у визначенні остаточної якості висококласного.

Зміст / відео

Вплив попередньої обробки

Відео Topaz покращує AI - це програма, орієнтована на одне завдання: збільшення відеовмістів. На жаль, багатьом старим відео потребує більше, ніж просто поїздка через AI Upscaler, щоб виглядати якнайкраще. Хоча сімейство моделей Dione пропонує деінтерсінг, а модель Proteus оснащена користувачем, що регулюється, позначення, дерінгу та заточення, деінтернаків та інші загальні завдання редагування відео-це не те, що призначені для виконання Topaz veai або чаша.

Avisynth (технічно avisynth+) та vapoursynth є Frameservers з великими можливостями редагування відео. Обидва програми можуть зневірити та депелекіне відео, конвертувати вміст між стандартами NTSC та PAL (або навпаки), перемикайте відео з одного формату контейнера та/або кодека на інший, і пропонувати широкий спектр функцій ремонту та модифікації практично для кожного типу змісту. Існують фільтри для антиалійного, заточення, згладжування, позначення, знежирення, потемніння лінії, витончення лінії, видалення веселки, виправлення помилок хроми тощо. Набагато більше. Нижче я вбудував відео, що демонструє той самий кліп BSG, що і раніше, лише цього разу після фільтрації.

Експериментуйте з фільтрами, і ви часто знайдете комбінацію, що призводить до чистого поліпшення вашого остаточного високого масштабу. Наприклад, і Avisynth, і vapoursynth можуть вводити зерно та шум таким чином, щоб покращити вихід TVEAI. Моделі на чаші також впливають на додавання зерна та шуму, але не однаково. Я не впевнений, що техніка настільки ж корисна при роботі з чашкою, хоча користь завжди була б залежною від моделі. Читачі повинні знати, що впорскування зерна та шуму не завжди покращує деталі, і для пошуку потрібного фільтра може знадобитися деякі експерименти. Функції QTGMC з GrainRestore та Noiserestore - чудове місце для початку.

Ось ще з Battlestar Galactica. Це може бути важко побачити різницю між обробленим та необробленим у швидкому русі, тому це дзеркальне порівняння повинно полегшити. Витягніть повзунок праворуч і вліво, і ви побачите обмін зображеннями, коли ви переходите центральну лінію. Обробка відео спочатку видаляє дощову та загальну деталізацію.

На відео нижче показано різницю між збільшенням оригінального Clip Final Fantasy X, не обробляючи в Avisynth, порівняно з підвищенням масштабу після обробки Avisynth. На сторінці Final Fantasy X Додаток показано два різних методи, якщо обробляти це відео в Avisynth та різний вихід, який він виробляє. Це другий метод.

Vapoursynth - це порт Avisynth, який був переписаний для використання Python. Кажуть, що сценарій Avisynth є простішим, якщо ви не програміст; Vapoursynth є більш гнучким, але вимагає кінцевого користувача, щоб дізнатися більше синтаксису програмування. Є передні кінці графічного інтерфейсу, які роблять використання або простішим завданням. Я використовую Staxrip як передню частину для Avisynth та Hybrid як фронт для vapoursynth.

Знову ж таки, ви можете використовувати Avisynth або Vapoursynth для обробки вашого відео. Я натрапив на гібрид після того, як у мене був встановлений робочий процес у Staxrip, і мені подобається додаток, тому я продовжував його використовувати. Avisynth старший за Vapoursynth, і тому є більше фільтрів, але багато поширених фільтрів AVS були перенесені на Vs. Також є зручна енциклопедія, присвячена Avisynth, якщо ви хочете дізнатися більше.

Для простоти я іноді називатиму обидва програми як AVS/VS, але, мабуть, вам не потрібно використовувати обидва, якщо певний фільтр не доступний лише для одного з них. Я називаю запуску AVS/VS як "попередню обробку" в цьому контексті, оскільки відео обробляється під час підготовки до збільшення масштабу, а не на звичайний перегляд.

Якщо ви хочете отримати доступ до всіх моделей пропозицій TVEAI та/або у вас є вміст, який ви хочете повернути до прогресивної частоти кадрів 23,976 кадрів в секунду, вам потрібно буде використовувати сторонній додаток. Avisynth та/або vapoursynth - це, як правило, найкращий шлях, але, безумовно, існує крива навчання, пов'язана з цими програмами. Handbrake - це інший варіант, і хоча це не мій улюблений додаток особисто, він іноді робить розумну роботу. Що стосується платних заявок, то TMPGENC 7 зробив хорошу роботу, що депелькінгує, як Deep Space Nine та Voyager, коли я протестував його на початку цього року. Avisynth і vapoursynth є вільними, як і ручний. TMPGENC 7-це платна заявка, але вона має 30-денну безкоштовну пробну версію.

Іноді можна використовувати Avisynth та/або vapoursynth для відновлення нежиттєздатного відео до того, що воно може отримати користь від збільшення масштабу, але це потрібно оцінювати в кожному конкретному випадку. Для ремонту відео може знадобитися більше часу, ніж ви хочете витратити. У деяких випадках вибір фільтрів, які ви зробили б для досягнення високоякісного високого масштабу, не є таким, як ви вибрали, якщо ви планували переглянути відео на рівні. Топаз часто створює більш детальний вихід, якщо додатковий шум та зерно вводяться у відео, як показано нижче:

Спочатку я показав ці кадри в статті Star Trek на початку цього року, щоб показати вплив ін'єкційного зерна та шуму. Я змінив колір на цих зображеннях, щоб полегшити ефект, і я застосував більше зерна та шуму, ніж ви, мабуть, хочете використовувати. Вам не потрібно вводити таке зерно та шум, щоб побачити користь. Це важливо, оскільки не всі ці зміни є корисними.

Правильне лікування кадрів може спричинити різкі відмінності в кінцевій якості зображення. Обидва наведені нижче кадри були збільшені, використовуючи однакові налаштування Proteus у TVEAI. Єдина відмінність полягає в тому, як я попередньо обробляв кадри. Налаштування, які я рекомендую тестування в додатках, не дадуть цей сильний ефект.

Взаємозв'язок між Avisynth, Vapoursynth та Topaz Video Suppy AI найкраще розуміти як додаткові. Часто краще виконувати деінтернак, використовуючи фільтр QTGMC в Avisynth або vapoursynth, на відміну від використання однієї з моделей Dione у відео Topaz покращує AI. Аналогічно, введення зерна та шуму через фільтр QTGMC часто покращує остаточний вихід TVEAI.

Оскільки підвищення рівня з ентузіазмом покращить помилки, а також бажані деталі, єдиний спосіб підвищити деякі кадри та закінчитися чистим вдосконаленням - це виправити те, що порушено першим. Правильна попередня обробка є ключовою для процесу.

Зміст / відео

Чи є ваше відео хороший кандидат для збільшення масштабу?

Тепер, коли ми обговорили основні можливості та відмінності підвищення кваліфікації AI та їх допоміжних програм, поговоримо про те, як оцінити відео. Хоча єдиний спосіб напевно дізнатися, як буде виглядати відео, - це подати його через підвищення рівня, є широкі вказівки, які можуть допомогти вам визначити, чи є ваше відео хорошим кандидатом. Відео, які, як правило, добре, - це відео, які:

Були професійно відредаговані / освоєні / захоплені тим, хто знав, що вони роблять, і хто знайшов час, щоб добре лікувати матеріал.
Є або оригінальним джерелом відео з оригінальним шаблоном шуму/зерна, або якомога ближче до цього відео.
Мають порівняно мало проблем для початку.
Були зняті у відносно недавньому минулому, на відносно сучасному обладнанні.

Ось що це означає, на практиці:

Набагато простіше вищі кадри сонячної вечірки на день народження на відкритому повітрі, зняту на Samsung Galaxy S5, ніж це, щоб вищі кадри сонячної вечірки на день народження на відкритому повітрі, зняту в 1991 році на відеокамері. Хороший результат є досить ймовірним у першому випадку і дуже малоймовірно у другому. Чим нижча якість відео джерела, тим менше ймовірно, що ви отримаєте задовільний результат у будь -який час у всіх випадках.

Відео нижче було знято на 72op камері ще в липні 2010 року на Nikon 300 -х професіонал та колега Девід Кардин. Як бачите, він досить добре очищається.

Існує певний мінімальний поріг якості, який потрібно зустріти відео, перш ніж підвищення рівня може покращити його. Якщо відео нижче цього порогу, воно вимагатиме додаткової обробки (як мінімум), перш ніж воно може отримати користь від збільшення масштабу. Досить низькоякісні відео не отримують користі від поточних загальних інструментів збільшення масштабу, незалежно від того, як вони спочатку обробляються. Підвищення масштабу може зробити такі кадри гірше.

Останні кілька питань не мають нічого спільного з якістю відео, але вони, мабуть, найважливіші, коли справа стосується оцінки ваших шансів на успіх:

Скільки часу та енергії ви готові присвятити цьому проекту?
Чи готові ви навчитися використовувати інші програми, якщо вони покращують остаточну якість вашого відео?
Чи готові ви перевірити різні методи обробки відео, поки не знайдете результат, який ви шукаєте?

На ці запитання немає неправильних відповідей, але вам потрібно їх врахувати. Я пропоную скористатися безкоштовною пробною версією AI, перш ніж купувати програму. Перевірте його на фактичному вмісті, який ви хочете, якщо це можливо. Старий жарт про "вдосконалення" здатності витягувати нескінченні рівні деталей із нечіткого зображення 32 × 32 пікселів набагато ближче до реальності, ніж раніше, але у нас все ще немає нічого подібного до кнопкового рішення. Ремонт пошкодженого відео, щоб підготувати його до збільшення масштабу, часто є неабиякою роботою.

Зміст / відео

Чому збільшення масштабу спірного?

Підвищення масштабу недостатньо улюбленого в певних куточках спільноти редагування відео. Причини залежать від особистості. Деякі люди не люблять відео Topaz, що покращує AI, деякі не люблять всю концепцію збільшення масштабу AI, і деякі люди добре з цією концепцією, але незадоволені тим, як продаються поточні продукти та/або те, що вони можуть досягти.

Проблема з великою картинкою полягає в тому, що багато випуску AI Upscaler не завжди дуже добре. Іноді це прямо погано. Можливо, на 38 хвилин 43-хвилинного відео для високого рівня красиво, в той час як п'ять хвилин його виглядають так, ніби вони були вискоблюються через декодер MPEG-1 і виходили під дощем протягом тижня. Остаточна висока якість може значно відрізнятися, навіть в межах одного і того ж професійно виробленого епізоду телебачення. Це не допомагає, що все поле є новим, і люди все ще з'ясовують, що працює, а що ні.

Ось приклад відео, яке не дуже добре, якщо ви просто кидаєте оригінальний кліп через відео Topaz удосконалюють AI:

Ясно, що в Інтернеті в Інтернеті заплутали читачів. Я чув, щонайменше від півтора десятка людей, які не були впевнені, що думати про збільшення масштабу AI, оскільки мої попередні статті та зразки кліпів, що демонструють глибокий простір дев'ять, а Вояджер стверджував на користь одного висновку, в той час як знають відео-редактори на інтернет-форумах висловив дуже різні аргументи.

Замість того, щоб сперечатися над теорією, я запустив цей проект, щоб вивчити факти. Я не відбив своїх джерел для цієї історії. Мене попросили відновити кліпи Діка Трейсі та BSG відповідними власниками, відео Джека Рассела 320 × 240-одне з найдавніших та найнижчих відеороликів, які я сидів навколо, і я вибрав Final Fantasy X відео на примхах після Побачивши ще один проект реставрації на YouTube. Я попросив Девіда Кардинала на старше відео, яке дозволить мені перевірити збільшення масштабу на вмісті 720p, але він вибрав відео для поділу.

Візьміть один і той же відеокліп вище і поставте його через кілька моделей AI, а також різні робочі процеси обробки, і кінцевий результат відрізняється. Незважаючи на те, що ступінь вдосконалення не є величезним, підвищення рівня більше не завдає шкоди і навіть можна сказати, щоб дещо покращити вміст.

Загальна спільнота з редагування відео добре знає про безліч способів збільшення масштабів AI може піти не так, але менше усвідомлення способів того, як збільшення рівня AI можна підштовхнути до правильного, навіть якщо воно не було спрямовано таким чином для початку.

Зміст / відео

Скільки вдосконалення можна отримати?

Це важке запитання на відповідь. Те, що люди хочуть почути, - це щось конкретне, наприклад: "Легко висококласні DVD до якості HD 1080p!" Деякі компанії висловлюють такі претензії у своїй маркетинговій літературі. Вони не повинні. Це рідкісна ситуація, коли розмова буквально може залишити людей неправильним враженням. Коли я кажу, що вдосконалення кадрів DVD до того, що схоже, що рідний 720p важко, я не маю на увазі буквальний зсув з 720 × 480 до 1280 × 960. Я маю на увазі труднощі з підвищенням якості DVD -дисків досить високою, що це можна було помилитися з корінним джерелом 720p.

Ті, хто бажає спробувати повністю подолати розрив між SD та HD, опиняться на гачку більше, ніж швидкий пропуск через будь-який додаток для редагування відео, включаючи відео Topaz Pellance AI або Cupscale. Однією з причин, що я включив у цю статтю стільки зразків, - це проілюструвати не лише те, скільки відео можна вдосконалити, а звідки ці вдосконалення і скільки роботи потрібно, щоб їх отримати.

Що стосується грубого посібника, ось що я можу запропонувати:

Уявіть собі шкалу якості з виїмками у звичайних точках - VHS, DVD, 720p, 1080p, 4k. Тепер додайте чотири виїмки між кожним стандартом. VHS -* -* -* -* - DVD. Ці точки представляють безрозмірні проміжні вдосконалення якості зображення, які є достатньо великими, щоб ви помітили, але недостатньо великі, щоб заявити, що ваше відео виглядає так, як воно було знято в пізнішому стандарті. Чотири - це довільне число, яке я вирішив зробити свій приклад математики. Розкритий DVD, який покращився на три очки, буде виглядати як відмінний DVD, але він не зовсім обдурило б обізнаного глядача думати, що вони спостерігають за 720p або 1080p, що стосується джерела. Ця чотирибальна шкала найкраще підходить для VHS -> DVD або DVD -> 720p. Напевно, було б лише 2-3 балів "якості" між 720p і 1080p.

Якщо ви попросите відео Topaz покращити AI, щоб підвищити еквівалент високоякісного вихідного файлу DVD без попередньої обробки, ви можете обґрунтовано очікувати прибутку в розмірі 1-2 балів. Якщо ваше джерело має середню якість, ви можете отримати 0,5 -1. Джерело якісної якісної, і ви отримаєте десь від -3 до +1 балів. Я пішов негативно, щоб визнати, що збільшення кадрів поганої якості може знизити його якість.

Суть попередньої обробки, поєднання моделі та інших робочих процесів додатків, які я обговорюю в розділі «майстер-клас»,-це підвищення якості вашого остаточного високого масштабу. Покладіть свої кадри через Avisynth або Vapoursynth, і ви можете активізувати 1,25-2,5 балів замість 1-2. Чи готові ви поєднати кілька моделей збільшення масштабу? Додайте ще 0,5-1 балів, залежно від умови вашого джерела та якості попередньої обробки. Чи готові ви експериментувати з різними методами попередньої обробки, різними фільтрами в інших комунальних послугах, крім AVS/VS, та експериментувати з поєднанням всього відео разом, можливо, з більш ніж однією поїздкою через більше одного вигору? Якщо ви це робите, і ваші джерельні кадри мають достатньо високу якість, можливо, ви зможете отримати достатню сприйняту візуальну якість, щоб пройти як місцеве джерело наступного за висотою стандартом. Навіть тоді ваше відео, ймовірно, не буде підтримувати цю ілюзію ідеально у кожній сцені, і загальна якість все одно зануриться в широкі постріли з великою кількістю людей. Ваші шанси досягти цього рівня вдосконалення кращі, якщо ви знаєте, як кольорові оцінки.

Приклад моєї власної роботи, про який я б заперечував, зустрічає поріг "може пройти для рідного 720p", наведений нижче. Поки я не вибирала цей епізод чи цю сцену, я б сказав, що випробування та трибрики-один із кращих епізодів Deep Space Nine для початку.

Я пропоную зосередитись менше на тому, чи буде ваш високий масштаб як рідний HD, і більше на тому, чи подобається вам вихід чи ні. Деякі телевізійні шоу ніколи не отримували якісні випуски, і дуже важко компенсувати джерело низької якості. Підвищення сприйнятої візуальної якості високого масштабу стає простіше, ніж вища ваша базова роздільна здатність та загальна якість. 720p простіше перетворити на 1080p, ніж DVD до 720p. DVD до ~ 720p простіше, ніж підвищення VHS до якості еквівалентного DVD.

Не існує споживчого AI збільшення програми, який може зняти кадри DVD та перетворити його на 4K-еквівалент. 1080p-еквівалент може бути можливим із буквально ідеальним кадрами та головним редактором відео + кольорів, який знав кожен аспект кожного програми у своєму робочому процесі. Кожен, хто стверджує, що може високоключати Deep Space Nine, Voyager або будь-яке інше шоу на основі DVD на базі 4K на базі 4K, неправильно представляє сферу досягнення того, що можна досягти, роблячи вигляд, що буквальна роздільна здатність 4K забезпечить 4K-еквівалентну якість.

Зміст / відео

Висновок: поточний стан програмного забезпечення для збільшення масштабу споживача AI

Наразі єдиною платною програмою, яку варто розглянути, це відео, що покращує AI. Жоден з інших оплачуваних програм, які ми перевірили, не був досить швидким, і всі вони створили зламаний вихід. TVEAI набагато здібніше, але читачі повинні усвідомлювати, що старші кадри нижчої якості набагато важче вдосконалити. Багато професійно виготовлених кадрів DVD з середини 1990-х все ще є маргінальними і вимагає додаткової роботи, щоб привести її до найкращої якості.

Швидкість чашки досить хороша для невеликих кліпів, але трохи болюча для професійного використання. У кращому випадку його якість може конкурувати або навіть перевершити відео Topaz покращити AI, але пошук правильних моделей є повільнішою справою, і додаток не грає приємно з іншими програмами GPU. Якщо у вас немає грошей, щоб витратити на Topaz, але ви хочете експериментувати з AI, я дуже рекомендую Cupscale. Я був би в захваті від того, щоб побачити додаток Два хороші два роки тому, і я очікую, що він буде продовжувати вдосконалюватися з часом.

Ні TVEAI, ні чаша не є магією. Вони не можуть-і не можуть-замінити очне яблуко марки I або потребу в хороших старомодних експериментах. Жодна програма не може поглинути DVD і магічно виплюнути рідне 4K-еквівалентне відео. Це не означає, що збільшення масштабу не може творити чудеса-це просто означає, що реальність продовжує вимагати клопітної кількості фактичної роботи та досвіду, яку науково-фантастичні телевізійні шоу часто вдається пропустити.

Особисто? Я вважаю рівень досяжного вдосконалення дивовижним. Вивільнення DVD SG-1 можна відремонтувати та покращити до того, що він конкурує або перевершує Blu-ray. За ідеальних обставин шоу, як Deep Space Nine та Voyager, можуть бути надзвичайно покращені у їхніх нинішніх станах. Правильне поводження дозволяє відновлювати більше граничних відео. Підвищення масштабу - це не правильний інструмент для кожної роботи, але воно поділяє цю відмінність з кожним відеофільтом та програмою, що коли -небудь створюється.

Якщо ви переглянули результати, якими я поділився, і не вважаєте їх особливо цікавими, перевірте через два роки і подивіться, як все змінилося. Я спостерігав, як підвищення стають набагато більш здатними за останні два роки, і я не бачу жодних причин думати, що вдосконалення збираються. Графічні процесори від AMD та NVIDIA продовжують вдосконалюватися на швидкому кліпі. AMD та Intel продовжуватимуть вдосконалювати продуктивність AI на мікросхемі за допомогою певної комбінації підтримки інструкцій SIMD, інтегрованих можливостей GPU та спеціалізованих прискорювачів на мікросхемі. Якщо ваше улюблене телешоу затягується на посередньому передачі DVD, це статичне навантаження, яке нікуди не йде, поки програмне забезпечення та обладнання продовжують вдосконалюватися швидкими темпами. Через 5 років ми повинні мати прискорення AI на рівні AI на рівні в реальному часі, яке забезпечує кращу якість, ніж Cupscale та TVEAI сьогодні. На той час, виконання додатків, що не мають часу, також відскочать вперед.

Коли я розпочав цей проект у 2020 році, продуктивність вищого класу становила ~ 0,44с за кадр. 2,5 років потому продуктивність верхнього кінця більше схожа на 0,09S/кадр для одного і того ж матеріалу джерела DVD. У режимі реального часу при 23,976 кадрів в секунду потрібно ~ 0,04S/рамка з невеликим місцем для накладних витрат. Не божевільно думати, що графічні процесори могли б забезпечити такий вид підйому в не так віддаленому майбутньому, враховуючи, наскільки швидко покращилася ефективність.

Якщо ви хочете побачити більше зразків із наведених вище відео, ви можете використовувати посилання нижче, щоб отримати доступ до деяких сторінок, що стосуються відео. Існують додаткові зразки та кадри, а також додаткова інформація про те, як оброблялося кожне відео. Якщо ви хочете прочитати більше про вдосконалену обробку AI та про те, як вичавити останні деталі з вашого відео, натисніть тут.

Chance v. Stream (320 × 240, Canon PowerShot Circa 2006)
Final Fantasy X: The Dance (582 × 416, оригінальний диск PS2)
Battlestar Galactica: Проект Living Legend (720 × 400, як це передбачено)
Mamma Grizzly (720p база, оригінальне джерело)
Створення Діка Трейсі (кодовано на 582 × 320, якісність VHS, а не оригінальне джерело)
Поза Blu-ray: Stargate SG-1 Upscaled DVD проти офіційного випуску Blu-ray