Nvidia AI може відтворювати повні міські середовища в Unreal Engine 4
Протягом багатьох років інтерес до штучних нейронних мереж збільшився, оскільки такі компанії, як Google та Facebook, значною мірою інвестували в машини, які можуть здаватися людьми. Сьогодні AI може розпізнавати об'єкти на фотографіях або допомогти генерувати реалістичну комп'ютерну мову, але Nvidia успішно побудував нейронну мережу, яка може створити весь віртуальний світ за допомогою ігрового движка. Дослідники припускають, що цей "гібридний" підхід може в один прекрасний день створювати ігор, створений за допомогою ІІ, реальністю.
Система, побудована інженерами Nvidia, використовує багато тих самих частин, що й інші експерименти з AI, але вони розташовані дещо іншим чином. Метою проекту було створення простого симулятора водіння, але без використання будь-яких людей для розробки навколишнього середовища.
Як і всі нейронні мережі, система потребувала навчальних даних. На щастя, робота на самохідних автомобілях забезпечила велику кількість навчальних кадрів для автомобіля, що рухається по міських вулицях. Команда використовувала мереж сегментації для розпізнавання різних категорій об'єктів, таких як дерева, автомобілі, небо, будівлі тощо. Сегментовані дані полягають у тому, що Nvidia потрапляє у свою модель, яка використовувала генеративну змагальну мережу для підвищення точності кінцевої продукції. По суті, одна мережа створила відтворення сцени, а друга мережа буде передавати або відмовитися від них. З плином часу мережа налаштовується, щоб створювати вірогідні дані.
Nvidia підключила свій AI до Unreal Engine 4, яка запускає такі ігри, як PUBG, Fortnite і Octopath Traveler та багато іншого. Однак, команда не забезпечила повне середовище в UE4. Швидше за все, AI отримав лише основну топологію міського середовища. AI заповнив світ будівлями, дорогами, транспортними засобами та текстурами на основі того, що він дізнався з навчальних даних.
Отримані кадри виглядають практично реально, і Nvidia навіть не потребує масивних серверних ферм для запуску AI, що генерує цей віртуальний світ. Для цього потрібен лише один графічний процесор, хоча за загальним визнанням, це була жахливо потужна графічна карта - $ 3000 Titan V. АІ створив 25 кадрів в секунду, що достатньо для того, щоб зробити симуляцію гладкою та відтворюваною. Однак AI змінить кольори та текстури в кожному кадрі, оскільки в ньому немає нічого дивного в машині без будь-якої пам'яті; кожен кадр - це нова подія без зв'язку з попереднім. Щоб це виправити, інженери Nvidia створили первинну короткострокову пам'ять для AI, щоб допомогти їй залишатися послідовною.
Хоча ця технологія є захоплюючою, дизайнерів застерігає, що це може бути десятиліттями, перш ніж ігри насправді використовують світло, створений за допомогою AI. Вони порівнюють цей проект із трасуванням променів для створення більш реалістичного освітлення. Є кілька десятиліть демо-версій для відстеження променів, але кілька тижнів тому NVIDIA запустила пробні процесори з промінням траєкторією.
Читати далі
Новий Mac Teardowns демонструє компанію Apple M1 Engineering під капотом
iFixit розібрав MacBook Air та MacBook Pro, що працюють на M1, даючи нам поглянути на одну з останніх незвіданих основних областей цих продуктів: їх основний фізичний дизайн.
Intel Proaches Apple Engineer, який веде команду розробки M1
Intel залучила одного з найцікавіших інженерів Apple, щоб допомогти зі своїми зусиллями SOC.
Volvo для використання Unreal Engine для "фотореалістичних" дисплеїв EV
Volvo - це остання компанія, яка оголошує плани використовувати Unreal Engine для майбутнього флоту EVS. Це задає питання: чи можуть пасажири грати в раунд світів, коли застряг у трафіку?
AMD Engineer підтверджує, що споживання GPU RDNA3 збільшиться
Це тенденція, - сказав співробітник AMD та інженер -ветеран.