OpenAI «DALL-E» генерує зображення з текстових описів

OpenAI «DALL-E» генерує зображення з текстових описів

Штучний інтелект дуже добре попрацював у деяких справах - він навіть наближається до можливостей людей, коли йдеться про розпізнавання об’єктів та створення тексту. А як щодо мистецтва? OpenAI розробив нову нейронну мережу під назвою DALL-E (це як Далі, що киває улюбленому роботу Pixar WALL-E). Все, що вам потрібно зробити, - це дати DALL-E деякі вказівки, і він може намалювати для вас зображення. Іноді візуалізація трохи краща за малювання пальцями, але інколи це вражаюче точні зображення.

Останнім часом OpenAI публікує новини для своїх нейромереж GPT, яких іноді називають «генераторами фейкових новин» через те, наскільки добре вони можуть вигадувати брехню для підтримки вхідного тексту. GPT3 показав, що великі нейронні мережі можуть виконувати складні лінгвістичні завдання. Команда хотіла побачити, наскільки такий ШІ може переміщатися між текстом та зображеннями. Як і GPT3, DALL-E підтримує "міркування з нульовим пострілом", дозволяючи йому генерувати відповідь з опису та репліки без будь-якого додаткового навчання. На відміну від GPT, DALL-E - це модель мови-трансформера, яка може приймати як текст, так і зображення як вхідні дані. DALL-E не потребує точних значень та інструкцій, як механізм 3D-рендерингу; попереднє навчання дозволяє заповнювати пропуски, щоб додати деталі, не зазначені у запиті.

Приклад: Дивіться нижче кілька пінгвінів-малюків, які носять різдвяні светри та грають на гітарі. Не потрібно говорити, що пінгвін має капелюх Діда Мороза - DALL-E просто придумує цю деталь самостійно в декількох візуалізаціях.

OpenAI «DALL-E» генерує зображення з текстових описів

DALL-E також краще розуміє об'єкти в контексті порівняно з іншими художниками ШІ. Наприклад, ви можете попросити DALL-E фотографії телефону або пилососа за певний проміжок часу, і він зрозуміє, як змінилися ці предмети. Ну, принаймні загалом. На деяких із зображень будуть кнопки в неправильному місці або химерна форма. Але всі вони відображаються з нуля в ШІ.

Ця химерна смуга допомагає DALL-E захоплювати різні концепції захоплюючими способами. Коли його просять об’єднати равлика та арфу, він пропонує кілька розумних варіацій на тему. Завдяки більш простим інструкціям, таким як «намалювати смайлик з авокадо, що розбивається», ви отримуєте кілька хитрих і досить чарівних варіантів, які Unicode повинен розглянути, додаючи до офіційного списку смайлів.

OpenAI «DALL-E» генерує зображення з текстових описів

Команда також показала, що DALL-E може поєднувати текстові інструкції та візуальне підказку. Ви можете подати це зображення та попросити модифікації того самого зображення. Наприклад, ви можете показати коту DALL-E і попросити ескіз кота. Ви також можете попросити DALL-E додати сонцезахисні окуляри до кота або зробити його іншим кольором.

У OpenAI є сторінка, де ви можете пограти з деякими більш цікавими вхідними значеннями. Модель все ще досить обмежена, але це лише початок. OpenAI планує вивчити, як DALL-E може вплинути на економіку (додайте ілюстраторів до списку робочих місць, яким загрожує ШІ), і можливість упередженості результатів.

Читати далі

Google Open Sources Exoplanet-Hunting AI
Google Open Sources Exoplanet-Hunting AI

Наприкінці минулого року компанія Google показала, як машинне навчання може допомогти астрономам розкопати відставання Кеплера, і він виявив кілька нових екзопланет у цьому процесі. Google зараз відкритий джерелом планети-виявлення AI, так що кожен може надати йому постріл.

Microsoft Open Sources - це перший файловий менеджер
Microsoft Open Sources - це перший файловий менеджер

За ліцензією MIT ви можете завантажувати, модифікувати та використовувати диспетчер файлів Windows, хоча ви хочете.

Google Open Heritage дає змогу вивчати історичні місця, що знаходяться під загрозою зникнення, у VR
Google Open Heritage дає змогу вивчати історичні місця, що знаходяться під загрозою зникнення, у VR

Google хоче взяти вас на екскурсію по деяких найважливіших історичних сайтах світу, і вам навіть не потрібно вставати.

Apple захищає Killing OpenGL, OpenCL, як розробники загрожують повстання
Apple захищає Killing OpenGL, OpenCL, як розробники загрожують повстання

Плани Apple забити OpenGL не дуже популярні у розробників ігор, і компанія намагається далі пояснити свою позицію.