OpenAI «DALL-E» генерує зображення з текстових описів

OpenAI «DALL-E» генерує зображення з текстових описів

Штучний інтелект дуже добре попрацював у деяких справах - він навіть наближається до можливостей людей, коли йдеться про розпізнавання об’єктів та створення тексту. А як щодо мистецтва? OpenAI розробив нову нейронну мережу під назвою DALL-E (це як Далі, що киває улюбленому роботу Pixar WALL-E). Все, що вам потрібно зробити, - це дати DALL-E деякі вказівки, і він може намалювати для вас зображення. Іноді візуалізація трохи краща за малювання пальцями, але інколи це вражаюче точні зображення.

Останнім часом OpenAI публікує новини для своїх нейромереж GPT, яких іноді називають «генераторами фейкових новин» через те, наскільки добре вони можуть вигадувати брехню для підтримки вхідного тексту. GPT3 показав, що великі нейронні мережі можуть виконувати складні лінгвістичні завдання. Команда хотіла побачити, наскільки такий ШІ може переміщатися між текстом та зображеннями. Як і GPT3, DALL-E підтримує "міркування з нульовим пострілом", дозволяючи йому генерувати відповідь з опису та репліки без будь-якого додаткового навчання. На відміну від GPT, DALL-E - це модель мови-трансформера, яка може приймати як текст, так і зображення як вхідні дані. DALL-E не потребує точних значень та інструкцій, як механізм 3D-рендерингу; попереднє навчання дозволяє заповнювати пропуски, щоб додати деталі, не зазначені у запиті.

Приклад: Дивіться нижче кілька пінгвінів-малюків, які носять різдвяні светри та грають на гітарі. Не потрібно говорити, що пінгвін має капелюх Діда Мороза - DALL-E просто придумує цю деталь самостійно в декількох візуалізаціях.

OpenAI «DALL-E» генерує зображення з текстових описів

DALL-E також краще розуміє об'єкти в контексті порівняно з іншими художниками ШІ. Наприклад, ви можете попросити DALL-E фотографії телефону або пилососа за певний проміжок часу, і він зрозуміє, як змінилися ці предмети. Ну, принаймні загалом. На деяких із зображень будуть кнопки в неправильному місці або химерна форма. Але всі вони відображаються з нуля в ШІ.

Ця химерна смуга допомагає DALL-E захоплювати різні концепції захоплюючими способами. Коли його просять об’єднати равлика та арфу, він пропонує кілька розумних варіацій на тему. Завдяки більш простим інструкціям, таким як «намалювати смайлик з авокадо, що розбивається», ви отримуєте кілька хитрих і досить чарівних варіантів, які Unicode повинен розглянути, додаючи до офіційного списку смайлів.

OpenAI «DALL-E» генерує зображення з текстових описів

Команда також показала, що DALL-E може поєднувати текстові інструкції та візуальне підказку. Ви можете подати це зображення та попросити модифікації того самого зображення. Наприклад, ви можете показати коту DALL-E і попросити ескіз кота. Ви також можете попросити DALL-E додати сонцезахисні окуляри до кота або зробити його іншим кольором.

У OpenAI є сторінка, де ви можете пограти з деякими більш цікавими вхідними значеннями. Модель все ще досить обмежена, але це лише початок. OpenAI планує вивчити, як DALL-E може вплинути на економіку (додайте ілюстраторів до списку робочих місць, яким загрожує ШІ), і можливість упередженості результатів.

Читати далі

Надзвичайно швидкий сонячний зонд НАСА повертає дивовижне зображення Венери
Надзвичайно швидкий сонячний зонд НАСА повертає дивовижне зображення Венери

За даними NASA, Паркер помітив невидиме раніше сяйво, яке могло бути продуктом кисню в негостинній атмосфері планети. Несподівана чіткість поверхневих особливостей також змушує вчених переоцінити, наскільки чутливі камери Паркера.

Нове зображення супермасивної чорної діри показує закручені магнітні поля
Нове зображення супермасивної чорної діри показує закручені магнітні поля

Телескоп горизонту події дав нам знаковий образ 2019 року чорної діри, перший коли-небудь вироблений. Тепер команда провела нові спостереження над магістральною чорною дірою в центрі галактики M87, виявляючи лінії магнітного поля навколо порожнечі.

Нові зображення Юпітера від Juno Probe показують дивовижний подробиць
Нові зображення Юпітера від Juno Probe показують дивовижний подробиць

У парі нещодавно випущених зображень ви можете побачити безпрецедентну кількість деталей у хмарах Юпітера, і вони обидва були створені вченими громадян.

Нове оновлення PS4 покращує якість зображення для власників PS4 Pro, що застрягли на 1080p
Нове оновлення PS4 покращує якість зображення для власників PS4 Pro, що застрягли на 1080p

Оновлене оновлення Sony PS4 System Software 5.50 доповнює нові можливості, включаючи шкільний батьківський контроль, оновлення інтерфейсу користувача та деякі візуальні процедури для власників PS4 Pro, які все ще використовують телевізори 1080p.