OpenAI запускает нейронную MMO для обучения искусственного интеллекта в сложных условиях открытого мира

За последние несколько лет мы видели, как ряд проектов ИИ демонстрируют, насколько эффективно искусственный интеллект может играть в определенные игры, от классики, такой как шахматы, до китайской игры Go и даже DOTA 2 и Starcraft 2. Теперь некоммерческий OpenAI имеет выпустила то, что называется Neural MMO. Внешний вид сильно напоминает Minecraft, но долгосрочное влияние идеи может быть значительным.

На самом деле мы затронули некоторые из этих тем при обсуждении внутриигрового ИИ и о том, как DirectX 12 может привести к улучшениям за счет высвобождения системных ресурсов, расходуемых на ИИ, вместо обработки запросов рендеринга с помощью графического процессора. (Оповещение спойлера: ничего подобного еще не произошло). Тем не менее, эту статью следует рассматривать как учебник по проблемам, с которыми часто сталкиваются разработчики игр при внедрении систем искусственного интеллекта.

OpenAI пишет:

[T] вот еще две основные проблемы для многоагентного обучения с подкреплением. Нам нужно создавать открытые задачи с высоким уровнем сложности: текущие среды являются либо сложными, но слишком узкими или открытыми, но слишком простыми. Такие свойства, как постоянство и большая численность населения, являются ключевыми, но нам также необходимо больше эталонных сред для количественной оценки прогресса в обучении при наличии больших чисел населения и стойкости. Игровой жанр многопользовательских онлайн-игр (MMO) имитирует большую экосистему, состоящую из множества игроков, соревнующихся в постоянных и обширных условиях.

Пригодность ММО для моделирования реальных событий широко исследовалась в течение последнего десятилетия. Во время определенных внутриигровых событий в World of Warcraft - инцидент с Corrupted Blood и вторжение Scourge Inv вторжением - игроки спонтанно вводили свои собственные карантинные протоколы в ответ на игровые проблемы, которые заражали неубиваемых NPC заразной болезнью, которая позволяла им заражать других. в пределах определенного радиуса. Во время Вторжения Плети можно было заразиться болезнью, которая превратила вас в одну из нежити. В обоих случаях способы реагирования игроков на инцидент были позже изучены в эпидемиологических исследованиях, поскольку обычно трудно обеспечить финансирование исследовательской работы, в которой половина города в реальном времени подвергается воздействию патогена для изучения реакции другой половины. ,

Другими словами, НММ представляют большой интерес для исследователей, поскольку они предлагают ограниченный набор видов деятельности, которые требуют от людей принятия сложных решений о том, как расставить приоритеты во времени и ресурсах, но не содержат почти столько конкурирующих требований или переменных, которые необходимо отслеживать.

В этом случае реализация довольно проста. Агенты ИИ должны добывать еду и воду, чтобы остаться в живых, и они перемещаются по карте, чтобы получить и то, и другое. Это приводит их к конфликту с другими агентами и требует от ИИ осторожного движения, чтобы максимизировать вероятность поиска ресурсов при его исследовании. Агенты добывают пищу и должны пополнять запасы воды, соревнуясь друг с другом тремя различными атаками.

OpenAI заявляет, что «одной из целей платформы является обнаружение игровой механики, которая поддерживает сложное поведение и группы агентов, которые могут научиться использовать их. В человеческих ММО разработчики стремятся создать сбалансированную механику, в то время как игроки стремятся максимизировать свои навыки их использования. Первоначальные конфигурации наших систем являются результатом нескольких итераций балансировки, но отнюдь не являются фиксированными: каждый представленный числовой параметр редактируется в простом файле конфигурации ».

Один из самых сильных результатов исследовательской группы? Обучение большего числа агентов на карте всегда приводит к более высокой производительности, когда серверы «объединены» и агенты каждого из них настроены на конкуренцию друг с другом.

Обучение нескольких видов (популяций) агентов привело к различным схемам исследования. Обучение только одного вида имело тенденцию создавать глубокий путь исследования по карте, в то время как обучение нескольких видов приводило к совершенно другой схеме исследования, так как агенты ИИ пытались распространиться, чтобы колонизировать разные ниши (в этом примере обучения объекты из одной популяции были не в состоянии победить друг друга).

Разрыв между работой, которую ведут «настоящие» исследователи ИИ, и тем, что обычно делают игры и разработчики игр, огромен, но подобные проекты намекают на пути к тому, чтобы однажды соединить их. Представьте себе, что вы играете в игру, где персонажи NPC не просто хорошо написаны, они действительно способны учиться и сражаться более эффективно, адаптироваться к вашим собственным методам игры и работать с вами для достижения целей миссии. Это было бы больше похоже на игру в игру с партнером без всяких шуток о твоей маме.

Читать далее

SpaceX запускает бета-версию Starlink Better Than Nothing

Тем немногим счастливчикам, которые получили приглашения попробовать услугу, придется заплатить огромную сумму аванса, а скорость не впечатляет. Тем не менее, это новое поколение спутникового Интернета.

PlayStation 5 будет доступна в сети только в день запуска

PlayStation 5 не будет доступна в магазинах в день запуска, и если вы захотите приобрести твердотельный накопитель M.2, чтобы расширить его хранилище, у вас будет время подумать об этой покупке.

Intel подробно описывает стратегию XPU, запускает новый серверный графический процессор, OneAPI Gold

Сегодня Intel сделала пару анонсов, касающихся своей инициативы OneAPI и запуска своего первого серверного графического процессора на базе графики Xe.

Nvidia GeForce RTX 3060 Ti запускается 2 декабря, но удачи!

RTX 3060 Ti поступит в продажу завтра всего за 399 долларов - он может быть даже доступным после непристойной наценки реселлера!