Wfoojjaec объясняет: Что такое нейронная сетка?

Поскольку закон Мура подходит к своему энконе, техносфера посмотрела на разные и более разнообразные подходы к вычислению. Мы не можем просто зависеть от вождения часов скорости выше и выше. Мы также не можем продолжать делать транзисторы всё меньше. Но сравнения изобилует компьютерами и мозгом человека. В конце концов, это все о вычислительной мощности, и это одна область, где наш мозг все же лучше, чем компьютеры. Таким образом, исследователи начали проектировать компьютерные системы, которые выглядят и действуют больше похожи на мозги. Мы называем эти системы нейроморфные системы, нейронные сети или просто нейронные сети.

Поскольку мы увеличиваем наше понимание человека Connectome, наша способность понимать пропускную способность феноменальной информации мозга растет в тандеме. Теперь у нас есть частичная сетевая диаграмма человеческого мозга. Следовательно, инструменты нейроморфных вычислений взорвались популярностью. Как мы предсказывали в 2016 году, искусственный интеллект (AI) питает текущую технологическую революцию в медицинском здравоохранении человека. Это также представляется, что нервные сети могут быть следующей границей в продвижении вычислительной технологии в целом.

Это руководство предназначено для краткого, но тщательного грунтовки по нейронным сетям. Если вы остались с вопросами после прочтения, пожалуйста, сообщите нам о комментариях: мы можем решить ваши вопросы в обновлении или на будущую статью.

Итак, без дальнейшего ADO ...

Что такое нейронная сеть?

Нейронная сеть, также известная как нейроморфную систему, является системой аппаратного обеспечения и / или программного обеспечения, которое эмулирует некоторый аспект мозга. Нейронные сети обычно уточняют трех основных компонентов: нейронная сеть - это система нейронов или узлов, а также их соединения и веса. Он также должен обладать какой-то функцией распространения. Некоторые нейронные сети способны наблюдать за своими результатами и изменять свой подход к задаче.

Почему имитирует мозг?

Есть две большие причины выбрать мозг как шаблон для обработки информации. Во-первых, мозги и компьютеры уже похожи во многих способах. Например, мозги и компьютеры являются оба сетками сетки нескольких слоев, ответственны за обработку информации о высокой томе. Они оба имеют рабочую память, буфер которого может колебаться или переполнять. У них оба имеют «холодное хранение» - мозг организует информацию в грубой семантической иерархии через поверхность мозга, подобна тому, как жесткий диск хранит данные в разных местах на его блюдо. И они оба состоят из сети узлов, важность которой индивидуально выражается «весами» их связей. Их узлы общаются с использованием серии электрических шипов, которые имеют данные, встроенные в последовательность.

Во-вторых, мозги действительно хороши в том, что они делают. Они быстрые, светлые и очень низкие мощности. Считается, что человеческий мозг имеет информационную пропускную способность к петашимости - намного больше, чем любой единственный компьютер, который мы когда-либо построили. (Распределенные суперкомпьютеры не считаются.) Они также эффективны: человеческий мозг работает около двадцати ватт.

Джек всех профессий, магистр многих

Эта выигрышная комбинация частично из-за физической структуры мозга, а частично из-за уникального способа информации путешествует через нервную систему. Мозги работают в серии и параллельно, двоичном и аналоговом, все в то же время. Когда невроны огонь, эти импульсы путешествуют остоны в серии. Но нейроны расположены в кортикальных колоннах, а кортикальные колонны расположены в мозгах. Таким образом, целые области мозга многих клеток могут работать на той же задаче, параллельно.

Нейроны сильно двоины, когда речь идет о том, как они передают свои сообщения. Сигнал нейрона изготовлен из электрических шипов, организованных в момент времени. Нейрон либо шипов, либо не так. (Частота варьируется, но амплитуда не так, как и FM-радио.) Шипы состоят из крошечного путешествий зап. Спайк-поезда - это разграниченные временными последовательностями электрических волн, которые содержат фрагменты данных. Это почти как приемник Morse Code. Но нейроны также делают аналоговый поглощение, подняв все перекрывающиеся, в реальном времени мерцает входных данных от дендритов. Это как физиологическое преобразование Фурье.

Нейроны общаются друг с другом путем получения, интерпретации, а затем размножая крошечную волну электричества вниз по длине аксона. Это чрезвычайно низкая мощность, потому что, что маленькая шипение деполяризации по всей мембране осуществляется путем простого сотрудничества с электрохимическим градиентом за пределами клетки. Кортичные нейроны, в частности, имеют глубокую разветвленную структуру. Они соединяются в моде «Многие к одной» своим соседям, которые физически рядом с ними, и «восходящие» нейроны, которые приходят перед ними в информационном потоке. Они также соединяются в «однозначном» манере при общении с ними коллеги. Для управления всеми этими поверхностями они анализируют «вес» соединений в порядке важности построения синапсов.

Невроморфное оборудование

Нейроморфные чипсы приближаются к функции мозга в качестве аварийного свойства его физической структуры. Но нейроны в нейроморфных оборудования не такие, как нейроны в мозге. Один нейрон не такой, как один транзистор. Вместо этого аппаратный нейрон изготовлен из многих транзисторов, таких как биологический нейрон имеет много портов в своей клеточной мембране.

Трюмный

IBM TrueNorth, произведенный в 2014 году, был многокоромный чип невроморфной CMOS, принимающий свернувную нейронную сеть. TrueNorth имел собственную программную экосистему, включая язык программирования, библиотеки, библиотеки и целую IDE.

Логи

ECOSYSTEM INTEL Loiii Ecosystem включает в себя аппаратные нейронные сеть и связанную сопутствующую программную структуру. В настоящее время мы находимся на втором поколении Лойхи, нейроморфной чип. Lava - это путь доступа к программному обеспечению до полномочий Логии.

Хотя он выполнен с использованием обычных полупроводниковых материалов и будет изготовлен в будущем на узле процесса Intel 4, Loiii организован очень иначе, чем кремний, который мы все привыкли. Физическая архитектура Loiii имитирует физическую организацию мозга, но в меньших масштабах. Чип имеет до миллиона нейронов: отдельных объектов в сети, каждый с 128 КБ памяти прилагается. Этот пул информации является аналогом чипов для синапсов; Это отражает состояние подключения нейрона в любой момент времени. Он контролируется соседними сердечниками X86, которые налагают внешние часы, чтобы исправить ритмы стрельбы нейронов. Сердечники супервизора также периодически заставляют нейроны проверить их память против остальной части группы или пересматривать прочность их соединений.

Эта структура соответствует иерархическим и параллельным аспектам организации мозга. Кроме того, Loiii 2 пересмотрел свой подход к стрельбе. Loii 1 выпустил его нейроны в двоичном виде: один или нулевой, ничто, между ними. Но Loiii 2 кодирует свои шипы как целые числа, которые позволяют шипам нести метаданные. Шипы с целочисленными ценностями могут эмулировать каталог различных электрохимических сигналов, который может отправлять нейрон. Кроме того, восходящие нейроны, ближе к входному слою, может оказать некоторое влияние на невроны ниже по течению.

Разработчики могут взаимодействовать с Loiihi и Lava с помощью Python. (Это начинает звучать как довольно тропическое приключение.) Система Loiiii в конечном итоге будет доступна для исследователей, но приложения для потребителей являются низким приоритетом.

Основные типы нейронных сетей

Нервные сетки, со своими слоями и избыточностью, Excel при обращении с очень параллельными задачами. Они также помогают с задачами, которые требуют, чтобы пользователь проглотил огромное количество данных, чтобы определить узоры в нем - это часто называют «пить от Firehose». Чтобы получить преимущества больших данных, мы должны быть в состоянии обработать его на полезной скорости. Нейронные сетки также Excel при манипулирующих данные с метаданными или множеством измерений.

Есть много разных индивидуальных нейронных чистых проектов, но все они падают в нескольких разных семьях функции. Каждый алгоритм создан для различного типа проблемы, и все они участвуют в тонко разных видах машинного обучения. Здесь мы обсудим четыре основных подтипа нейронных сетей: сверточные, рецидивирующие, генерирующие состязательные и шипы.

Сверточные нейронные сети

Революционные нейронные сети (CNNS) являются «переадресающими» системы, что означает, что поток информации является односторонним. Этот тип нейронной сети был упомянут в СМИ отчеты о AIS / Neural Nets, которые могут выполнять операции, но не могут объяснить, как они прибыли на их ответы. Это не потому, что они упрямы; Революционные нейронные сети просто не построены, чтобы показать свою работу. Они состоят из входного слоя, одного или нескольких скрытых слоев и выходного слоя или узла.

CNN часто используются для обработки изображений. Поскольку они питаются вперед, математически, CNNS делает отличную работу над двумерными массивами данных, таких как изображения и другие матрицы. Под капотом эти нейронные сетки применяют длинную математическую формулу, которая позволяет им выполнять операции на одном количестве номеров или терминов или уравнений, но и целое тело данных, такое как разгарное изображение.

Быть передовым, однако, влечет за собой определенное количество мертвых расплате. Один из способов, которым это проявляется в том, как CNN может выполнять распознавание изображения, а затем использовать его новое понимание для производства искаженных, трипповых изображений, полученных из его тренировочного набора данных. В 2016 году MIT выпустила AI, которая может использовать это убегающее поведение в изображения «Spookify», производит торрент кошмара топлива как раз вовремя для Хэллоуина.

Рецидивирующие нейронные сети

В отличие от передового подхода, повторяющиеся нейронные сети делают вещю, называемую обратной пропагацией. Воздушная распространение - это акт ретрансляции информации от более глубокого до более мелких уровней в нейронной сети. Этот тип алгоритма способен самосовершенствовать.

Рекуррентные нейронные сети выполняют размножение, сделав соединения с другими нейронами в системе - в масштабе до и в том числе наличие каждого нейрона, подключенного к любому другому нейрону. Это избыточность может привести к высокоточным результатам, но есть потолок уменьшающейся доходности, не в отличие от Super-выборки против псевдонима (SSAA). Поскольку алгоритм делает все больше и больше, проходит через данные, это уже обработано, меньше и меньше он может сделать. В против сглаживания, идя от 2xaa до 4xaa может производить четко заметные результаты, но трудно сказать разницу между 8x и 16xaa без практического глаза.

Этот тип нейронной сети может быть обучен с использованием градиентного спуска, метод анализа, который делает трехмерный ландшафт возможностей. Желаемые или нежелательные результаты делают «местность» в ландшафте. Как мы уже говорили, градиентный спуск не самый лучший метод обучения нейронной сети, но это мощный инструмент. Рекуррентные нейронные сетки могут дать градиентное снижение, поддержав некоторую память о том, каким был изменяющийся ландшафт.

Широкие нервные сети

Как мы видели выше, нейроморфный дизайн поставляется как в физических, так и в цифровых форматах. Вместо потока двоичных данных постоянно работает через единый процессор, Spiking Neural Nets может представлять собой программное обеспечение, оборудование или оба. Децентрализованные ядра, будь то физические или логические, огонь в каденсиле, называемый «поездом для шипов», чтобы передать их сигнал.

Шировые нейронные сети часто перемещают информацию, используя модель «Leaky Integrate-and-Fire». Каждый нейрон в всплывающей сети имеет вес, который представляет собой в среднем прокат в том, что недавняя активность нейрона. Больше активации поднимите значение выше. Но вес «утечка» в том смысле иметь отверстие в ведре. Со временем проходит время каждого сетевого веса нейрона. Это немного, как забыть. Биологически, не каждый нейрон всегда активен. Вы можете противопоставить его против постоянно насыщенного венка соединений в рецидивирующей нейронной сети.

Spiking Nets не так хорош в градиентном спуске, а также проблем оптимизации такого рода. Однако они велики при моделировании биологических функций. Поскольку Spiking Nets становятся более сложными, они могут кодировать больше информации в серии шипов. Это позволяет гораздо более близко вычислить пропуск по разнообразным функциям нервной системы. Мы уже использовали Spiking Neural Nets для моделирования нервных систем C. Elegans Colldworms и Drosophilia Fruit Fulls. Теперь исследователи пытаются моделировать кариковую колонку человека в режиме реального времени.

Еще одним возможным направлением для шиповных исследований нейронного сетевого сетевого сетевого типа является на дополнительных уровнях абстракции. Исследователи работают над созданием всплеска, в которой каждый отдельный нейрон содержит свою собственную крошечную нейронную сеть.

Генеративные состязательные нейронные сети (Gans)

Один тип нейронной сети с ростом популярности - генеративная состязательная нейронная сеть или GAN. Ганс - это еще одна эволюция искусственного интеллекта, часто используемая для изменения или генерирования изображений. Часть «состязания» означает, что эти нейронные сети построены для того, чтобы конкурировать с собой.

Так же, как у Цербера было три головы, в рамках ГАна часто есть два отдельных нейронных сетка со своими собственными намерениями, одной генеративной и одной дискриминационной. Генеративная модель вызывает результат, часто изображение. Тогда генеративная сторона пытается «обмануть» дискриминационную модель, чтобы увидеть, насколько близко его можно добраться до желаемого выхода. Если дискриминационная сторона не одурана, результат отбрасывается. Результаты этого испытания, как успех генеративной стороны, а также содержание, которое он сделал, подаются. Иногда обучение контролируется, а иногда нет. Но в любом случае, после каждого раунда суда Ган восходит к чертежной доске и снова пытается. Вместе обе стороны повторяются к успеху.

Глубокие эффекты

Ганс способен производить глубокие эффекты: уникальные, фотореалистичные изображения людей, которые не существуют в реальном мире. Для этого нейронная сеть просматривает множество фотографий настоящих людей, собирая данные о том, как мы отличаемся друг от друга, и на пути, когда мы напоминаем друг друга. (По сути, это фенотипирование грубыми силами.) Затем, как только дискриминационная сторона GAN готова, генеративная сторона может начать пытаться произвести свою собственную оригинальную работу. Одним из примеров является стиль NVIDIA, который может производить изображения поражения, обманным реализмом. Существует даже производный проект, который задает задачи зрителей, чтобы определить, является ли данная стильганская картина человека реальной или поддельной.

Результаты труда GAN могут быть настолько реалистичными, по сути, что в 2019 году штат Калифорния (дом как 2257 форм и Голливуда) учредил закон, запрещающий использование технологий, таких как Gans, чтобы создать порнографию более глубокого человека без их согласие. Государство также запрещено распределение манипулируемого видео политических кандидатов в течение двух месяцев выборов. Дарпа пытается быть в курсе этой гонки A / V A / V, устанавливая целое разделение для изучения геса и найти способы победить их.

Yikes ...

Хотя это все звучит очень напряженно, есть используемые для Gans, которые не включают в себя соскоб Интернет для фотографий в общедоступных фотографиях. Одно приложение является физикой частиц; Физики требуют изысканной уверенности в их измерениях, прежде чем они будут готовы сказать, что они нашли новую частицу или объяснили явление.

Еще одно место Gans Excel - теория игр. Представленные со списком правил и приоритетов, Gans могут оценить вероятные варианты участников, и использовать вероятность распространения для прогнозирования эндамера. Этот тип нейронной сети также находится в исследовании для использования улучшения астрономических изображений и прогнозируя гравитационную линзуцию.

Лето 2021 года увидели выпуск CODEXAI, генеративной нейронной сеткой, способной улучшить свое собственное программное обеспечение. Модель может перевести естественный язык в код. Он также может генерировать фрагменты интеллекблемного кода, после того, как кормили все Github. В то время как Codexai является полноценной нейронной сетью сама по себе, она также может работать как часть гораздо большей иерархической системы. Поведение CODEXAI напоминает первые непоколебимые искры одинокого нейрона, поскольку он устанавливает свои первые синапсы. Это также показывает ограничения технологии. Нейронные сети могут научиться исправлять свои допущения, но досягаемость АИ все еще превышает его понимание. Интеграция нескольких разнообразных моделей является путь будущего.

Где неистовые сети не удаются?

Нейронные сети великолепны при выполнении конкретных и хорошо ограниченных запросов, но они могут быть переназначей. Большая сила компьютеров - это скорость, в которой они могут выполнять повторяющиеся операции. Эти быстрые итерации также позволяют переусердствовать нейронную сеть. Когда это произойдет, его мертвое расплата идет совершенно нести. Обученный AI может производить некоторые замечательно странные изображения, и он не очень полезен для прогнозируемых целей - например, прогнозирование погоды.

В конечном счете, однако, эти слабые стороны Sawdry являются незначительными проблемами по сравнению с проблемой роста. Чтобы стать более мощной нейронной сетью должна быть больше, и в нем лежит руб. Нейронные сети не могут масштабироваться бесконечно. Их эффективность масштабирования на самом деле хуже, чем обычный обработчик данных, из-за самого вещания, который делает нейронные сеть настолько способны. Центральная концепция слоистой нейронной сети, ее слоистая глубина и избыточность, требует экспоненциально увеличения количества власти. До сих пор мы использовали грубую силу для достижения наших целей, которые работает - до точки.

Эта проблема с масштабированием мощности, поскольку Intel использует низкое энергопотребление Loiii в качестве основной точки продажи. В конце концов, комбинированные проблемы энергопотребления и термического рассеяния ставут жесткий предел нашей способности просто связать больше этих чипов, чтобы сделать больше и более сложный AIS.

Последние мысли

Разница между нейронной сетью и искусственным интеллектом в основном является мнением. Является ли нейронная сетка искусственного интеллекта в и сам по себе? Или АИ из подчиненных нейронных сетей? Единственное отличие - уровень абстракции, при котором динамик выбирает, чтобы сделать различие.

Одна вещь, на которую все согласны, состоит в том, что нейронные сети не могут делать то, что они делают без данных. Большие данные. В качестве краевого вычисления и науки о науке снимаются, целая новая сфера информации открывается для нашего анализа. Существует ошеломляющее количество необработанных данных, производимых каждый день. Это зависит от нас, чтобы найти творческие и умные способы его использования.

Изображение функции Mike Mackenzie (Flickr)

Читать далее