Работа Intel в области кремниевой фотоники может перезарядить нейронные сети AI

Различные типы нейронных сетей, в которых компании экспериментировали до сих пор, основаны на кремнии. Процессоры, графические процессоры, TPU и FPGA могут иметь разные характеристики производительности, но они построены из одних и тех же материалов. Однако Intel работает над созданием сетей искусственного интеллекта с использованием кремниевой фотоники, определяемой как исследование и применение фотонных систем, использующих кремний в качестве оптического носителя.

Два года назад исследовательская работа MIT показала, что оптические нейронные сети (ONN) могут быть чрезвычайно полезны для операций с низким энергопотреблением и низкой задержкой. Это возможно, потому что общий элемент фотонных цепей, известный как интерферометр Маха-Цендера (MZI), может быть сконфигурирован для выполнения матричного умножения 2 × 2. Размещение MZI в треугольной сетке позволяет создавать более крупные матрицы.

Casimir Wierzynski, старший директор офиса технического директора группы продуктов искусственного интеллекта Intel, пишет:

Как и в любом производственном процессе, существуют недостатки, которые означают, что будут небольшие отклонения внутри и между чипами, и они будут влиять на точность вычислений. Чтобы приблизить ONN к производству, мы хотели понять, насколько они чувствительны к типичным изменениям процесса, особенно когда они масштабируются до более реалистичных размеров задач. Мы также хотели знать, можем ли мы сделать их более устойчивыми к этим изменениям, рассматривая различные архитектуры схем.

Новый документ Intel представляет собой обзор двух типов отказоустойчивых ONN. Один из них имел более настраиваемый дизайн (GridNet), а другой - с повышенной отказоустойчивостью (FFTNet). Как следует из названия, Gridnet спроектирован как сетка, а FFTNet «упорядочивает MZI в форме бабочки, смоделированной по архитектурам для вычисления быстрых преобразований Фурье».

Оба ONN были затем обучены распознавать почерк. GridNet оказался более точным, чем FFTNet, на 98-95%, но FFTNet был особенно надежным, когда дело дошло до обработки погрешностей производства, которые моделировались путем добавления шума и фазового сдвига к каждому MZI. После моделирования реального воздействия этого шума, GridNet стала на 50 процентов эффективнее распознавать рукописный текст. Уровень распознавания FFTNet оставался почти постоянным.

Эти симуляции и работы с прототипами позволяют предположить, что оптические нейронные сети могут быть надежными альтернативами конструкциям на основе кремния. Вержинский пишет:

Для более крупных цепей потребуется больше устройств, таких как MZI, на чип. Поэтому попытка «точно настроить» каждое устройство на постпроизводстве микросхемы будет растущей проблемой. Более масштабируемой стратегией будет обучение ONN в программном обеспечении, а затем массовое производство схем на основе этих параметров. Наши результаты показывают, что выбор правильной архитектуры заранее может значительно увеличить вероятность того, что получившиеся схемы достигнут желаемой производительности даже в условиях производственных изменений.

Возможность создавать эффективные ONN даже в условиях производственных различий означает, что их гораздо проще создавать эффективно, в первую очередь изучая, как их создавать. Такая возможность может помочь с коммерциализацией, если оптические архитектуры могут расширяться и конкурировать с обычной работой на кремнии.

Читать далее

Wfoojjaec объясняет: Что такое нейронная сеть?

Мы много говорим о AI, обучении машин и нервных сетях, но в чем в первую очередь нетронута?

Wfoojjaec объясняет: Что такое нейронная сетка?

Мы много говорим о AI, машинном обучении и нейронных сетях, но в чем в первую очередь нейронная сетка?

Люди используют нейронную сеть приложение для создания Поддельных знаменитостей порно

Машинное обучение стало настолько продвинутым, что несколько разработчиков создали инструмент под названием FakeApp, который может создавать убедительные видеоролики «подмены лица». И, конечно, они используют его, чтобы сделать порно.

IBM стремится снизить энергопотребление для обучения нейронной сети 100x

Пользовательский кремний для ускорения вывода AI здесь, но IBM хочет идти дальше и использовать гибридную вычислительную архитектуру и элементы резистивных вычислений, чтобы также повысить эффективность обучения нейронных сетей.