Работа Intel в области кремниевой фотоники может перезарядить нейронные сети AI

Различные типы нейронных сетей, в которых компании экспериментировали до сих пор, основаны на кремнии. Процессоры, графические процессоры, TPU и FPGA могут иметь разные характеристики производительности, но они построены из одних и тех же материалов. Однако Intel работает над созданием сетей искусственного интеллекта с использованием кремниевой фотоники, определяемой как исследование и применение фотонных систем, использующих кремний в качестве оптического носителя.

Два года назад исследовательская работа MIT показала, что оптические нейронные сети (ONN) могут быть чрезвычайно полезны для операций с низким энергопотреблением и низкой задержкой. Это возможно, потому что общий элемент фотонных цепей, известный как интерферометр Маха-Цендера (MZI), может быть сконфигурирован для выполнения матричного умножения 2 × 2. Размещение MZI в треугольной сетке позволяет создавать более крупные матрицы.

Casimir Wierzynski, старший директор офиса технического директора группы продуктов искусственного интеллекта Intel, пишет:

Как и в любом производственном процессе, существуют недостатки, которые означают, что будут небольшие отклонения внутри и между чипами, и они будут влиять на точность вычислений. Чтобы приблизить ONN к производству, мы хотели понять, насколько они чувствительны к типичным изменениям процесса, особенно когда они масштабируются до более реалистичных размеров задач. Мы также хотели знать, можем ли мы сделать их более устойчивыми к этим изменениям, рассматривая различные архитектуры схем.

Новый документ Intel представляет собой обзор двух типов отказоустойчивых ONN. Один из них имел более настраиваемый дизайн (GridNet), а другой - с повышенной отказоустойчивостью (FFTNet). Как следует из названия, Gridnet спроектирован как сетка, а FFTNet «упорядочивает MZI в форме бабочки, смоделированной по архитектурам для вычисления быстрых преобразований Фурье».

Оба ONN были затем обучены распознавать почерк. GridNet оказался более точным, чем FFTNet, на 98-95%, но FFTNet был особенно надежным, когда дело дошло до обработки погрешностей производства, которые моделировались путем добавления шума и фазового сдвига к каждому MZI. После моделирования реального воздействия этого шума, GridNet стала на 50 процентов эффективнее распознавать рукописный текст. Уровень распознавания FFTNet оставался почти постоянным.

Эти симуляции и работы с прототипами позволяют предположить, что оптические нейронные сети могут быть надежными альтернативами конструкциям на основе кремния. Вержинский пишет:

Для более крупных цепей потребуется больше устройств, таких как MZI, на чип. Поэтому попытка «точно настроить» каждое устройство на постпроизводстве микросхемы будет растущей проблемой. Более масштабируемой стратегией будет обучение ONN в программном обеспечении, а затем массовое производство схем на основе этих параметров. Наши результаты показывают, что выбор правильной архитектуры заранее может значительно увеличить вероятность того, что получившиеся схемы достигнут желаемой производительности даже в условиях производственных изменений.

Возможность создавать эффективные ONN даже в условиях производственных различий означает, что их гораздо проще создавать эффективно, в первую очередь изучая, как их создавать. Такая возможность может помочь с коммерциализацией, если оптические архитектуры могут расширяться и конкурировать с обычной работой на кремнии.