Робота з кремнієвої фотоніки від Intel може підвищити продуктивність нейронних мереж AI

Робота з кремнієвої фотоніки від Intel може підвищити продуктивність нейронних мереж AI

Різні типи нейронних мереж компанії експериментували з до цих пір всі були на основі кремнію. Процесори, графічні процесори, ТПУ та FPGA можуть мати різні характеристики продуктивності, але вони побудовані з тих самих видів матеріалів. Intel, однак, працює над створенням мереж AI з використанням кремнієвої фотоніки, що визначається як вивчення і застосування фотонних систем, які використовують кремній як оптичне середовище.

Два роки тому дослідницькі роботи MIT продемонстрували, що оптичні нейронні мережі (ONN) можуть бути надзвичайно корисними для операцій з низькою затримкою при низькій потужності. Це можливо тому, що загальний елемент фотонних схем, відомий як інтерферометр Маха-Зейндера (MZI), може бути налаштований для виконання 2 × 2 матричного множення. Розміщення MZI в трикутній сітці дозволяє створювати великі матриці.

Казімір Вержинський, старший директор Управління технічного управління, Група продуктів штучного інтелекту компанії Intel, пише:

Як і в будь-якому виробничому процесі, існують недоліки, що означає, що в межах і між чіпами будуть невеликі зміни, і це вплине на точність обчислень. Для того, щоб перемістити ONNs ближче до виробництва, ми хотіли зрозуміти, наскільки вони чутливі до типових змін у процесі, особливо тому, що вони масштабуються до більш реалістичних розмірів проблем. Ми також хотіли б знати, чи можна зробити їх більш надійними до цих варіацій, враховуючи різні архітектури схем.

Новий документ Intel - це огляд двох типів стійких до несправностей ONN. Один з них мав більш настроюваний дизайн (GridNet), а інший був побудований з кращою відмовостійкістю (FFTNet). Як випливає з назви, Gridnet розроблений як сітка, тоді як FFTNet «влаштовує MZIs у формі, подібній до метеликів, змодельованої після архітектури для обчислення швидких перетворень Фур'є».

Робота з кремнієвої фотоніки від Intel може підвищити продуктивність нейронних мереж AI

Потім обидва ONNs були навчені розпізнавати почерк. GridNet виявився більш точним, ніж FFTNet, на 98 відсотків до 95 відсотків, але FFTNet був особливо міцнішим, коли йшлося про керовану неточність виробництва, яка була змодельована шляхом додавання шуму та переходу фаз до кожного MZI. Після моделювання реального впливу цього шуму, GridNet став лише на 50% ефективним при розпізнаванні рукописного тексту. Рівень розпізнавання FFTNet залишався майже постійним.

Робота з кремнієвої фотоніки від Intel може підвищити продуктивність нейронних мереж AI

Ці моделювання та робота з прототипом дозволяють припустити, що оптичні нейронні мережі можуть бути дійсними альтернативами конструкціям на основі кремнію. Wierzynski пише:

Більш великі схеми вимагатимуть більше пристроїв, таких як MZI, на чіп. Таким чином, спроба «тонкої настройки» кожного пристрою на мікросхемі після виробництва буде зростати проблемою. Більш масштабованою стратегією буде підготовка ONN в програмному забезпеченні, а потім масові виробничі схеми, засновані на цих параметрах. Наші результати показують, що вибір правильної архітектури заздалегідь може значно збільшити ймовірність того, що отримані схеми досягатимуть бажану продуктивність навіть в умовах виробничих змін.

Можливість побудувати ефективні ONN навіть у випадку зміни виробничих процесів означає, що набагато простіше їх ефективно будувати, вивчаючи, як їх побудувати. Такі можливості могли б допомогти у комерціалізації, якщо оптичні архітектури можуть розширюватися і конкурувати зі звичайною роботою кремнію.

Читати далі

Найпопулярніший супутник "Зума", запущений SpaceX, може бути втрачений

Нещодавній запуск "Зуми", безсумнівно, випав, але тепер є підстави думати, що американський шпигунський супутник може бути знищений до введення в експлуатацію.

Автомобіль Самозахисту Aptiv в CES 2018 - чи світ краще

Бездоганна подорож на півгодини через зайняті вулиці Лас-Вегаса. Єдине людське втручання: при зустрічі з барикадами викидають середину вулиці.

Samsung оголосить Galaxy S9 на Світовому конгресі мобільних телефонів у лютому

Попередні чутки вказали на несподівану Galaxy S9, що з'явилася на CES, яка зараз триває. Тим не менш, Samsung знаходиться під рукою не з гарячо очікуваним новим телефоном Galaxy, але з телевізором, розумними домашніми пристроями та побутовими приладами - безліч побутових приладів.

Google Lunar X призу може закінчитися без переможців

Фонд готовий виплатити призи на суму до 30 мільйонів доларів, але, як видається, пропозиція може закінчитися через кілька місяців без перемог.