Робота з кремнієвої фотоніки від Intel може підвищити продуктивність нейронних мереж AI

Робота з кремнієвої фотоніки від Intel може підвищити продуктивність нейронних мереж AI

Різні типи нейронних мереж компанії експериментували з до цих пір всі були на основі кремнію. Процесори, графічні процесори, ТПУ та FPGA можуть мати різні характеристики продуктивності, але вони побудовані з тих самих видів матеріалів. Intel, однак, працює над створенням мереж AI з використанням кремнієвої фотоніки, що визначається як вивчення і застосування фотонних систем, які використовують кремній як оптичне середовище.

Два роки тому дослідницькі роботи MIT продемонстрували, що оптичні нейронні мережі (ONN) можуть бути надзвичайно корисними для операцій з низькою затримкою при низькій потужності. Це можливо тому, що загальний елемент фотонних схем, відомий як інтерферометр Маха-Зейндера (MZI), може бути налаштований для виконання 2 × 2 матричного множення. Розміщення MZI в трикутній сітці дозволяє створювати великі матриці.

Казімір Вержинський, старший директор Управління технічного управління, Група продуктів штучного інтелекту компанії Intel, пише:

Як і в будь-якому виробничому процесі, існують недоліки, що означає, що в межах і між чіпами будуть невеликі зміни, і це вплине на точність обчислень. Для того, щоб перемістити ONNs ближче до виробництва, ми хотіли зрозуміти, наскільки вони чутливі до типових змін у процесі, особливо тому, що вони масштабуються до більш реалістичних розмірів проблем. Ми також хотіли б знати, чи можна зробити їх більш надійними до цих варіацій, враховуючи різні архітектури схем.

Новий документ Intel - це огляд двох типів стійких до несправностей ONN. Один з них мав більш настроюваний дизайн (GridNet), а інший був побудований з кращою відмовостійкістю (FFTNet). Як випливає з назви, Gridnet розроблений як сітка, тоді як FFTNet «влаштовує MZIs у формі, подібній до метеликів, змодельованої після архітектури для обчислення швидких перетворень Фур'є».

Робота з кремнієвої фотоніки від Intel може підвищити продуктивність нейронних мереж AI

Потім обидва ONNs були навчені розпізнавати почерк. GridNet виявився більш точним, ніж FFTNet, на 98 відсотків до 95 відсотків, але FFTNet був особливо міцнішим, коли йшлося про керовану неточність виробництва, яка була змодельована шляхом додавання шуму та переходу фаз до кожного MZI. Після моделювання реального впливу цього шуму, GridNet став лише на 50% ефективним при розпізнаванні рукописного тексту. Рівень розпізнавання FFTNet залишався майже постійним.

Робота з кремнієвої фотоніки від Intel може підвищити продуктивність нейронних мереж AI

Ці моделювання та робота з прототипом дозволяють припустити, що оптичні нейронні мережі можуть бути дійсними альтернативами конструкціям на основі кремнію. Wierzynski пише:

Більш великі схеми вимагатимуть більше пристроїв, таких як MZI, на чіп. Таким чином, спроба «тонкої настройки» кожного пристрою на мікросхемі після виробництва буде зростати проблемою. Більш масштабованою стратегією буде підготовка ONN в програмному забезпеченні, а потім масові виробничі схеми, засновані на цих параметрах. Наші результати показують, що вибір правильної архітектури заздалегідь може значно збільшити ймовірність того, що отримані схеми досягатимуть бажану продуктивність навіть в умовах виробничих змін.

Можливість побудувати ефективні ONN навіть у випадку зміни виробничих процесів означає, що набагато простіше їх ефективно будувати, вивчаючи, як їх побудувати. Такі можливості могли б допомогти у комерціалізації, якщо оптичні архітектури можуть розширюватися і конкурувати зі звичайною роботою кремнію.

Читати далі

Люди використовують додаток нейронної мережі для створення фальшивого порно знаменитостей
Люди використовують додаток нейронної мережі для створення фальшивого порно знаменитостей

Автоматичне навчання стало настільки просунуте, що кілька розробників створили інструмент під назвою FakeApp, який може створити переконливі відео обміну "обличчям". І, звичайно, вони використовують його для створення порно.

Нейронні мережеві процесори MIT скорочують споживання електроенергії на 95 відсотків
Нейронні мережеві процесори MIT скорочують споживання електроенергії на 95 відсотків

MIT розробив нові методи обробки нейронних мереж, які могли б скоротити енергоспоживання існуючих рішень на 95 відсотків. Це зміна моря, яка могла б ефективно винаходити природу АІ, і де такі навантаження виконуються.

Google нейронна мережа може виділяти індивідуальні голоси у відео
Google нейронна мережа може виділяти індивідуальні голоси у відео

У рамках нового подвигу машинознавчої магії, Google Research розробила систему, яка може відтворити "ефект коктейль-партії", де ваш мозок зосереджується на одному аудіо-джерелі в тісній кімнаті.

Нова нейронна мережа Double Stream Adobe може виявити шахрайство у фотографіях
Нова нейронна мережа Double Stream Adobe може виявити шахрайство у фотографіях

Adobe гонки на озброєння з самим собою, тепер, коли він використовує AI як для того, щоб допомагати маніпуляціям зображень виглядати природно, так і створювати інструменти для виявлення факторів зображень.