Робота з кремнієвої фотоніки від Intel може підвищити продуктивність нейронних мереж AI

Різні типи нейронних мереж компанії експериментували з до цих пір всі були на основі кремнію. Процесори, графічні процесори, ТПУ та FPGA можуть мати різні характеристики продуктивності, але вони побудовані з тих самих видів матеріалів. Intel, однак, працює над створенням мереж AI з використанням кремнієвої фотоніки, що визначається як вивчення і застосування фотонних систем, які використовують кремній як оптичне середовище.

Два роки тому дослідницькі роботи MIT продемонстрували, що оптичні нейронні мережі (ONN) можуть бути надзвичайно корисними для операцій з низькою затримкою при низькій потужності. Це можливо тому, що загальний елемент фотонних схем, відомий як інтерферометр Маха-Зейндера (MZI), може бути налаштований для виконання 2 × 2 матричного множення. Розміщення MZI в трикутній сітці дозволяє створювати великі матриці.

Казімір Вержинський, старший директор Управління технічного управління, Група продуктів штучного інтелекту компанії Intel, пише:

Як і в будь-якому виробничому процесі, існують недоліки, що означає, що в межах і між чіпами будуть невеликі зміни, і це вплине на точність обчислень. Для того, щоб перемістити ONNs ближче до виробництва, ми хотіли зрозуміти, наскільки вони чутливі до типових змін у процесі, особливо тому, що вони масштабуються до більш реалістичних розмірів проблем. Ми також хотіли б знати, чи можна зробити їх більш надійними до цих варіацій, враховуючи різні архітектури схем.

Новий документ Intel - це огляд двох типів стійких до несправностей ONN. Один з них мав більш настроюваний дизайн (GridNet), а інший був побудований з кращою відмовостійкістю (FFTNet). Як випливає з назви, Gridnet розроблений як сітка, тоді як FFTNet «влаштовує MZIs у формі, подібній до метеликів, змодельованої після архітектури для обчислення швидких перетворень Фур'є».

Потім обидва ONNs були навчені розпізнавати почерк. GridNet виявився більш точним, ніж FFTNet, на 98 відсотків до 95 відсотків, але FFTNet був особливо міцнішим, коли йшлося про керовану неточність виробництва, яка була змодельована шляхом додавання шуму та переходу фаз до кожного MZI. Після моделювання реального впливу цього шуму, GridNet став лише на 50% ефективним при розпізнаванні рукописного тексту. Рівень розпізнавання FFTNet залишався майже постійним.

Ці моделювання та робота з прототипом дозволяють припустити, що оптичні нейронні мережі можуть бути дійсними альтернативами конструкціям на основі кремнію. Wierzynski пише:

Більш великі схеми вимагатимуть більше пристроїв, таких як MZI, на чіп. Таким чином, спроба «тонкої настройки» кожного пристрою на мікросхемі після виробництва буде зростати проблемою. Більш масштабованою стратегією буде підготовка ONN в програмному забезпеченні, а потім масові виробничі схеми, засновані на цих параметрах. Наші результати показують, що вибір правильної архітектури заздалегідь може значно збільшити ймовірність того, що отримані схеми досягатимуть бажану продуктивність навіть в умовах виробничих змін.

Можливість побудувати ефективні ONN навіть у випадку зміни виробничих процесів означає, що набагато простіше їх ефективно будувати, вивчаючи, як їх побудувати. Такі можливості могли б допомогти у комерціалізації, якщо оптичні архітектури можуть розширюватися і конкурувати зі звичайною роботою кремнію.

Читати далі

Постачальник кремнієвого вафеля говорить, що його потужність 300 мм продається через 2026

(Фото: Laura Ockel / Unsplash, PCMAG) За минулий рік, було багато цифрових чорнил, пролитої про проблеми, пов'язані з пандемією, та пов'язану з ним дефіцит чіпів. Визначення промисловості щодо того, коли дефіцит може полегшити, змінювалися значно. Наприклад, генеральний директор Intel заявив, що вважає дефіцит, який буде тривати через 2023 року, з генеральним директором AMD ...