Робота з кремнієвої фотоніки від Intel може підвищити продуктивність нейронних мереж AI
Різні типи нейронних мереж компанії експериментували з до цих пір всі були на основі кремнію. Процесори, графічні процесори, ТПУ та FPGA можуть мати різні характеристики продуктивності, але вони побудовані з тих самих видів матеріалів. Intel, однак, працює над створенням мереж AI з використанням кремнієвої фотоніки, що визначається як вивчення і застосування фотонних систем, які використовують кремній як оптичне середовище.
Два роки тому дослідницькі роботи MIT продемонстрували, що оптичні нейронні мережі (ONN) можуть бути надзвичайно корисними для операцій з низькою затримкою при низькій потужності. Це можливо тому, що загальний елемент фотонних схем, відомий як інтерферометр Маха-Зейндера (MZI), може бути налаштований для виконання 2 × 2 матричного множення. Розміщення MZI в трикутній сітці дозволяє створювати великі матриці.
Казімір Вержинський, старший директор Управління технічного управління, Група продуктів штучного інтелекту компанії Intel, пише:
Як і в будь-якому виробничому процесі, існують недоліки, що означає, що в межах і між чіпами будуть невеликі зміни, і це вплине на точність обчислень. Для того, щоб перемістити ONNs ближче до виробництва, ми хотіли зрозуміти, наскільки вони чутливі до типових змін у процесі, особливо тому, що вони масштабуються до більш реалістичних розмірів проблем. Ми також хотіли б знати, чи можна зробити їх більш надійними до цих варіацій, враховуючи різні архітектури схем.
Новий документ Intel - це огляд двох типів стійких до несправностей ONN. Один з них мав більш настроюваний дизайн (GridNet), а інший був побудований з кращою відмовостійкістю (FFTNet). Як випливає з назви, Gridnet розроблений як сітка, тоді як FFTNet «влаштовує MZIs у формі, подібній до метеликів, змодельованої після архітектури для обчислення швидких перетворень Фур'є».
Потім обидва ONNs були навчені розпізнавати почерк. GridNet виявився більш точним, ніж FFTNet, на 98 відсотків до 95 відсотків, але FFTNet був особливо міцнішим, коли йшлося про керовану неточність виробництва, яка була змодельована шляхом додавання шуму та переходу фаз до кожного MZI. Після моделювання реального впливу цього шуму, GridNet став лише на 50% ефективним при розпізнаванні рукописного тексту. Рівень розпізнавання FFTNet залишався майже постійним.
Ці моделювання та робота з прототипом дозволяють припустити, що оптичні нейронні мережі можуть бути дійсними альтернативами конструкціям на основі кремнію. Wierzynski пише:
Більш великі схеми вимагатимуть більше пристроїв, таких як MZI, на чіп. Таким чином, спроба «тонкої настройки» кожного пристрою на мікросхемі після виробництва буде зростати проблемою. Більш масштабованою стратегією буде підготовка ONN в програмному забезпеченні, а потім масові виробничі схеми, засновані на цих параметрах. Наші результати показують, що вибір правильної архітектури заздалегідь може значно збільшити ймовірність того, що отримані схеми досягатимуть бажану продуктивність навіть в умовах виробничих змін.
Можливість побудувати ефективні ONN навіть у випадку зміни виробничих процесів означає, що набагато простіше їх ефективно будувати, вивчаючи, як їх побудувати. Такі можливості могли б допомогти у комерціалізації, якщо оптичні архітектури можуть розширюватися і конкурувати зі звичайною роботою кремнію.
Читати далі
Раджа Кодурі від Intel представить на майбутній конференції Samsung Foundry
Цього тижня Раджа Кодурі від Intel виступить на ливарному заході Samsung - і це не те, що сталося б, якби Intel не мала чого сказати.
Нові відомості про Intel Rocket Lake: Сумісність із зворотною стороною, Xe Graphics, Cypress Cove
Intel опублікувала трохи більше інформації про Rocket Lake та його 10-нм процесор, який було перенесено назад на 14 нм.
Intel випускає нові мобільні графічні процесори Xe Max для творців вмісту початкового рівня
Intel випустила новий споживчий мобільний графічний процесор, але він має дуже конкретний варіант використання, принаймні зараз.
Огляд Ryzen 9 5950X та 5900X: AMD розв’язує Zen 3 проти останніх бастіонів продуктивності Intel
AMD продовжує натиск на те, що колись було безперечним торфом Intel.