Як хвиля Макімото пояснює цунамі спеціалізованих процесорів AI, орієнтованих на ринок

Існують певні терміни мистецтва в напівпровідникових технологіях, які стали загальними метками. Закон Мура, масштабування Деннара і поняття, такі як «стіна пам'яті», відносяться до давно встановлених тенденцій в технології, які часто виникають у багатьох різних сферах знань. У цьому ключі ми сьогодні обговоримо концепцію, з якою деякі з вас можуть бути знайомі, але що ми раніше не розглядалися тут, у хвилі ET: Makimoto. Незважаючи на те, що він не датується настільки ж важливим документом Гордона Мура, аргумент Макімото має безпосередній вплив на бурхливий ринок для штучного інтелекту та пристроїв машинного навчання.

Уперше представлений у 1991 році, хвиля Макімото є способом описати той факт, що ринок напівпровідників часто змінюється між спеціалізацією та стандартизацією. Ці цикли часто відбувалися приблизно в 10-річних інтервалах, хоча в більшому просторі існували розбіжності щодо того, чи були цикли 1997-2007 та 2007-2017 років достатньо сильними, щоб кваліфікуватись.

Проте теорія не заперечується для попередніх циклів. З 1957-1967 рр. На ринку переважали стандартизовані дискретні компоненти, за якими послідували індивідуальні широкомасштабні інтегральні мікросхеми, що поступилися місцем першим стандартизованим мікропроцесорам і технологіям пам'яті.

Неясно, що класична хвиля Макімото, як показано вище, чисто узгоджується з поточним поштовхом до AI і ML. Вона передбачає, що ринок повинен рухатися в напрямку стандартизації з 2017 року, коли насправді ми бачимо величезний поштовх з боку широкого кола компаній для створення власних архітектур прискорювачів для спеціалізованих навантажень AI та ML. З усіма, від Fujitsu і Google до Nvidia і AMD, що кидають на ринг шапочку, маятник, здається, віддаляється до налаштування, не вже в середині розгойдування назад до стандартизації.

Але це не є незвичайним для загальноприйнятої теорії, яка пояснює певний аспект прогресу напівпровідників, щоб не досконало зіставити реальне життя. Закон Мура, у своєму первісному втіленні, передбачав подвоєння числа транзисторів кожний рік. У 1975 році Гордон Мур переглянув свій прогноз на кожні два роки. Фактична швидкість, за якої кількість транзисторів збільшилася вдвічі при доставці продукції, завжди дещо змінювалася в залежності від труднощів переходу ливарного вузла, ринкових умов і успіху або невдачі команд дизайнерів ЦП. Навіть масштаб закону Мура в останні роки сповільнився, хоча поліпшення щільності ще не припинилося. Після завершення масштабування Dennard у 2004 році масштаб масштабу став єдиним показником, який продовжував слідувати за старим історичним шляхом.

А враховуючи, наскільки різко масштабування процесора загального призначення змінилося між ранніми епохами і сьогодні, ми повинні враховувати той факт, що маятник може не коливатися точно так само, як раніше. Наведене нижче відео, написане Makimoto, не є новим - воно було опубліковано в 2013 році, - але пропонує подальше пояснення цієї концепції всім, хто бажає.

Нова стаття в SemiEngineering деталізує порив фірм, що працюють на спеціалізованих архітектурах прискорювачів, і чому поле гаряче. Зіткнувшись з відсутністю прогресу в обчисленні загального призначення, компанії звернули свою увагу на прискорювачі, сподіваючись знайти робоче навантаження та ядра, які добре відображаються один на одного. Таким чином, може здатися, що маятник постійно відхиляється від обчислень загального призначення.

Але це фактично неможливо в довгостроковій перспективі. Хоча ніщо не заважає фірмі розробити спеціалізовану архітектуру для обробки відомого робочого навантаження, не кожне робоче навантаження можна описати таким чином. Як повідомив SemiEngineering Кріс Джонс, віце-президент з маркетингу компанії Codasip, «завжди будуть випадки, коли програмне забезпечення, яке буде працювати на даній мікросхемі, багато в чому невідоме, і якщо завантаження програмного забезпечення є невизначеним, все, що може зробити чіп, це забезпечити надійну загальну обчислювальну платформу, де продуктивність є чисто функцією основної частоти і затримки пам'яті. "

Іншими словами, ви не можете просто побудувати масив апаратних прискорювачів, щоб покрити кожне робоче навантаження. Обчислення загального призначення залишаються критичними для процесу. Індивідуальні реалізації роботи також стають стандартизованими з часом, оскільки компанії зникають на оптимальних реалізаціях для обробки певних видів робіт.

Існує певне значне перекриття поведінки, яку описує хвиля Макімото, і насувається стінка прискорювача, про яку ми говорили на початку цього тижня. Папір-прискорювач демонструє, що ми не можемо залежати від прискорювальних рішень, щоб забезпечити нескінченні поліпшення продуктивності, відсутність можливості поліпшити основні аспекти транзисторної роботи через закон Мура. Хвиля Макімото описує широку галузеву тенденцію коливатися між ними. Нещодавній потік грошей венчурного капіталу на ринки штучного інтелекту та машинного навчання призвів до певного кругообігу навколо цих можливостей. ІІ та машинне навчання можуть дійсно революціонізувати обчислення в найближчі роки, але нову тенденцію до використання прискорювачів для цих навантажень слід розуміти в контексті меж цього підходу.

Читати далі

Спеціалізовані фішки не збережуть нас від непередбачуваної «стіни прискорювача»

Апаратні прискорювачі не вирішать фундаментальних проблем масштабування продуктивності, що стоять перед нами, коли закон Мура вичерпає газ.